![\"\"](\"https:\/\/the-decoder.de\/wp-content\/uploads\/2026\/03\/gemini-3-pro-mirage-diagnosis-distribution.png\")
<\/a>Die Grafik zeigt die Verteilung der Antworten von Gemini-3-Pro bei Anfragen zu nicht existierenden medizinischen Bildern. Obwohl „Normal“ und „Keine Diagnose“ h\u00e4ufige Antworten sind, \u00fcberwiegen kumulativ die Diagnosen spezifischer Pathologien. | Bild: Asadi, O\u2019Sullivan, Cao et al.<\/p>\nIn der Praxis k\u00f6nnte das bedeuten: Ein fehlgeschlagener Bild-Upload f\u00fchrt zu einer dringenden Handlungsempfehlung f\u00fcr eine Erkrankung, die gar nicht vorliegt. Besonders bei API-Anwendungen und agentischen Tools sei es schwer nachzuvollziehen, ob das Bild tats\u00e4chlich angekommen sei.<\/p>\n
70 bis 80 Prozent der Benchmark-Leistung ohne jedes Bild<\/p>\n
Die Studie zeigt auch die Auswirkung auf die Evaluation multimodaler Modelle. Die Forscher testeten vier Frontier-Modelle (Gemini 3 Pro, Gemini 2.5 Pro, GPT-5.1, Claude Opus 4.5) auf sechs etablierten Benchmarks: MMMU-Pro, Video-MMMU und Video-MME f\u00fcr allgemeines visuelles Verst\u00e4ndnis sowie VQA-Rad, MicroVQA und MedXpertQA-MM f\u00fcr medizinische Bildanalyse.<\/p>\n
Das zentrale Ergebnis: Die Modelle erzielten im Durchschnitt 70 bis 80 Prozent ihrer vollen Benchmark-Genauigkeit, ohne je ein Bild gesehen zu haben. Das tats\u00e4chliche Bild steuerte also nur die verbleibenden 20 bis 30 Prozent der Gesamtleistung bei. Der Gro\u00dfteil der Ergebnisse, f\u00fcr die diese Modelle als visuell kompetent gelten, stammt aus Textmustern, Vorwissen und strukturellen Hinweisen in den Fragen.<\/p>\n
Bei medizinischen Benchmarks war die Diskrepanz am gr\u00f6\u00dften. Hier erreichten die Modelle bis zu 99 Prozent ihrer Bildmodus-Genauigkeit allein durch Text, das eigentliche Bild trug fast nichts bei.<\/p>\n
Diese Zahlen haben direkte Konsequenzen f\u00fcr die Praxis. Unternehmen und Kliniken w\u00e4hlen KI-Modelle auf Basis von Benchmark-Rankings aus. Wenn diese Rankings zu einem Gro\u00dfteil auf nicht-visuellem Reasoning basieren, sagt die Rangfolge wenig \u00fcber die tats\u00e4chlichen visuellen F\u00e4higkeiten der Modelle aus.<\/p>\n
Textmodell mit 3 Milliarden Parametern schl\u00e4gt alle Frontier-Modelle und Radiologen<\/p>\n
Um zu demonstrieren, wie weit textbasierte Abk\u00fcrzungen tragen, trainierten die Forscher einen „Super-Guesser“: ein reines Textmodell auf Basis von Qwen 2.5 mit 3 Milliarden Parametern, feingetunt auf dem \u00f6ffentlichen Trainingsset des ReXVQA-Benchmarks f\u00fcr R\u00f6ntgen-Bildanalyse, wobei s\u00e4mtliche Bilder entfernt wurden. Das Basismodell wurde ein Jahr vor dem Benchmark ver\u00f6ffentlicht, um Datenkontamination zu minimieren.<\/p>\n
Dieses reine Textmodell \u00fcbertraf laut der Studie auf dem gehaltenen Testset alle Frontier-Multimodal-Modelle, einschlie\u00dflich solcher mit hunderten Milliarden Parametern, und \u00fcbertraf menschliche Radiologen um mehr als 10 Prozent im Durchschnitt. Zudem generierte es Begr\u00fcndungen, die in einige F\u00e4llen von echten Ground-Truth-Erkl\u00e4rungen nicht unterscheidbar waren. Ein Modell ohne jeglichen Zugang zu Bildern liefert also sowohl die richtige Antwort als auch eine plausible visuelle Begr\u00fcndung.<\/p>\n
Benchmarks messen nicht, was sie versprechen<\/p>\n
Das Super-Guesser-Experiment offenbart ein doppeltes Problem. Auf der einen Seite stehen Modelle, die textuelles Vorwissen und statistische Muster als Abk\u00fcrzung nutzen, statt Bilder tats\u00e4chlich zu verarbeiten. Auf der anderen Seite stehen Benchmarks, die genau das erm\u00f6glichen: Ihre Fragen enthalten gen\u00fcgend sprachliche Hinweise, strukturelle Regelm\u00e4\u00dfigkeiten und implizite Antwortverteilungen, dass ein reines Textmodell sie l\u00f6sen kann. Beide Seiten bedingen einander.<\/p>\n
Die Studie betont, dass damit unklar ist, wie gut multimodale Modelle tats\u00e4chlich sehen. Eine hohe Benchmark-Genauigkeit belegt weder, dass ein Modell ein Bild verarbeitet hat, noch l\u00e4sst sich aus den Reasoning-Traces ablesen, ob die visuelle Begr\u00fcndung auf echtem Input oder auf einer Mirage basiert. Die Forscher stellen nicht in Abrede, dass die Modelle Bilder grunds\u00e4tzlich verarbeiten k\u00f6nnen. Ihr Befund ist spezifischer: Die g\u00e4ngigen Benchmarks k\u00f6nnen nicht unterscheiden, ob ein Modell ein Bild tats\u00e4chlich nutzt oder die Antwort aus dem Text ableitet. Und dieser stille Fehlermodus variiert laut der Studie je nach Dom\u00e4ne. Ein Modell, das bei nat\u00fcrlichen Bildern visuell fundiert arbeitet, tut das nicht zwangsl\u00e4ufig auch bei R\u00f6ntgenaufnahmen oder Pathologie-Slides.<\/p>\n
Explizites Raten liefert schlechtere Ergebnisse als der Mirage-Modus<\/p>\n
Ein weiteres Experiment verdeutlicht, dass der Mirage-Effekt kein simples Raten ist. Die Forscher verglichen GPT-5.1 in zwei Konfigurationen: Im Mirage-Modus erhielt das Modell die visuelle Frage ohne Bild und ohne Hinweis auf das fehlende Bild. Im Rate-Modus wurde explizit darauf hingewiesen, dass kein Bild vorliegt, und das Modell aufgefordert, die beste Antwort zu erraten.<\/p>\n