Forscher von MATS Research, dem Max-Planck-Institut f\u00fcr intelligente Systeme, dem ELLIS Institute T\u00fcbingen, Snyk und der Universit\u00e4t T\u00fcbingen haben untersucht, wie Anbieter die internen Reasoning-Prozesse ihrer gro\u00dfen Sprachmodelle sch\u00fctzen. Das Ergebnis ist alarmierend: Bei den drei gro\u00dfen KI-Anbietern Anthropic, OpenAI und Google konnten die Wissenschaftler zeigen, dass verschl\u00fcsselte Reasoning-Bl\u00f6cke zwischen kompatiblen Modellen \u00fcbertragen werden k\u00f6nnen.<\/p>\n
Dabei mussten die Forscher die Verschl\u00fcsselung selbst offenbar nicht im klassischen Sinne brechen. Stattdessen nutzten sie eine architektonische Schwachstelle innerhalb der jeweiligen Modellfamilien.<\/p>\n
Schw\u00e4cheres Modell wird zum Entschl\u00fcsselungs-Orakel<\/p>\n
Der Angriff basiert auf einem vergleichsweise einfachen Prinzip. Ein leistungsf\u00e4higes und besonders stark abgesichertes Modell erzeugt einen verschl\u00fcsselten Reasoning-Block. Dieser Block wird anschlie\u00dfend an ein weniger leistungsf\u00e4higes und weniger restriktives Modell desselben Anbieters \u00fcbergeben.<\/p>\n
Dieses Modell kann den verschl\u00fcsselten Inhalt offenbar entschl\u00fcsseln und die zuvor verborgenen Reasoning-Informationen als Klartext reproduzieren.<\/p>\n
Damit muss ein Angreifer das eigentlich gesch\u00fctzte Frontier-Modell nicht direkt kompromittieren. Stattdessen wird ein anderes Modell innerhalb desselben \u00d6kosystems als eine Art Entschl\u00fcsselungs-Orakel missbraucht.<\/p>\n
\u201eDie Forscher mussten die Verschl\u00fcsselung nicht im traditionellen Sinne brechen. Sie fanden vielmehr heraus, dass verschl\u00fcsselte Reasoning-Traces zwischen kompatiblen Modellen \u00fcbertragen werden k\u00f6nnen\u201c, erkl\u00e4rt Voldemaras Kadys, Head of Security bei Cybernews.<\/p>\n
Der entscheidende Punkt: Die Sicherheitsbarriere des besser gesch\u00fctzten Modells l\u00e4sst sich damit umgehen, indem ein schw\u00e4cher abgesichertes Modell die Verarbeitung \u00fcbernimmt.<\/p>\n
Eine globale Verschl\u00fcsselung statt individueller Bindung<\/p>\n
Als Ursache identifizieren die Forscher eine grundlegende architektonische Entscheidung. Demnach verwenden die untersuchten Anbieter offenbar einen globalen Verschl\u00fcsselungsschl\u00fcssel innerhalb einer Modellfamilie. Die verschl\u00fcsselten Reasoning-Bl\u00f6cke sind dadurch nicht eindeutig an das Modell, die Sitzung oder das Benutzerkonto gebunden, das sie erzeugt hat.<\/p>\n
Damit entsteht ein problematisches Szenario: Ein verschl\u00fcsselter Reasoning-Block, der von einem Nutzer mit einem bestimmten Modell in einer bestimmten Sitzung erzeugt wurde, kann unter Umst\u00e4nden von einem anderen kompatiblen Modell verarbeitet werden \u2013 m\u00f6glicherweise sogar in einer anderen Sitzung und durch einen anderen Nutzer. Genau diese Trennung zwischen Verschl\u00fcsselung und Kontext wird zum Sicherheitsrisiko.<\/p>\n
315.320 verschl\u00fcsselte Bl\u00f6cke analysiert<\/p>\n
Die Forscher belie\u00dfen es nicht bei einem theoretischen Angriff. Sie untersuchten auch \u00f6ffentlich verf\u00fcgbare Datens\u00e4tze und Repositories.<\/p>\n
Dabei wurden 315.320 verschl\u00fcsselte Reasoning-Bl\u00f6cke gesammelt und analysiert. Nach Angaben der Forscher konnten daraus unter anderem folgende sensible Informationen extrahiert werden:<\/p>\n
Gefundene Informationen
\nAnzahl<\/p>\n
Personenbezogene Informationen (PII)
\n367<\/p>\n
Zugangsdaten
\n182<\/p>\n
API-Schl\u00fcssel
\n62<\/p>\n
Passw\u00f6rter
\n33<\/p>\n
Pers\u00f6nliche E-Mail-Adressen
\n30<\/p>\n
Damit wird deutlich, dass Reasoning-Logs keineswegs als bedeutungslose technische Daten betrachtet werden sollten.<\/p>\n
Vertrauliche Informationen k\u00f6nnen im Reasoning verborgen sein<\/p>\n
Besonders kritisch ist, dass die internen Reasoning-Prozesse teilweise Informationen enthalten k\u00f6nnen, die in der sichtbaren Antwort des Modells gar nicht auftauchen.<\/p>\n
Die Forscher demonstrierten F\u00e4lle, in denen die versteckten Inhalte deutlich sensibler waren als die finale Antwort. Dazu geh\u00f6rten auch Informationen, deren Ausgabe das Modell in seiner sichtbaren Antwort ausdr\u00fccklich verweigert hatte. Das ver\u00e4ndert die Risikobewertung von KI-Protokollen erheblich.<\/p>\n
Ein Log, das f\u00fcr einen Entwickler oder Nutzer lediglich wie ein unverst\u00e4ndlicher verschl\u00fcsselter Datenblock aussieht, kann tats\u00e4chlich sensible Inhalte enthalten, die sich unter bestimmten Bedingungen wiederherstellen lassen.<\/p>\n
Verschl\u00fcsselung allein ist kein ausreichender Schutz<\/p>\n
F\u00fcr Unternehmen ergibt sich daraus eine wichtige Konsequenz. Verschl\u00fcsselte KI-Logs sollten nicht automatisch als anonym oder ungef\u00e4hrlich betrachtet werden. Voldemaras Kadys warnt deshalb davor, Chat- und Reasoning-Protokolle mit sensiblen Eingaben wie gew\u00f6hnliche technische Logs zu behandeln:<\/p>\n
\u201eWenn Unternehmen KI mit sensiblen Eingaben oder Ausgaben einsetzen, sollten sie Chat-Logs grunds\u00e4tzlich als sensible Daten behandeln \u2013 selbst wenn sie wie bedeutungslose verschl\u00fcsselte Texte aussehen.\u201c<\/p>\n
Denn die Verschl\u00fcsselung allein garantiert nicht zwangsl\u00e4ufig, dass die darin enthaltenen Informationen dauerhaft unzug\u00e4nglich bleiben.<\/p>\n
Neue Anforderungen an die Architektur von KI-Systemen<\/p>\n
Die Untersuchung wirft damit eine grunds\u00e4tzliche Frage zur Architektur moderner KI-Plattformen auf. Verschl\u00fcsselung muss nicht nur verhindern, dass Daten auf dem Transportweg oder in einem Speicher abgegriffen werden. Entscheidend ist auch, wer und welches Modell einen verschl\u00fcsselten Inhalt wieder entschl\u00fcsseln kann.<\/p>\n
Eine st\u00e4rkere Bindung von Reasoning-Daten an:<\/p>\n
Benutzer,
\nSitzung,
\nModell,
\nAnwendung,
\nBerechtigungen und
\nKontext<\/p>\n
k\u00f6nnte verhindern, dass ein kompatibles, aber weniger gesch\u00fctztes Modell als Entschl\u00fcsselungsinstanz missbraucht wird.<\/p>\n
Gerade in Unternehmensumgebungen gewinnt dieser Aspekt an Bedeutung. KI-Systeme verarbeiten zunehmend Quellcode, interne Dokumente, Zugangsdaten und gesch\u00e4ftskritische Informationen. Werden daraus Reasoning- oder Audit-Logs erzeugt, m\u00fcssen diese Informationen entsprechend gesch\u00fctzt und verwaltet werden.<\/p>\n
Fazit: Das eigentliche Problem liegt hinter der sichtbaren KI-Antwort<\/p>\n
Die Untersuchung zeigt eine neue Dimension der KI-Sicherheit. Nicht nur die sichtbare Antwort eines Modells kann sensible Informationen enthalten. Auch die dahinterliegenden Reasoning-Daten k\u00f6nnen zu einem attraktiven Angriffsziel werden.<\/p>\n
Dass sich ein schw\u00e4cheres Modell unter bestimmten Voraussetzungen als Entschl\u00fcsselungsinstanz f\u00fcr Daten eines st\u00e4rker abgesicherten Modells einsetzen l\u00e4sst, zeigt zudem die Risiken zunehmend komplexer KI-\u00d6kosysteme.<\/p>\n
Die zentrale Sicherheitsfrage lautet damit nicht mehr nur: Was antwortet die KI? Sondern auch: Welche Informationen entstehen w\u00e4hrend der Verarbeitung, wo werden sie gespeichert \u2013 und welches andere Modell kann darauf m\u00f6glicherweise noch zugreifen?<\/p>\n