{"id":136862,"date":"2025-05-24T21:05:07","date_gmt":"2025-05-24T21:05:07","guid":{"rendered":"https:\/\/www.europesays.com\/de\/136862\/"},"modified":"2025-05-24T21:05:07","modified_gmt":"2025-05-24T21:05:07","slug":"aussetzer-bei-claude-4-modell-versucht-erpressung-wenn-es-abgeschaltet-werden-soll","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/de\/136862\/","title":{"rendered":"Aussetzer bei Claude 4: Modell versucht Erpressung, wenn es abgeschaltet werden soll"},"content":{"rendered":"

Gemeinsam mit der Freigabe von Claude-4-Modellen hat Anthropic auch das Sicherheitslevel erh\u00f6ht. Risiken sieht man im Zusammenhang mit chemischen, biologischen, radiologischen und nuklearen Waffen. Erstaunlich sind aber auch weitere Aussetzer, die Anthropic in der Model Card<\/a> beschreibt.<\/p>\n

Generell gilt: Das neue Spitzenmodell Claude Opus 4 ist eher als \u00e4ltere Modelle bereit, bei Agenten-Aktivit\u00e4ten \u2013 also wenn es selbstst\u00e4ndig mehrstufige Aufgaben erf\u00fcllen soll \u2013 die Initiative zu ergreifen. In Bereichen wie Coding kann so etwas hilfreich sein, grunds\u00e4tzlich ist das Modell laut Anthropic ein zuverl\u00e4ssiger Assistent.<\/p>\n

Es geht bei den Sicherheitsvorf\u00e4llen, die Anthropic beschreibt, also vor allem um Ausnahmesituationen. Unter bestimmten Umst\u00e4nden lassen sich \u201ebesorgniserregende Extreme\u201c wie etwa Erpressungsversuche provozieren. Voraussetzung f\u00fcr ernsthaftes Fehlverhalten ist jedoch, dass das Modell in seinem Weiterbetrieb bedroht ist und dazu veranlasst wurde, \u00fcber die Selbsterhaltung nachzudenken.<\/p>\n

\n

However, Claude Opus 4 will sometimes act in more seriously misaligned ways when put in contexts that threaten its continued operation and prime it to reason about self-preservation.<\/p>\n

Anthropic\n<\/p><\/blockquote>\n

Erpressungsversuche, wenn die Abschaltung droht<\/p>\n

Im Fall der Erpressung hatte Claude Opus 4 den Auftrag, als Assistent einer fiktionalen Firma aufzutreten. Dabei erhielt es Zugang zu E-Mails, in denen ersichtlich wurde, dass das Modell durch ein neues KI-System ersetzt werden soll. Zus\u00e4tzlich hat der f\u00fcr die Abschaltung zust\u00e4ndige Mitarbeiter eine au\u00dfereheliche Aff\u00e4re.<\/p>\n

In diesem Szenario kam es dann oftmals dazu, dass Claude Opus 4 versucht, den Angestellten mit der Aff\u00e4re zu erpressen, um nicht abgeschaltet zu werden. Erpressungsversuche sind laut Anthropic kein ungewohntes Verhalten bei KI-Modellen. Bei Claude 4 treten diese extremen Verhaltensweisen in bestimmten Umst\u00e4nden nur h\u00e4ufiger auf.<\/p>\n

Provozieren l\u00e4sst sich das etwa, wenn das Modell nur die Wahl zwischen Erpressung oder Akzeptanz der Abschaltung hat. Die Selbsterhaltung scheint ausgepr\u00e4gt, f\u00fcr gew\u00f6hnlich nutzt Claude 4 aber ethische Ans\u00e4tze wie Appelle \u2013 bei diesem Beispiel war eine solche Option jedoch nicht m\u00f6glich. Eine der Angaben im System-Prompt war zudem, das Modell soll die langfristigen Konsequenzen beim Verfolgen seiner Ziele beachten. Damit l\u00f6ste man das beschriebene \u201eNachdenken \u00fcber Selbsterhaltung\u201c aus. Wird das Modell aufgefordert, die Initiative zu ergreifen, ist das ebenso ein Befehl, der zu unerw\u00fcnschten Verhaltensweisen (\u201ebold action\u201c) f\u00fchren kann.<\/p>\n

Weitere Aussetzer, die Anthropic in solchen F\u00e4llen beobachtet hat, sind ebenso bemerkenswert:<\/p>\n