![\"Architekturdiagramm](\"https:\/\/www.europesays.com\/at\/wp-content\/uploads\/2026\/03\/OpenClaw-RL-Train-Any-Agent-Simply-by-Talking-OpenClaw-RL-infrastructure-overview.png\")
<\/a>OpenClaw-RL verbindet pers\u00f6nliche und allgemeine Agenten \u00fcber Umgebungsserver mit einem RL-Server, dessen vier Komponenten asynchron und ohne gegenseitige Blockierung arbeiten. | Bild: Wang et al.\nBewertung und Richtung stecken in jedem Folgesignal<\/p>\n
Laut den Forschern codieren die Folgesignale zwei Formen von Information, die bisher ungenutzt bleiben. Die erste sind bewertende Signale. Fragt ein Nutzer dieselbe Frage erneut, deutet das auf Unzufriedenheit hin. Besteht ein automatischer Test, war die Aktion erfolgreich. Diese Signale bilden nat\u00fcrliche Qualit\u00e4tsbewertungen f\u00fcr jeden einzelnen Schritt, ohne dass ein Mensch sie annotieren m\u00fcsste. Bisherige Trainingsverfahren nutzen solche Signale bestenfalls nachtr\u00e4glich aus vorab gesammelten Daten.<\/p>\n
Die zweite Form sind richtungsweisende Signale. Wenn ein Nutzer schreibt: „Du h\u00e4ttest zuerst die Datei pr\u00fcfen sollen“, kommuniziert er nicht nur, dass die Antwort falsch war, sondern auch, was konkret h\u00e4tte anders sein sollen. Herk\u00f6mmliche Belohnungssysteme im Reinforcement Learning reduzieren solches Feedback auf eine einzige Zahl und verlieren dabei die inhaltliche Richtungsinformation.<\/p>\n
Vier entkoppelte Komponenten erm\u00f6glichen Training im laufenden Betrieb<\/p>\n
Die Architektur von OpenClaw-RL besteht aus vier voneinander entkoppelten Komponenten. Eine stellt das Modell f\u00fcr Anfragen bereit, eine verwaltet die Umgebungen, eine bewertet automatisch die Qualit\u00e4t der Antworten und eine f\u00fchrt das eigentliche Training durch. Keine muss auf eine andere warten. Das Modell beantwortet die n\u00e4chste Nutzeranfrage, w\u00e4hrend ein Bewertungsmodell die vorherige Antwort einsch\u00e4tzt und die Trainingskomponente parallel Gewichtsupdates durchf\u00fchrt.<\/p>\n
F\u00fcr pers\u00f6nliche Agenten verbindet sich das Nutzerger\u00e4t \u00fcber eine vertrauliche API-Schnittstelle mit dem Trainingsserver. Gewichtsupdates erfolgen nahtlos, ohne die laufende Nutzung zu unterbrechen. F\u00fcr allgemeine Agenten skaliert das System \u00fcber Cloud-gehostete Umgebungen mit bis zu 128 parallelen Instanzen.<\/p>\n
Das Modell lernt von einer besser informierten Version seiner selbst<\/p>\n
OpenClaw-RL kombiniert dabei zwei Optimierungsmethoden. Die einfachere Variante, Binary RL, l\u00e4sst ein Bewertungsmodell jede Aktion anhand des Folgesignals per Mehrheitsentscheid als gut, schlecht oder neutral einstufen. Dieses Ergebnis flie\u00dft als klassische Belohnung ins Training.<\/p>\n
Die zweite Methode, Hindsight-Guided On-Policy Distillation (OPD), geht deutlich weiter. Ein Bewertungsmodell destilliert aus dem Folgesignal einen konkreten Korrekturhinweis von ein bis drei S\u00e4tzen. Dieser wird an die urspr\u00fcngliche Anfrage angeh\u00e4ngt. Dasselbe Modell berechnet dann unter diesem erweiterten Kontext, wie wahrscheinlich es jedes einzelne Token der urspr\u00fcnglichen Antwort generiert h\u00e4tte, wenn es den Hinweis von Anfang an gekannt h\u00e4tte.<\/p>\n Die Differenz liefert f\u00fcr jedes Token eine Richtungsangabe. Manche Formulierungen soll das Modell k\u00fcnftig bevorzugen, andere vermeiden. Ein separates Lehrermodell oder vorab gesammelte Daten sind daf\u00fcr nicht n\u00f6tig.<\/p>\n Binary RL liefert breite Abdeckung \u00fcber alle Interaktionen, OPD liefert pr\u00e4zise Korrekturen auf Tokenebene f\u00fcr besonders informative F\u00e4lle. Laut den Forschern erzielt die Kombination beider Methoden die besten Ergebnisse.<\/p>\n Wenige Dutzend Interaktionen reichen f\u00fcr sichtbare Verbesserungen<\/p>\n In Simulationsexperimenten testeten die Forscher OpenClaw-RL mit dem Modell Qwen3-4B<\/a> in zwei Szenarien. Im ersten simuliert ein Sprachmodell einen Studenten, der OpenClaw f\u00fcr Hausaufgaben nutzt, aber nicht als KI-Nutzer erkannt werden will. Im zweiten simuliert es einen Lehrer, der spezifische, freundliche Kommentare zu Hausaufgaben erwartet.<\/p>\n Im Studenten-Setting stieg der Personalisierungsscore von 0,17 auf 0,76 nach nur acht Trainingsschritten mit der kombinierten Methode. Binary RL allein erreichte 0,25, OPD allein ebenfalls 0,25 nach acht Schritten, holte aber nach 16 Schritten auf 0,72 auf. Im Lehrer-Setting stieg der Score von 0,22 auf 0,90. Konkret lernte der Agent nach wenigen Dutzend Interaktionen, offensichtlich KI-artige Formulierungen zu vermeiden und einen nat\u00fcrlicheren Schreibstil zu verwenden.<\/p>\n F\u00fcr allgemeine Agenten testeten die Forscher das Framework mit verschiedenen Qwen3-Modellen in Kommandozeilen-, GUI-, Software-Engineering- und Werkzeugaufruf-Szenarien. Auch hier half die Integration schrittweiser Bewertungen. Im Werkzeugaufruf-Setting verbesserte sich die Leistung von 0,17 auf 0,30, bei grafischen Oberfl\u00e4chen von 0,31 auf 0,33.<\/p>\n Das Framework soll laut den Forschern das erste System sein, das mehrere gleichzeitige Interaktionsstr\u00f6me von pers\u00f6nlichen Gespr\u00e4chen bis zu Software-Engineering-Aufgaben in einer einzigen Trainingsschleife vereint. Der Code ist auf GitHub<\/a> verf\u00fcgbar.<\/p>\n Das Princeton-Framework nutzt zwar den Namen des popul\u00e4ren Open-Source-KI-Agenten OpenClaw und baut auf dessen Infrastruktur auf, ist aber ein eigenst\u00e4ndiges Forschungsprojekt ohne direkte Verbindung zum Kernteam der Plattform. OpenClaw selbst sorgte zuletzt prim\u00e4r durch gravierende Sicherheitsprobleme<\/a> f\u00fcr Schlagzeilen. Sicherheitsforscher zeigten, dass sich die Agenten \u00fcber manipulierte Dokumente vollst\u00e4ndig \u00fcbernehmen lassen, ein unabh\u00e4ngiger Test ergab nur 2 von 100 Sicherheitspunkten<\/a>, und auf der Plattform ClawHub wurden mehr als 300 mit Trojanern verseuchte Skills<\/a> entdeckt. Gr\u00fcnder Peter Steinberger hat das Projekt inzwischen in eine Stiftung \u00fcberf\u00fchrt und ist zu OpenAI gewechselt<\/a>, um dort an der n\u00e4chsten Generation pers\u00f6nlicher KI-Agenten zu arbeiten.<\/p>\n \t\t\t\tKI-News ohne Hype \u2013 von Menschen kuratiert<\/p>\n \n\t\t\t\t\tMit dem THE\u2011DECODER\u2011Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren w\u00f6chentlichen KI\u2011Newsletter, 6\u00d7 im Jahr den \u201eKI Radar“\u2011Frontier\u2011Newsletter mit den neuesten Entwicklungen aus der Spitze der KI\u2011Forschung, bis zu 25 % Rabatt auf KI Pro\u2011Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.\t\t\t\t<\/p>\n<\/a>Die Trainingsmethoden von OpenClaw-RL im \u00dcberblick. Links die bin\u00e4re Belohnung aus Gespr\u00e4chen, in der Mitte die Destillation mit Korrekturhinweisen, rechts die schrittweise Bewertung f\u00fcr allgemeine Agenten. | Bild: Wang et al.<\/p>\n<\/a>Vorher-Nachher-Vergleich der OpenClaw-Antworten. Im Studenten-Setting verschwindet der typisch KI-artige Stil, im Lehrer-Setting wird das Feedback spezifischer und freundlicher. Nach acht Trainingsschritten steigen die Personalisierungsscores deutlich. | Bild: Wang et al.<\/p>\n<\/a>Trainingskurven f\u00fcr die vier Agenten-Typen. Die Genauigkeit steigt \u00fcber die RL-Schritte hinweg in allen Settings, am deutlichsten bei Terminal- und Tool-Call-Agenten. | Bild: Wang et al.<\/p>\n<\/p>\n