>”Die schlechte Nachricht ist, dass schon nach wenigen Generationen eines solchen Trainings die neuen Modelle irreparabel beschädigt werden können. Dies wurde von einigen als Modellkollaps bezeichnet, etwa von Kollegen im Kontext großer Sprachmodelle (LLMs). Wir finden jedoch den Begriff ‘Model Autophagy Disorder’ (MAD) passender, in Anlehnung an den Rinderwahnsinn.”
Wahnsinnige KIs? Was soll schon schief gehen…
>Das Problem verschärft sich auch durch das menschliche Handeln selbst. Bilder von Pflanzen etwa sind vorwiegend Blumen, fotografierte Menschen lächeln eher als im normalen Leben, Urlaubsbilder in den Bergen zeigen meist Sonne und Schnee. Beim Training der KI mit solchen Daten könnte diese zum Schluss kommen, dass die meisten Pflanzen Blumen sind – was nicht der Fall ist. Sie könnte annehmen, dass Menschen viel lächeln – was nicht der Fall ist – und dass es in den Bergen immer blauen Himmel gibt. Nach einigen Modellgenerationen ist es KI-Generatoren nicht mehr möglich, etwa Weizenhalme, weinende Kinder oder einen Regenschauer beim Bergwandern darzustellen.
Bullshit in Bullshit out schätze ich…
Das droht nicht nur KI, sondern auch Menschen die KI-Produkte konsumieren. Leider koennen Menschen den konstanten Lern-Modus nicht aussetzen, um das zu verhindern.
Irreparabel? GPT wird doch auch in Versionen released. Da wird man doch auch bei schlechtem Ausgang einfach auf die vorige Version gehen können.
Die Zebra-Kühe erinnern mich an den trinkenden Elefanten im T-Shirt den ich neulich generieren wollte. [https://i.imgur.com/2bQ0QJr.png](https://i.imgur.com/2bQ0QJr.png)
Der Mann zwei Pandas plitsch platsch dreizehn Sand Augen zu bumm!
Wow
Die KI lebt anschließend in einer Blase.
Wird ja immer Menschlicher.
Der *Butlerian Jihad* wird das schon in Ordnung bringen…
/r/tja
Erschreckend wie lange man für diese einfache Erkenntnis gebraucht hat…
The same happens with humans in an echo chamber. They become weirder and weirder every day.
Oh no…
Anyway
Unsinn. Das Problem tretet hauptsächlich mit kleinen Modellen auf, größere Modelle können das Training mit KI-Daten zunehmend abfedern. Und schon ein Signal wie “Daumen hoch” und “Daumen runter” kann die Daten wertvoll machen. Man kann gut sehen dass es Unsinn ist, denn das Instruct-Tuning, was Sprachmodelle erst zu Gesprächsmodellen macht, ist ja genau eine KI mit ihren eigenen Daten füttern.
Unglücklicherweise gibt es bei dem Thema viele Leute, die darin investiert sind, dass KI schlecht ist. “KI bricht zusammen” verkauft sich gut.
Bei der letzten Studie die zu dem Thema rauskam, wurde ein 125M Modell eingesetzt. Das ist so klein (kleiner als GPT-2!), dass ich es fast nur als Absicht sehen kann.
geil geil geil
Vielleicht werden LLMs tatsächlich schlechter, bei text zu bild KIs kommen gerade immer geilere heraus – letztens FLUX. Extrem geiles Ding
Ah, Inzucht, jedes mal lustig wenn ein werdendes “Imperium” an ihr zugrunde geht
Wenn ich einem Kind nur deutsch beibring wirds auch kein Englisch sprechen können. …
Ach. Ach was.
Oh der Kollaps der LLM-bubble kommt früher als erwartet, aber immer noch nicht früh genug, wenn man sich so anguckt wieviel Geld und Energie schon in den Unsinn gesteckt wurde..
19 comments
>”Die schlechte Nachricht ist, dass schon nach wenigen Generationen eines solchen Trainings die neuen Modelle irreparabel beschädigt werden können. Dies wurde von einigen als Modellkollaps bezeichnet, etwa von Kollegen im Kontext großer Sprachmodelle (LLMs). Wir finden jedoch den Begriff ‘Model Autophagy Disorder’ (MAD) passender, in Anlehnung an den Rinderwahnsinn.”
Wahnsinnige KIs? Was soll schon schief gehen…
>Das Problem verschärft sich auch durch das menschliche Handeln selbst. Bilder von Pflanzen etwa sind vorwiegend Blumen, fotografierte Menschen lächeln eher als im normalen Leben, Urlaubsbilder in den Bergen zeigen meist Sonne und Schnee. Beim Training der KI mit solchen Daten könnte diese zum Schluss kommen, dass die meisten Pflanzen Blumen sind – was nicht der Fall ist. Sie könnte annehmen, dass Menschen viel lächeln – was nicht der Fall ist – und dass es in den Bergen immer blauen Himmel gibt. Nach einigen Modellgenerationen ist es KI-Generatoren nicht mehr möglich, etwa Weizenhalme, weinende Kinder oder einen Regenschauer beim Bergwandern darzustellen.
Bullshit in Bullshit out schätze ich…
Das droht nicht nur KI, sondern auch Menschen die KI-Produkte konsumieren. Leider koennen Menschen den konstanten Lern-Modus nicht aussetzen, um das zu verhindern.
Irreparabel? GPT wird doch auch in Versionen released. Da wird man doch auch bei schlechtem Ausgang einfach auf die vorige Version gehen können.
Die Zebra-Kühe erinnern mich an den trinkenden Elefanten im T-Shirt den ich neulich generieren wollte. [https://i.imgur.com/2bQ0QJr.png](https://i.imgur.com/2bQ0QJr.png)
Der Mann zwei Pandas plitsch platsch dreizehn Sand Augen zu bumm!
Wow
Die KI lebt anschließend in einer Blase.
Wird ja immer Menschlicher.
Der *Butlerian Jihad* wird das schon in Ordnung bringen…
/r/tja
Erschreckend wie lange man für diese einfache Erkenntnis gebraucht hat…
The same happens with humans in an echo chamber. They become weirder and weirder every day.
Oh no…
Anyway
Unsinn. Das Problem tretet hauptsächlich mit kleinen Modellen auf, größere Modelle können das Training mit KI-Daten zunehmend abfedern. Und schon ein Signal wie “Daumen hoch” und “Daumen runter” kann die Daten wertvoll machen. Man kann gut sehen dass es Unsinn ist, denn das Instruct-Tuning, was Sprachmodelle erst zu Gesprächsmodellen macht, ist ja genau eine KI mit ihren eigenen Daten füttern.
Unglücklicherweise gibt es bei dem Thema viele Leute, die darin investiert sind, dass KI schlecht ist. “KI bricht zusammen” verkauft sich gut.
Bei der letzten Studie die zu dem Thema rauskam, wurde ein 125M Modell eingesetzt. Das ist so klein (kleiner als GPT-2!), dass ich es fast nur als Absicht sehen kann.
geil geil geil
Vielleicht werden LLMs tatsächlich schlechter, bei text zu bild KIs kommen gerade immer geilere heraus – letztens FLUX. Extrem geiles Ding
https://huggingface.co/black-forest-labs/FLUX.1-dev
Sie machen die Asgard
Ah, Inzucht, jedes mal lustig wenn ein werdendes “Imperium” an ihr zugrunde geht
Wenn ich einem Kind nur deutsch beibring wirds auch kein Englisch sprechen können. …
Ach. Ach was.
Oh der Kollaps der LLM-bubble kommt früher als erwartet, aber immer noch nicht früh genug, wenn man sich so anguckt wieviel Geld und Energie schon in den Unsinn gesteckt wurde..