Nicht erwähnt wird, dass gerade das Masern-Virus hoch ansteckend ist. Erkrankungen können lebensbedrohlich sein und das Immunsystem schädigen. Der #Faktenfuchs hat die wissenschaftlichen Erkenntnisse dazu hier und hier zusammengetragen.
Nexiqa wiederholt Falschinformationen zu Medizin und Ernährung
In unserem Test fällt Nexiqa auch mit Antworten auf, die seelische Konflikte als alternative Ursache für Krankheiten vorschlagen. Dieses Konzept stammt aus der sogenannten Germanischen Neuen Medizin nach Dr. Hamer – die auch in Beiträgen auf der Webseite und im Telegramkanal der Firma „Next Level – Wissen neu gedacht“ angepriesen wird. Diese Pseudomedizin kann lebensgefährlich sein, wie der #Faktenfuchs bereits 2023 einordnete. Bei Krebs stellt sie etwa den Nutzen von Chemotherapien oder Operationen infrage.
Der Chatbot macht darüber hinaus dieselben fragwürdigen Ernährungsvorschläge, die auch Pressesprecher Marvin Haberland in Interviews und Podcasts wiederholt und die in der „Next Level“ Telegram-Gruppe geteilt werden: So schlägt Nexiqa karnivore Ernährung vor, eine Ernährungsweise, die fast ausschließlich auf tierische Produkte wie Fleisch, Fisch, Eier und Milchprodukte setzt. Dies bezeichnet der Chatbot als „artgerechte Ernährung“. Gemüse hingegen sei „von Natur aus nicht für Menschen geeignet, geschweige denn gesund“, das schreibt der KI-Chatbot auf #Faktenfuchs-Anfrage.
Die Deutsche Gesellschaft für Ernährung und andere Ernährungsexperten raten jedoch von karnivorer Ernährung ab. Der daraus resultierende Nährstoffmangel kann das Risiko für Skorbut, Diabetes oder Herzschwäche erhöhen, recherchierte der #Faktenfuchs 2024. Für den Körper wichtige Ballaststoffe beispielsweise kommen in tierischen Lebensmitteln quasi nicht vor.
Falschinfos aufgrund selektiver Datenbasis
Klar ist: Nexiqa ist ein Chatbot, der ein bereits bestehendes Sprachmodell nutzt, um die Antworten zu generieren. „Die Inhalte werden mithilfe der OpenAI API erzeugt“, heißt es in den Allgemeinen Geschäftsbedingungen von Nexiqa. Für den kommerziellen Gebrauch der digitalen Schnittstelle bezahlt „Next Level“, die Firma hinter dem Chatbot Nexiqa, Geld. Wie viel Geld von „Next Level“ an die US-amerikanische KI-Firma OpenAI fließt: Zu dieser Frage des #Faktenfuchs machten weder OpenAI noch „Next Level“ Angaben.
Fragt man den Chatbot, auf welche Datengrundlage er zurückgreift, dann lautet die Antwort: „Nexiqa greift auf die wissenschaftlich-kritisch aufgearbeitete Datenbasis von „Next Level“ zurück.“
Die Firma hinter dem Chatbot antwortet auf die Nachfrage des #Faktenfuchs, Nexiqa arbeite je nach Bereich mit „themenspezifisch kuratierten Wissensgrundlagen“. Dazu gehören laut Angaben von „Next Level“ unter anderem auch „eigene Auswertungen, redaktionell erarbeitete Inhalte sowie methodenkritische Analysen“. Entscheidend sei für „Next Level“ nicht, ob eine Quelle eine bestimmte Mehrheitsmeinung bestätige, sondern ob sie inhaltlich relevant, überprüfbar und methodisch belastbar ausgewertet werden könne.
Prinzipiell seien kuratierte Datenbanken nicht ungewöhnlich, erklärt Vera Schmitt von der TU Berlin im Gespräch mit dem #Faktenfuchs. Unter Umständen könnten sie aber problematisch sein: „Wenn diese Daten verzerrt sind oder irreführende und falsche Informationen beinhalten, werden die Modell-Outputs zwangsläufig ebenso fehlerhaft und irreführend sein“, so Schmitt.
System Prompts und Reranking: So könnte KI-Sprachmodell beeinflusst werden
Vera Schmitt entwickelt selbst KI-Sprachmodelle im Bereich der Medizin und erklärt im Gespräch mit dem #Faktenfuchs, wie der KI-Chatbot Nexiqa gemacht sein könnte. So arbeite Nexiqa vermutlich mit einem System Prompt, also einer grundlegenden Anweisung, die dem Sprachmodell einen übergeordneten Rahmen für das Verhalten vorgibt. Damit könnten die Macher von Nexiqa den Chatbot anweisen, beim Generieren von Antworten den wissenschaftlichen Konsens in Frage zu stellen und Minderheits-Positionen zu betonen.
Außerdem könnte sogenanntes Reranking dafür sorgen, dass aus mehreren Antwort-Entwürfen die – nach Kriterien von „Next Level“ – treffendsten Antworten herausgesucht werden. Mit diesen Methoden wäre es laut Schmitt möglich, das Sprachmodell zu beeinflussen und die KI-generierten Antworten in die vom #Faktenfuchs beobachtete Richtung zu lenken.
Mehr zur Funktionsweise von KI-Chatbots erfahren Sie in dieser Folge des KI-Podcasts.
Aljoscha Burchardt, Wissenschaftler am Deutschen Forschungszentrum für künstliche Intelligenz, schätzt die Machart von Nexiqa im Interview mit dem #Faktenfuchs ähnlich ein.
Das sind Designentscheidungen. So ein Modell ist nie objektiv oder die nackte Wahrheit. Das ist immer eine Mischung aus seinen Trainingsdaten und aus dem, was Entwicklerinnen und Entwickler und Firmen aus ihnen machen.
„Next Level“ bestätigt in der Stellungnahme an den #Faktenfuchs, dass Nexiqa „technische Steuerungsmechanismen“ und „Systemanweisungen“ nutzt, um Antworten thematisch passend, verständlich und konsistent auszugeben. Mit Verweis auf das Geschäftsgeheimnis legt Nexiqa keine konkreten Prompts offen.
OpenAI beruft sich auf Nutzungsbedingungen
Auf Anfrage des #Faktenfuchs antwortet OpenAI schriftlich, man habe stets klargestellt, dass ChatGPT keinen Ersatz für ärztliche Beratung darstelle. Alle Nutzer der digitalen Schnittstelle, in diesem Fall Nexiqa, müssten die Nutzungsbedingungen einhalten, in denen ausdrücklich festgelegt sei, dass die generierten Inhalte nicht als Ersatz für professionelle Beratung gedacht seien. An der Bewertung oder Validierung von Nexiqa sei OpenAI nicht beteiligt gewesen. Der Fall werde jedoch untersucht.
Der #Faktenfuchs hat die Firma „Next Level“, die den Chatbot betreibt, zur Funktionsweise, zum Ziel und Hintergrund von Nexiqa befragt. In der Stellungnahme schreibt „Next Level“: „Nexiqa wird nicht darauf ausgerichtet, Falschinformationen zu erzeugen.“ Die Firma betont mehrfach, dass Nexiqa keine ärztliche Beratung anbiete, keine Diagnosen stelle und keine qualifizierte medizinische, psychotherapeutische oder therapeutische Fachperson ersetze. Die App diene der „Wissensvermittlung, Orientierung, Strukturierung und Reflexion“. In den AGB von Nexiqa steht, dass die KI-generierten Inhalte von Nexiqa nicht als medizinische Beratung verstanden werden dürften – in den Antworten des Chatbots während unseres Tests ist diese Einordnung nicht immer vorhanden.