close notice
It was translated with technical assistance and editorially reviewed before publication.
Apples KI-Forschungsabteilung hat einen neuen Ansatz für die Beschleunigung von Textgeneratoren vorgestellt. Mittels sogenannter Few-Step Discrete Flow-Matching Language Models, kurz FS-DFM, soll sich die Durchsatzrate („faster sampling and corresponding latency/throughput gains“) um das bis zu 128-fache steigern lassen, gemessen an der Ausgabe von 1024 Token. FS-DFM fasst dabei 1024 einzelne Schritte herkömmlicher Modelle in nur acht Schritten zusammen, erklären die Wissenschaftler.
Weiterlesen nach der Anzeige
Technik aus dem Bereich der Bildgenerierung
In dem Paper, das auf dem Preprint-Server arXiv publiziert wurde, heißt es weiter, dass FS-DFM lange Texte besonders genau erstellen soll. Dabei kommt die Diffusion-Technik zum Einsatz, ein Generierungsverfahren, das ursprünglich vor allem für die Bildgenerierung verwendet wurde, mittlerweile aber auch bei Large Language Models (LLMs) genutzt wird, weil dies Effizienzgewinne verspricht. Konkurrierende Systeme wie GPT-5 von OpenAI setzen hingegen auf die Transformer-Technik, die die sogenannte Autoregression nutzt.
Diffusion-Modelle haben den grundlegenden Vorteil, dass sie mehrere Ausgabe-Tokens, also die einzelnen Bestandteile der Textausgabe, gleichzeitig generieren können. Anschließend werden sie weiter verfeinert, bis es zum Output an den Nutzer kommt. Flow-Matching-Modelle sollen das weiter beschleunigen, was Apple nun gelungen ist – wobei bestehende Verfahren überholt sein sollen.
GPT-basierte LLMs sind noch Mainstream
Ein Problem bleibt, dass die Auswahl an öffentlich verfügbaren Discrete-Flow-Matching-Modelle noch klein ist – die KI-Szene setzt bei Textgeneratoren weiterhin vor allem auf den GPT-basierten Ansatz. Apples Forscher wollen hier helfen, indem sie ihre eigene DFM- und FS-DFM-Modelle öffentlich bereitstellen. Details dazu finden sich im Paper.
Das Projekt entstand in Zusammenarbeit mit Forschern an der Ohio State University. Apples KI-Forschungsabteilung hatte zuvor auch schon in anderen Bereichen mit Flow-Matching-Modellen experimentiert, unter anderem für den Bereich der Programmierung und bei der Protein-Faltung. Der Konzern erhofft sich dadurch Durchbrüche auch für seine Produkte. Einen eigenen Chatbot bietet Apple nach wie vor nicht offiziell an.
Weiterlesen nach der Anzeige
(bsc)
Dieser Link ist leider nicht mehr gültig.
Links zu verschenkten Artikeln werden ungültig,
wenn diese älter als 7 Tage sind oder zu oft aufgerufen wurden.
Sie benötigen ein heise+ Paket, um diesen Artikel zu lesen. Jetzt eine Woche unverbindlich testen – ohne Verpflichtung!