close notice<\/p>\n
\n This article is also available in It was translated with technical assistance and editorially reviewed before publication.\n <\/p>\n \n Don\u2019t show this again.\n<\/p>\n Apples KI-Forschungsabteilung hat einen neuen Ansatz f\u00fcr die Beschleunigung von Textgeneratoren vorgestellt. Mittels sogenannter Few-Step Discrete Flow-Matching Language Models, kurz FS-DFM, soll sich die Durchsatzrate („faster sampling and corresponding latency\/throughput gains“) um das bis zu 128-fache steigern lassen, gemessen an der Ausgabe von 1024 Token. FS-DFM fasst dabei 1024 einzelne Schritte herk\u00f6mmlicher Modelle in nur acht Schritten zusammen, erkl\u00e4ren die Wissenschaftler.<\/p>\n Weiterlesen nach der Anzeige<\/p>\n Technik aus dem Bereich der Bildgenerierung<\/p>\n In dem Paper<\/a>, das auf dem Preprint-Server arXiv publiziert wurde, hei\u00dft es weiter, dass FS-DFM lange Texte besonders genau erstellen soll. Dabei kommt die Diffusion-Technik zum Einsatz, ein Generierungsverfahren, das urspr\u00fcnglich vor allem f\u00fcr die Bildgenerierung verwendet wurde, mittlerweile aber auch bei Large Language Models (LLMs) genutzt wird, weil dies Effizienzgewinne verspricht. Konkurrierende Systeme wie GPT-5 von OpenAI setzen hingegen auf die Transformer-Technik, die die sogenannte Autoregression nutzt.<\/p>\n Diffusion-Modelle haben den grundlegenden Vorteil, dass sie mehrere Ausgabe-Tokens, also die einzelnen Bestandteile der Textausgabe, gleichzeitig generieren k\u00f6nnen. Anschlie\u00dfend werden sie weiter verfeinert, bis es zum Output an den Nutzer kommt. Flow-Matching-Modelle sollen das weiter beschleunigen, was Apple nun gelungen ist \u2013 wobei bestehende Verfahren \u00fcberholt sein sollen.<\/p>\n GPT-basierte LLMs sind noch Mainstream<\/p>\n Ein Problem bleibt, dass die Auswahl an \u00f6ffentlich verf\u00fcgbaren Discrete-Flow-Matching-Modelle noch klein ist \u2013 die KI-Szene setzt bei Textgeneratoren weiterhin vor allem auf den GPT-basierten Ansatz. Apples Forscher wollen hier helfen, indem sie ihre eigene DFM- und FS-DFM-Modelle \u00f6ffentlich bereitstellen. Details dazu finden sich im Paper.<\/p>\n Das Projekt entstand in Zusammenarbeit mit Forschern an der Ohio State University. Apples KI-Forschungsabteilung hatte zuvor auch schon in anderen Bereichen mit Flow-Matching-Modellen experimentiert, unter anderem f\u00fcr den Bereich der Programmierung<\/a> und bei der Protein-Faltung<\/a>. Der Konzern erhofft sich dadurch Durchbr\u00fcche auch f\u00fcr seine Produkte. Einen eigenen Chatbot<\/a> bietet Apple nach wie vor nicht offiziell an.<\/p>\n Weiterlesen nach der Anzeige<\/p>\n
\n English<\/a>.<\/p>\n