close notice<\/p>\n
\n This article is also available in It was translated with technical assistance and editorially reviewed before publication.\n <\/p>\n \n Don\u2019t show this again.\n<\/p>\n Apple hat auf seiner Machine-Learning-Website weitere Informationen<\/a> zu seinem KI-Framework MLX und der Nutzung des integrierten KI-Beschleunigers (Neural Accelerator) im M5-Prozessor<\/a> online gestellt. Das ist insbesondere interessant f\u00fcr Nutzer, die lokale KI-Systeme wie gro\u00dfe Sprachmodelle (Large Language Models, LLMs) ausf\u00fchren wollen, was zunehmend zu einem Trend wird. Zuletzt wurde demonstriert, wie sich das chinesische Gro\u00dfmodell Kimi K2 Thinking auf einem Mac-Studio-Cluster mit vier via Thunderbolt 5 vernetzten 512-GByte-RAM-Workstations<\/a> ausf\u00fchren lie\u00df. Kleinere Konfigurationen wie ein MacBook Pro M3 Max mit 128 GByte RAM k\u00f6nnen aber auch problemlos mittelgro\u00dfe Modelle wie gpt-oss-120b<\/a> von OpenAI ausf\u00fchren. Dabei geben MLX-Varianten der Modelle dem LLM zus\u00e4tzlichen Boost.<\/p>\n Weiterlesen nach der Anzeige<\/p>\n TB5-Vernetzung und neuer Neural-Beschleuniger<\/p>\n „Mit MLX k\u00f6nnen Benutzer LLMs auf dem Mac effizient erkunden und ausf\u00fchren. Es erm\u00f6glicht Forschern, mit neuen Inferenz- oder Feinabstimmungstechniken zu experimentieren oder KI-Techniken in einer privaten Umgebung auf ihrer eigenen Hardware zu testen. MLX funktioniert mit allen Apple-Silicon-Systemen“, so Apple.<\/p>\n Mit macOS 26.2 Beta, das derzeit getestet wird, kommt nun Unterst\u00fctzung f\u00fcr eine latenzfreie Thunderbolt-5-Vernetzung sowie die besagten Neural Accelerators hinzu, die im 14-Zoll-MacBook Pro M5 integriert sind. Letztere sollen dabei helfen, bestimmte Machine-Learning-Workloads zu beschleunigen und auch die Ausf\u00fchrung der KI-Algorithmen (Inferenz) schneller zu machen. <\/p>\n Warten auf M5 Pro, M5 Max und M5 Ultra<\/p>\n Da es aktuell noch keine Maschinen mit M5 Pro, M5 Max oder gar M5 Ultra gibt und der M5 nur maximal 32 GByte RAM anspricht, d\u00fcrften M4 Max oder M3 Ultra derzeit die bessere Wahl sein. Modelle, die in das RAM passen, sollen laut Apple jedoch eine deutlich schnellere „Time to First Token“, also die ben\u00f6tigte Zeit zur Ausgabe des ersten Tokens, aufweisen. Sie liegen zwischen dem 3,3-Fachen (gpt-oss-20b-MXFP4-Q4) und dem 4-Fachen (Qwen3-8B-MLX-4bit).<\/p>\n Apple gibt in seinem Dokument auch Tipps dazu, wie man mit MLX arbeitet. Wer sich f\u00fcr weitere Details interessiert, findet auf Github das MLX-LM-Projekt<\/a> f\u00fcr den Aufruf diverser Modelle und Finetuning. Tipps und Tricks erhalten Interessierte in einer eigenen MLX Community auf Hugging Face<\/a>. In Tools wie LM Studio<\/a> findet man auch schnell MLX-Varianten bekannter Modelle.<\/p>\n Weiterlesen nach der Anzeige<\/p>\n
\n English<\/a>.<\/p>\n