{"id":46262,"date":"2026-03-16T20:52:10","date_gmt":"2026-03-16T20:52:10","guid":{"rendered":"https:\/\/www.europesays.com\/ch-de\/46262\/"},"modified":"2026-03-16T20:52:10","modified_gmt":"2026-03-16T20:52:10","slug":"gtc-2026-nvidia-kuendigt-integration-von-groq-3-lpu-an","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/ch-de\/46262\/","title":{"rendered":"GTC 2026: NVIDIA k\u00fcndigt Integration von Groq 3 LPU an"},"content":{"rendered":"

Ein mit viel Spannung erwarteter Moment auf der Keynote zur GTC 2026 war die Ank\u00fcndigung, in welcher Form NVIDIA seine Investition von 20 Milliarden US-Dollar bei Groq<\/a> nutzen w\u00fcrde. Nun ist klar: In einem ersten Schritt werden die LPUs von Groq in die kommenden Vera-Rubin-NVL72-Systeme integriert, um einen hohen Durchsatz an Tokens bei gleichzeitig m\u00f6glichst niedriger Latenz gew\u00e4hrleisten zu k\u00f6nnen.<\/p>\n

Bereits seit einigen Monaten wird deutlich: Das Training immer neuer KI-Modelle ist ein Anwendungsbereich f\u00fcr KI-Beschleuniger, aber es wird auch vermehrt darum gehen, diese KI-Modelle in Form der entsprechenden Services schnell und kosteng\u00fcnstig anbieten zu k\u00f6nnen. Einerseits ist dies \u00fcber die bestehenden KI-Beschleuniger auf Basis der Blackwell- oder Rubin-Architektur m\u00f6glich. Aber mittels speziell angepasster Hardware ist eine Umsetzung f\u00fcr das Inferencing deutlich effizienter.<\/p>\n

Entsprechend stellte NVIDIA vor einem Jahr Rubin CPX als Spezialvariante mit LPDDR-Speicher vor<\/a>. Der Kauf von Groq erm\u00f6glicht es NVIDIA aber auch, auf die dort entwickelten LPUs zu setzen.<\/p>\n

Groq LPU<\/p>\n

Die Groq LPU (Language Processing Unit) ist ein speziell f\u00fcr KI-Inferenz entwickelter Prozessor, der sich durch eine deterministische, softwarezentrische Architektur mit einem gro\u00dfen, monolithischen Kern und hunderten MB On-Chip-SRAM als prim\u00e4rem Speicher auszeichnet. So sollen\u00a0Speicherzugriffe mit garantierten Latenzen erfolgen, sodass der Compiler den Datenfluss wie auf einem «Flie\u00dfband» im Voraus planen kann.<\/p>\n

Statt auf die f\u00fcr GPUs typische Kombination aus komplexem Scheduler, Caches und externer HBM-Bandbreite zu setzen, streamt die LPU Gewichte und Aktivierungen mit sehr hoher interner Bandbreite durch Vektor- und Matrix-Einheiten, was vor allem bei sequenziellen Workloads wie gro\u00dfen Sprachmodellen eine sehr hohe Tokenrate bei niedriger Latenz erm\u00f6glicht.<\/p>\n

In der Praxis erreicht Groq mit dieser Architektur bei LLMs wie Llama 2 70B mehrere hundert Tokens pro Sekunde und positioniert die LPU damit als energieeffiziente, skalierbare Alternative zu GPU-Clustern f\u00fcr Echtzeitanwendungen.<\/p>\n

\"NVIDIA <\/a> <\/p>\n

Im Vergleich zu Systemen nur mit Blackwell- oder Rubin-Beschleunigern sollen die Racks bestehend aus einem Vera-Rubin-NVL72-System plus einem LPX-Cluster ein Vielfaches des Durchsatzes erreichen, damit kosteng\u00fcnstiger sein und zudem auch noch deutlich weniger Leistung pro Millionen Tokens verbrauchen.<\/p>\n

Ein NVIDIA-Groq-3-LPX-Rack besteht aus 256 LPUs mit 128 GB an SRAM. Die kombinierte\u00a0SRAM-Bandbreite liegt bei 40 PB\/s und das komplette System kommt auf eine Rechenleistung von 315 PFLOPS.<\/p>\n

Die ersten Bringup-Systeme von Vera Rubin NVL72 wurden bereits ausgeliefert. Mit gr\u00f6\u00dferen St\u00fcckzahlen ist aber erst im vierten Quartal 2026 zu rechnen. Ab wann Vera Rubin NVL72 + NVIDIA Groq 3 LPX in dieser Form erh\u00e4ltlich sein wird, ist nicht bekannt.<\/p>\n

Tokens sind die neue W\u00e4hrung \"NVIDIA <\/a> \"NVIDIA <\/a> <\/p>\n

Die W\u00e4hrung der Hyperscaler und Anbieter f\u00fcr KI-Dienste lautet Tokens pro Sekunde. Am liebsten w\u00fcrde man so viele Tokens so schnell wie m\u00f6glich ausliefern wollen. Aber immer gr\u00f6\u00dfere Kontextfenster sorgen daf\u00fcr, dass pro Nutzer immer mehr Tokens pro Sekunde notwendig sind.<\/p>\n

Vera Rubin NVL72 ist pr\u00e4destiniert f\u00fcr einen hohen Durchsatz an Tokens pro Sekunde f\u00fcr eine bestimmte Anforderung f\u00fcr TPS pro Nutzer. Geht man aber auf der X-Achse des Diagramms in\u00a0die andere Richtung, werden die Kontext-Fenster immer gr\u00f6\u00dfer, die KI-Modelle umfangreicher und das Inferencing entsprechend aufw\u00e4ndiger. Hier kommt die Groq 3 LPU ins Spiel, denn gerade f\u00fcr diese Anwendungsbereiche spricht NVIDIA von einem um den Faktor 35 h\u00f6heren Durchsatz an Tokens.<\/p>\n","protected":false},"excerpt":{"rendered":"Ein mit viel Spannung erwarteter Moment auf der Keynote zur GTC 2026 war die Ank\u00fcndigung, in welcher Form…\n","protected":false},"author":2,"featured_media":46263,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[15],"tags":[46,5020,291,886,14234,14233,3044,2818,14237,879,43,878,14238,14235,1390,45,60,59,278,14236,44,9824,64,61,882,2977,9685,63,62],"class_list":{"0":"post-46262","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-wissenschaft-technik","8":"tag-ch","9":"tag-community","10":"tag-computer","11":"tag-forum","12":"tag-gpu","13":"tag-grafikkarte","14":"tag-handy","15":"tag-hardware","16":"tag-hilfe","17":"tag-laptop","18":"tag-news","19":"tag-notebook","20":"tag-preisvergleich","21":"tag-produkttest","22":"tag-review","23":"tag-schweiz","24":"tag-science","25":"tag-science-technology","26":"tag-smartphone","27":"tag-support","28":"tag-switzerland","29":"tag-tablet","30":"tag-technik","31":"tag-technology","32":"tag-test","33":"tag-ultrabook","34":"tag-vergleich","35":"tag-wissenschaft","36":"tag-wissenschaft-technik"},"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@ch_de\/116240831678431867","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/posts\/46262","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/comments?post=46262"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/posts\/46262\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/media\/46263"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/media?parent=46262"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/categories?post=46262"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/ch-de\/wp-json\/wp\/v2\/tags?post=46262"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}