GPU-Server f\u00fcr KI-Selfhosting: Hetzner GEX44 im Test<\/p>\n
Die Kosten<\/p>\n
Fazit und Tabelle<\/p>\n
Video-RAM, Video-RAM und noch mal Video-RAM: Das ist die wichtigste Zutat f\u00fcr einen Server, der gro\u00dfe Sprachmodelle (LLMs) ausf\u00fchren soll. Nur wenn die Modelle komplett in den schnellen Speicher der Grafikkarte (VRAM) passen, k\u00f6nnen die Modelle fix antworten. Doch wer aktuell dar\u00fcber nachdenkt, LLMs selbst zu hosten, um den gro\u00dfen KI-Anbietern zu entkommen, ist mit extrem hohen Kosten f\u00fcr Grafikkarten mit viel Speicher konfrontiert, auch weil der Markt von ebendiesen gro\u00dfen KI-Anbietern leergekauft wird. Gemietete Server bei kleineren Hostern mit leistungsstarker GPU sind eine Alternative, um die hohen Anfangsinvestitionen zu vermeiden und Erfahrungen mit dem KI-Selfhosting zu sammeln.<\/p>\n
Der deutsche Hoster Hetzner hat zwei Server mit starker GPU<\/a> im Sortiment. F\u00fcr 1500 Euro monatlich gibt es den GEX131 mit einer Nvidia RTX Pro 6000 Blackwell Max-Q<\/a> darin (mit 96 GByte VRAM und ab 256 GByte RAM). Der kleine Bruder des Servers hei\u00dft GEX44. F\u00fcr 278 Euro im Monat bekommt man dort die Nvidia RTX 4000 SFF Ada Generation<\/a> (mit 20 GByte VRAM und 64 GByte RAM). Angeboten wird die Konfiguration, um KI-Modelle zu betreiben (der gro\u00dfe Bruder wird f\u00fcr KI-Training beworben). Mit Preis und Ausstattung richtet sich Hetzner mit dem GEX44 an Firmen, die lokale KI ausprobieren wollen.<\/p>\n Wir haben den Server einen Monat lang intensiv besch\u00e4ftigt und darauf eine Containerzusammenstellung mit Open WebUI und Ollama<\/a> betrieben. Mit dieser Kombination kann ein kleines Team in einer komfortablen Weboberfl\u00e4che gemeinsam Open-Weights- und Open-Source-Modelle<\/a> nutzen.<\/p>\n Das war die Leseprobe unseres heise-Plus-Artikels „GPU-Server f\u00fcr KI-Selfhosting: Hetzner GEX44 im Test“. \n Dieser Link ist leider nicht mehr g\u00fcltig.\n <\/p>\n Links zu verschenkten Artikeln werden ung\u00fcltig, Sie ben\u00f6tigen ein heise+ Paket, um diesen Artikel zu lesen. Jetzt eine Woche unverbindlich testen \u2013 ohne Verpflichtung!<\/p>\n","protected":false},"excerpt":{"rendered":"GPU-Server f\u00fcr KI-Selfhosting: Hetzner GEX44 im Test Die Kosten Fazit und Tabelle Video-RAM, Video-RAM und noch mal Video-RAM:…\n","protected":false},"author":2,"featured_media":277258,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_share_on_mastodon":"0"},"categories":[16],"tags":[46,42,6288,1457,103,508,5068,44,97,96,74317,101,98,100,99],"class_list":["post-277257","post","type-post","status-publish","format-standard","has-post-thumbnail","category-wissenschaft-technik","tag-at","tag-austria","tag-grafikkarten","tag-hardware","tag-it","tag-kuenstliche-intelligenz","tag-nvidia","tag-oesterreich","tag-science","tag-science-technology","tag-sprachverarbeitung","tag-technik","tag-technology","tag-wissenschaft","tag-wissenschaft-technik"],"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@at\/116928554175807651","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/posts\/277257","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/comments?post=277257"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/posts\/277257\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/media\/277258"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/media?parent=277257"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/categories?post=277257"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/at\/wp-json\/wp\/v2\/tags?post=277257"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\n Mit einem heise-Plus-Abo k\u00f6nnen Sie den ganzen Artikel lesen.<\/p>\n
\n wenn diese \u00e4lter als 7\u00a0Tage sind oder zu oft aufgerufen wurden.\n <\/p>\n