Er solls auf “Auto-GPT” umbenennen, dann wirds vom Bundeskarli sofort in einem extra Gipfel behandelt!
Mich überrascht nur, dass der ORF überhaupt davon berichtet.
Inference ist billig, ein Modell testen ist also kein Problem. Der Artikel lässt es eher so klingen, als ob hier eine ML Architektur entworfen wurde die besser sein sollte, diese aber nie trainiert wurde. Ob dass dann wirklich besser funktioniert weiß man nicht.
Die Forderung AI speziell zu fördern halte ich auch für gefährlich. Forschung in Österreich ist generell stark unterfinanziert, und wenn sich die Forschungsförderung dann auf einzelne Hot Topics (aktuell gerade Quantum Computing) stürzt, bleibt der Rest noch weiter zurück.
Finds eh arg, dass der Hochreiter sich in Linz niedergelassen hat. Bin schon gespannt auf das Modell 🙂
Immer muss alles austro sein in diesem kleinen lächerlichen Land.
Wer erinnert sich noch an den austronauten. Cringe.
IT Standort Österreich!
Nur ums einzuordnen, über welche Summen hier geredet werden muss:
GPT 3,5 hat irgendwo zwischen 5 und 20 Millionen Dollar beim Training alleine gekostet.
GPT 4 ist um den Faktor 600 komplexer. Schätzungen ragen hier in den Milliardenbereich. Die Zahlen die Sam Altman nennt, sind als extrem fragwürdig einzustufen.
Sogar die Inferenz dieser Modelle ist nicht mehr billig und braucht viele GPUs die jeweils zehntausende Euros kosten
Compute wurde in der Zwischenzeit nicht exponentiell billiger.
Um annähernd in die Parameterregionen von GPT 4 zu gelangen, reden wir von hunderten Millionen Euro – fürs Training allein. Und wir haben ned amal annähernd ein Rechenzentrum bei uns was dafür geeignet wär.
Das F in Österreich steht für Fortschritt
Drittmittel? Wie warads damit?
Der Artikel ist aber schon ein bisserl zu sehr reing’jammert.
Abgesehen davon: Es ist schon irgendwie der Sinn öffentliche finanzierter Wissenschaft bzw. Forschung, dass sie von jedermann und damit auch von Facebook, Amazon usw. verwendet werden kann. Eventuell kann man sich noch irgendwie ein Lizenzmodell vorstellen, damit ein bisserl Geld bei der Forschungseinrichtung hängen bleibt. Aber das ist angeblich bei Software nicht so einfach.
So ein Clown. Meine Architektur is besser und I würde es euch gern beweisen aber leider leider bekomm ich nicht die hunderten Millionen die ich bräucht.
Austro-GPT: „Oida! Wo is‘n des für a deppade Frog? „
” Österreich hingegen fördert KI im Ausmaß von Uganda.”
Hey, was kann Uganda jetzt plötzlich dafür??
Das versteh ich alles nicht. Er “muss es verschenken”? Wird es erst durchs testen patentfähig? Sonst muss er es doch auch mit Finanzierung verschenken, oder nicht? Was bringt a Förderung mehr als a Finanzierung durch Amazon? Er würds als Start-Up alleine schaffen und a österreichische GmbH gründen statt einer Sarl? Er wird mit dem Geld vom Staat Österreich der Konkurrent von Alphabet/Meta/woswasi? Hat mal wer market cap und gdp oder profit und budget verglichen in letzter Zeit? A Förderung ist für ihn natürlich leiwander als ein Investor, der was anschaffen möcht. Was geht “sogar in Paris”?
“Hey Leute, ich hab da eine Suchmaschine entwickelt in der Garage, die ist viel besser als Google und Bing. Ganz sicher. Versprochen. Jetzt bräuchte ich bitte Mal 100 Millionen Euro damit ich sie testen kann.
Was, nicht? Böses Österreich! So fortschrittfeindlich!”
Okey, i hab jetzt echt Astro statt Austro glesen und hab gedacht iatz machn se de Horoskope mitn ChatGPT… Zeit für Koffein
Zur Einordnung: Die 5 Kilometer Autobahn die in Linz grade als Westring gebaut werden kosten in etwa so viel, wie man sich hier wünscht. Das Geld war also prinzipiell da, aber brumm brumm ist geiler als hunderte Stellen für hochqualifizierte Wissenschaftler zu schaffen.
Die österreichische Förderung ist halt sehr auf Industrieförderung ausgelegt. Es gibt prinzipiell zwei Fördergeber in Österreich, die FFG und die FWF. FWF ist hier die interessante, weil sie direkt Forscher fördert, keine Beteiligung von Industriepartnern verlangt und auch ohne direkte Strategie zum auf den Markt bringen unterstützt (etwas verkürzt zusammengefasst). Die FWF hat im Jahr 2022 ein Förderbuget von 273 Millionen Euro. Zum Vergleich dazu, die FFG bei der die Zielgruppe mehr Unternehmen sind und Unis sich eher nur beteiligen hat in 2022 1.6 Milliarden Euro zum verteilen gehabt. Das kann man natürlich diskutieren, aber prinzipiell gibt es in Österreich mehr Förderung für Themen mit direkter Industrieverwertung.
Wir sind Autofahrernation, nicht Intelligenznation!
Die Problematik für mich ist weniger, dass wir unbedingt ein eigenes GPT bräuchten, sondern dass wir dann auch Leute ausbilden könnten, die auf derartigem Scale arbeiten können.
Auch wenn ich prinzipiell der Meinung bin, dass wir mit diesem endlosen scaling aufhören müssen, selbst wenn’s noch soviele “klimaneutrale” Rechenzentren aus dem Boden stampfen.
In meinem Feld bin ich derzeit mit meinen Mini 50M Parameter Modellen noch konkurrenzfähig aber ich befürchte, bald wird das auch vorbei sein und dann heissts hoffen, das brauchbare pretrained Models released werden und dann nurmehr fine-tuning, residual adapters oder ähnliches Zeug….oder halt einpacken.
Oder Firma überzeugen, dass ich statt 10k$ im Monat AWS Instance costs jetzt 500k brauche ;).
Aber da kommt halt public funding ins Spiel.
Ohne offene Modelle sind die kleinen Firmen davon abhängig, dass die FAANGs ihr Zeug public machen.
Wenn man das Potenzial von AI sieht sollte man eigentlich Milliarden darin investieren
23 comments
Des mocht nix.
Mir hamn dafür das EFuel!
Österreich in a nutshell.
Die Leute in dem Land sind einfach zu Deppad.
Er solls auf “Auto-GPT” umbenennen, dann wirds vom Bundeskarli sofort in einem extra Gipfel behandelt!
Mich überrascht nur, dass der ORF überhaupt davon berichtet.
Inference ist billig, ein Modell testen ist also kein Problem. Der Artikel lässt es eher so klingen, als ob hier eine ML Architektur entworfen wurde die besser sein sollte, diese aber nie trainiert wurde. Ob dass dann wirklich besser funktioniert weiß man nicht.
Die Forderung AI speziell zu fördern halte ich auch für gefährlich. Forschung in Österreich ist generell stark unterfinanziert, und wenn sich die Forschungsförderung dann auf einzelne Hot Topics (aktuell gerade Quantum Computing) stürzt, bleibt der Rest noch weiter zurück.
Finds eh arg, dass der Hochreiter sich in Linz niedergelassen hat. Bin schon gespannt auf das Modell 🙂
Immer muss alles austro sein in diesem kleinen lächerlichen Land.
Wer erinnert sich noch an den austronauten. Cringe.
IT Standort Österreich!
Nur ums einzuordnen, über welche Summen hier geredet werden muss:
GPT 3,5 hat irgendwo zwischen 5 und 20 Millionen Dollar beim Training alleine gekostet.
GPT 4 ist um den Faktor 600 komplexer. Schätzungen ragen hier in den Milliardenbereich. Die Zahlen die Sam Altman nennt, sind als extrem fragwürdig einzustufen.
Sogar die Inferenz dieser Modelle ist nicht mehr billig und braucht viele GPUs die jeweils zehntausende Euros kosten
Compute wurde in der Zwischenzeit nicht exponentiell billiger.
Um annähernd in die Parameterregionen von GPT 4 zu gelangen, reden wir von hunderten Millionen Euro – fürs Training allein. Und wir haben ned amal annähernd ein Rechenzentrum bei uns was dafür geeignet wär.
Das F in Österreich steht für Fortschritt
Drittmittel? Wie warads damit?
Der Artikel ist aber schon ein bisserl zu sehr reing’jammert.
Abgesehen davon: Es ist schon irgendwie der Sinn öffentliche finanzierter Wissenschaft bzw. Forschung, dass sie von jedermann und damit auch von Facebook, Amazon usw. verwendet werden kann. Eventuell kann man sich noch irgendwie ein Lizenzmodell vorstellen, damit ein bisserl Geld bei der Forschungseinrichtung hängen bleibt. Aber das ist angeblich bei Software nicht so einfach.
So ein Clown. Meine Architektur is besser und I würde es euch gern beweisen aber leider leider bekomm ich nicht die hunderten Millionen die ich bräucht.
Austro-GPT: „Oida! Wo is‘n des für a deppade Frog? „
” Österreich hingegen fördert KI im Ausmaß von Uganda.”
Hey, was kann Uganda jetzt plötzlich dafür??
Das versteh ich alles nicht. Er “muss es verschenken”? Wird es erst durchs testen patentfähig? Sonst muss er es doch auch mit Finanzierung verschenken, oder nicht? Was bringt a Förderung mehr als a Finanzierung durch Amazon? Er würds als Start-Up alleine schaffen und a österreichische GmbH gründen statt einer Sarl? Er wird mit dem Geld vom Staat Österreich der Konkurrent von Alphabet/Meta/woswasi? Hat mal wer market cap und gdp oder profit und budget verglichen in letzter Zeit? A Förderung ist für ihn natürlich leiwander als ein Investor, der was anschaffen möcht. Was geht “sogar in Paris”?
“Hey Leute, ich hab da eine Suchmaschine entwickelt in der Garage, die ist viel besser als Google und Bing. Ganz sicher. Versprochen. Jetzt bräuchte ich bitte Mal 100 Millionen Euro damit ich sie testen kann.
Was, nicht? Böses Österreich! So fortschrittfeindlich!”
Okey, i hab jetzt echt Astro statt Austro glesen und hab gedacht iatz machn se de Horoskope mitn ChatGPT… Zeit für Koffein
Zur Einordnung: Die 5 Kilometer Autobahn die in Linz grade als Westring gebaut werden kosten in etwa so viel, wie man sich hier wünscht. Das Geld war also prinzipiell da, aber brumm brumm ist geiler als hunderte Stellen für hochqualifizierte Wissenschaftler zu schaffen.
https://www.linz.at/stadtentwicklung/43195.php
Die österreichische Förderung ist halt sehr auf Industrieförderung ausgelegt. Es gibt prinzipiell zwei Fördergeber in Österreich, die FFG und die FWF. FWF ist hier die interessante, weil sie direkt Forscher fördert, keine Beteiligung von Industriepartnern verlangt und auch ohne direkte Strategie zum auf den Markt bringen unterstützt (etwas verkürzt zusammengefasst). Die FWF hat im Jahr 2022 ein Förderbuget von 273 Millionen Euro. Zum Vergleich dazu, die FFG bei der die Zielgruppe mehr Unternehmen sind und Unis sich eher nur beteiligen hat in 2022 1.6 Milliarden Euro zum verteilen gehabt. Das kann man natürlich diskutieren, aber prinzipiell gibt es in Österreich mehr Förderung für Themen mit direkter Industrieverwertung.
Wir sind Autofahrernation, nicht Intelligenznation!
Scheiss Fortschritt.
lgÖVP
Hier sein LinkedIn Post
https://www.linkedin.com/posts/sepp-hochreiter-41514846_tag-1-im-silicon-valley-zusammen-mit-%C3%B6sterreichischen-activity-7055434753939824640-Tp-n
Die Problematik für mich ist weniger, dass wir unbedingt ein eigenes GPT bräuchten, sondern dass wir dann auch Leute ausbilden könnten, die auf derartigem Scale arbeiten können.
Als jemand der seit Jahren mit 2-3 GPUs rumgrundelt, sind Prozedere wie von Meta hier beschrieben eine komplett andere Welt in der ich keinerlei Erfahrung sammeln kann
https://github.com/facebookresearch/metaseq/blob/main/projects/OPT/chronicles/OPT175B_Logbook.pdf
Auch wenn ich prinzipiell der Meinung bin, dass wir mit diesem endlosen scaling aufhören müssen, selbst wenn’s noch soviele “klimaneutrale” Rechenzentren aus dem Boden stampfen.
In meinem Feld bin ich derzeit mit meinen Mini 50M Parameter Modellen noch konkurrenzfähig aber ich befürchte, bald wird das auch vorbei sein und dann heissts hoffen, das brauchbare pretrained Models released werden und dann nurmehr fine-tuning, residual adapters oder ähnliches Zeug….oder halt einpacken.
Oder Firma überzeugen, dass ich statt 10k$ im Monat AWS Instance costs jetzt 500k brauche ;).
Aber da kommt halt public funding ins Spiel.
Ohne offene Modelle sind die kleinen Firmen davon abhängig, dass die FAANGs ihr Zeug public machen.
Wenn man das Potenzial von AI sieht sollte man eigentlich Milliarden darin investieren