{"id":143501,"date":"2026-03-24T10:05:06","date_gmt":"2026-03-24T10:05:06","guid":{"rendered":"https:\/\/www.europesays.com\/ro\/143501\/"},"modified":"2026-03-24T10:05:06","modified_gmt":"2026-03-24T10:05:06","slug":"iphone-17-pro-a-fost-capabil-sa-ruleze-local-un-model-ai-foarte-complex","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/ro\/143501\/","title":{"rendered":"iPhone 17 Pro a fost capabil s\u0103 ruleze local un model AI foarte complex"},"content":{"rendered":"

iPhone 17 Pro a permis cu succes rularea local\u0103 a unui model lingvistic mare de 400 de miliarde de parametri, o performan\u021b\u0103 care necesit\u0103 tradi\u021bional minimum 200 GB de memorie chiar \u0219i atunci c\u00e2nd este comprimat.<\/p>\n

LLM rulat local pe un iPhone 17 Pro<\/p>\n

Modelele lingvistice mari (LLM) cu 400 de miliarde de parametri pot fi rulate doar pe hardware capabil cu o mul\u021bime de memorie, deoarece chiar \u0219i o versiune cuantizat\u0103 sau comprimat\u0103 necesit\u0103 minimum 200 GB de RAM. Av\u00e2nd \u00een vedere aceste cerin\u021be exigente, iPhone 17 Pro<\/a> nu pare a fi niciodat\u0103 prima alegere pentru acest gen de inteligen\u021b\u0103 artificial\u0103. Dar dovezile video arat\u0103 contrariul, deoarece o persoan\u0103 a demonstrat c\u0103 genera\u021bia actual\u0103 a Apple a realizat imposibilul. Cu toate acestea, trebuie men\u021bionat c\u0103 aceast\u0103 performan\u021b\u0103 nu ar putea fi realizat\u0103 f\u0103r\u0103 c\u00e2teva trucuri ingenioase, a\u0219a c\u0103 haide\u021bi s\u0103 vedem aceste detalii.<\/p>\n

Un proiect open-source numit Flash-MoE rula pe un iPhone 17 Pro, utilizatorul X @anemll<\/a> demonstr\u00e2nd c\u0103, de\u0219i flagship-ul poate rula modelul extrem de solicitant, acesta nu este lipsit de dezavantaje. \u00cen primul r\u00e2nd, dac\u0103 nu a\u021bi vizionat deja videoclipul, viteza este \u00eengrozitor de lent\u0103, de 0,6 t\/s, ceea ce \u00eenseamn\u0103 c\u0103 este generat un cuv\u00e2nt la fiecare 1,5 p\u00e2n\u0103 la 2 secunde.<\/p>\n

Presupun\u00e2nd c\u0103 ave\u021bi suficient\u0103 r\u0103bdare sau v\u0103 pute\u021bi ocupa cu alte sarcini \u00een timp ce iPhone 17 Pro genereaz\u0103 r\u0103spunsul, credem c\u0103 mul\u021bi utilizatori vor \u00eencepe s\u0103-\u0219i smulg\u0103 p\u0103rul din cap c\u00e2nd vor observa aceast\u0103 performan\u021b\u0103 lent\u0103. Pe de alt\u0103 parte, faptul c\u0103 un LLM de 400B rula pe un smartphone, indiferent de vitez\u0103, indic\u0103 faptul c\u0103, cu c\u00e2teva optimiz\u0103ri suplimentare, este mai mult dec\u00e2t posibil s\u0103 rula\u021bi Modele de Limbaj Mare (LLM) pe dispozitiv chiar \u0219i pe telefoane.<\/p>\n

C\u00e2t despre modul \u00een care s-a realizat acest lucru, \u00een loc s\u0103 se \u00eencarce \u00eentregul LLM \u00een memorie, ceea ce ar fi imposibil, deoarece iPhone 17 Pro este livrat doar cu 12 GB de RAM LPDDR5X, Flash-MoE utilizeaz\u0103 SSD-ul dispozitivului pentru a transmite direct c\u0103tre GPU. De asemenea, \u201eMoE\u201d \u00eenseamn\u0103 Mixture of Experts model, deci necesit\u0103 doar o frac\u021biune din ace\u0219ti parametri de 400B pentru fiecare cuv\u00e2nt pe care \u00eel genereaz\u0103.<\/p>\n

Pe scurt, cea mai recent\u0103 demonstra\u021bie arat\u0103 c\u0103, dac\u0103 e\u0219ti dispus s\u0103 parcurgi procesul minu\u021bios de generare a interog\u0103rilor la o rat\u0103 de 0,6 token-uri pe secund\u0103, po\u021bi rula un LLM de 400 de miliarde de parametri pe un smartphone. Pe de alt\u0103 parte, exist\u0103 o diferen\u021b\u0103 uria\u0219\u0103 \u00eentre a rula un Model de Limbaj Mare (LML) \u0219i a-l declan\u0219a \u00eentr-un mod utilizabil.<\/p>\n","protected":false},"excerpt":{"rendered":"iPhone 17 Pro a permis cu succes rularea local\u0103 a unui model lingvistic mare de 400 de miliarde…\n","protected":false},"author":2,"featured_media":143502,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[16],"tags":[1129,83,179,2602,41,40,38,39,141,124],"class_list":{"0":"post-143501","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tehnologie","8":"tag-ai","9":"tag-apple","10":"tag-inteligenta-artificiala","11":"tag-iphone-17-pro","12":"tag-ro","13":"tag-romana","14":"tag-romania","15":"tag-romanian","16":"tag-technology","17":"tag-tehnologie"},"share_on_mastodon":{"url":"https:\/\/pubeurope.com\/@ro\/116283593371501619","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts\/143501","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/comments?post=143501"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts\/143501\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/media\/143502"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/media?parent=143501"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/categories?post=143501"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/tags?post=143501"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}