{"id":13371,"date":"2025-10-07T10:15:07","date_gmt":"2025-10-07T10:15:07","guid":{"rendered":"https:\/\/www.europesays.com\/ro\/13371\/"},"modified":"2025-10-07T10:15:07","modified_gmt":"2025-10-07T10:15:07","slug":"huawei-a-gasit-o-metoda-de-a-accelera-ai-pentru-a-rula-pe-hardware-mai-vechi","status":"publish","type":"post","link":"https:\/\/www.europesays.com\/ro\/13371\/","title":{"rendered":"Huawei a g\u0103sit o metod\u0103 de a accelera AI pentru a rula pe hardware mai vechi"},"content":{"rendered":"

O nou\u0103 tehnic\u0103 open source dezvoltat\u0103 de Huawei mic\u0219oreaz\u0103 LLM-urile pentru a le face s\u0103 ruleze pe hardware mai pu\u021bin puternic \u0219i mai pu\u021bin costisitor. Tehnologia are ca scop s\u0103 reduc\u0103 cerin\u021bele de memorie pentru AI f\u0103r\u0103 a sacrifica calitatea rezultatului.<\/p>\n

AI accelerat de Huawei<\/p>\n

Tehnica a fost denumit\u0103 SINQ (Sinkhorn-Normalized Quantization) ;i este conceput\u0103 pentru a fi rapid\u0103, f\u0103r\u0103 calibrare \u0219i u\u0219or de integrat \u00een fluxurile de lucru existente ale modelelor. Codul pentru realizarea acesteia a fost pus la dispozi\u021bie de echipa de cercetare Huawei pe Github \u0219i Hugging Face<\/a> sub o licen\u021b\u0103 Apache 2.0 permisiv\u0103 \u0219i u\u0219or de utilizat pentru \u00eentreprinderi, permi\u021b\u00e2nd organiza\u021biilor s\u0103 o preia \u0219i s\u0103 o utilizeze, s\u0103 o modifice \u0219i s\u0103 o implementeze comercial, totul gratuit.<\/p>\n

Pentru modele de diferite dimensiuni, SINQ reduce utilizarea memoriei cu 60-70%, \u00een func\u021bie de arhitectur\u0103 \u0219i l\u0103\u021bimea \u00een bi\u021bi. Acest lucru permite modelelor care anterior necesitau >60 GB de memorie s\u0103 ruleze pe configura\u021bii de ~20 GB \u2013 un factor esen\u021bial pentru rularea modelelor mari pe un singur GPU high-end sau chiar pe configura\u021bii multi-GPU de nivel consumer.<\/p>\n

Acest lucru face posibil\u0103 rularea modelelor care anterior necesitau GPU-uri enterprise de \u00eenalt\u0103 performan\u021b\u0103 \u2013 cum ar fi NVIDIA A100 sau H100 \u2013 pe hardware semnificativ mai accesibil, cum ar fi o singur\u0103 plac\u0103 grafic\u0103 Nvidia GeForce RTX 4090 (\u00een jur de 1600 USD), \u00een loc de hardware enterprise precum A100 80GB (19.000 USD) sau chiar unit\u0103\u021bi H100 care dep\u0103\u0219esc 30.000 USD.<\/p>\n

Pentru echipele care utilizeaz\u0103 infrastructur\u0103 cloud, economiile sunt la fel de tangibile. Instan\u021bele bazate pe A100 cost\u0103 adesea 3-4,50 USD pe or\u0103, \u00een timp ce GPU-urile de 24 GB, cum ar fi RTX 4090, sunt disponibile pe multe platforme pentru 1-1,50 USD pe or\u0103.<\/p>\n

\u00cen timp, \u00een special pentru sarcini de lucru extinse cu inferen\u021b\u0103, aceast\u0103 diferen\u021b\u0103 poate duce la reduceri de costuri de mii de dolari, debloc\u00e2nd \u00een acela\u0219i timp implementarea LLM pe clustere mai mici, sta\u021bii de lucru locale sau configura\u021bii de nivel consumer, anterior constr\u00e2nse de memorie.<\/p>\n

Metoda SINQ a fost evaluat[ \u00eentr-o gam\u0103 larg\u0103 de arhitecturi \u0219i modele, inclusiv seria Qwen3, LLaMA \u0219i DeepSeek<\/a>. Pe teste de performan\u021b\u0103 precum WikiText2 \u0219i C4, SINQ reduce constant ratingul de perplexitate \u2013 o metric\u0103 comun\u0103 pentru evaluarea modelelor lingvistice. O perplexitate mai mic\u0103 \u00eenseamn\u0103 c\u0103 modelul este mai bun la prezicerea urm\u0103torului cuv\u00e2nt dintr-o secven\u021b\u0103 \u0219i, prin urmare, este un model de calitate superioar\u0103. Reduce \u0219i ratele de schimbare a performan\u021bei \u00een compara\u021bie cu metodele de baz\u0103, adesea apropiindu-se sau egal\u00e2nd performan\u021ba solu\u021biilor calibrate. De asemenea, accept\u0103 scheme de cuantizare neuniforme, cum ar fi NF4, \u0219i poate fi combinat cu metode de calibrare precum AWQ, duc\u00e2nd la varianta A-SINQ. \u00cen set\u0103ri calibrate, A-SINQ reduce \u0219i mai mult decalajul fa\u021b\u0103 de modelele de precizie maxim\u0103.<\/p>\n","protected":false},"excerpt":{"rendered":"O nou\u0103 tehnic\u0103 open source dezvoltat\u0103 de Huawei mic\u0219oreaz\u0103 LLM-urile pentru a le face s\u0103 ruleze pe hardware…\n","protected":false},"author":2,"featured_media":13372,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[16],"tags":[1129,2933,156,179,41,40,38,39,141,124],"class_list":{"0":"post-13371","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tehnologie","8":"tag-ai","9":"tag-hardware","10":"tag-huawei","11":"tag-inteligenta-artificiala","12":"tag-ro","13":"tag-romana","14":"tag-romania","15":"tag-romanian","16":"tag-technology","17":"tag-tehnologie"},"share_on_mastodon":{"url":"","error":""},"_links":{"self":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts\/13371","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/comments?post=13371"}],"version-history":[{"count":0,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/posts\/13371\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/media\/13372"}],"wp:attachment":[{"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/media?parent=13371"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/categories?post=13371"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.europesays.com\/ro\/wp-json\/wp\/v2\/tags?post=13371"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}