Jelentősen átalakíthatja az adatközpontok felépítését az AI munkaterhelésének változása, ugyanis a modern igények kielégítésében egyre inkább a CPU és a memória válik szűk keresztmetszetté. Erről a Morgan Stanley Research, a Georgia Tech és az Intel tanulmánya ír, amely kiemeli, hogy kezdetben az AI chatbotok kifejezetten a gyorsítókat terhelték, elvégre a rendszer működése egy kérdésből, majd egy arra adott válaszból állt, a munka nagy része pedig a neuronhálóban történt. Emiatt érkeztek a piacra az AI-ra szabott gyorsítók, legyen azok alapja GPU, NPU, vagy egyéb konstrukció.
A piaci igény meg is nőtt a szóban forgó gyorsítókra, de azóta az AI munkaterhelések módosultak. Jelenleg az eltérő komplexitású, ügynökalapú AI megoldások iránt nő a kereslet, amelyek egymással összehangolt lépések sorozatából állnak. Ezek külön-külön egyszerűek, de azt már nagyon nehéz elérni, hogy a műveletek szinkronizálása optimális és lehetőség szerint hibamentes legyen. Ráadásul minél komplexebb egy ügynökalapú AI rendszer, annál nagyobb részét teszi ki a teljes végrehajtási időnek a folyamatok koordinálása, és ezt a feladatot tisztán a CPU-k végzik el.
A változás annyira jelentős, hogy amíg egy AI chatbot esetében a teljes késleltetés nagyjából 15%-áért felelt a CPU, addig egy komplex ügynökalapú AI rendszerben már 80-90%-ban ez a hardverelem határozza meg azt. Ez azt jelenti, hogy teljesen meg kell változtatni az AI adatközpontok felépítését, mivel hiába kerülnek ezekben tonnaszámra a gyorsítók, ha a melléjük kerülő relatíve kevés CPU nem képes kiszolgálni a munkaterhelést, tehát a gyorsítók nem kapnak elég feladatot, hogy optimálisan működni tudjanak.
[+]
A fentiek miatt a jövőben egy CPU-hoz egy-két AI gyorsító társulhat majd, a jelenleg jellemző négy-nyolc helyett, vagyis jelentősen megnő az igény a szerverprocesszorokra, illetve kevésbé lesz szükség majd gyorsítókra.
A gond az, hogy a processzorok és a gyorsítók arányának módosításával az ügynökalapú munkafolyamat teljesítéséhez szükséges lépések száma nem csökken, csupán nem építjük be az adatközpontba a különböző rendszerszintű limitek következtében várhatóan amúgy sem kihasználható gyorsítókat. A valós megoldás ugyanakkor a lépések számának csökkentése lenne, mivel ezzel az üzemeltetési költség is redukálódna. Nem véletlen, hogy a kutatások is azt vizsgálják, hogy miképpen lehetne magát a végrehajtási futószalagot hatékonyabbá tenni.
Az optimalizálás tehát itt segíteni fog, de csak abban, hogy a rendszerszintű korlátok kevésbé legyenek erőteljesek. Ez tehát nem jelenti azt, hogy nem lesz szükség a lehető legerősebb szerverprocesszorokra, illetve jól átgondolt és kellően gyors I/O alrendszerre, ugyanis a jövő AI adatközpontjainak legfőbb limitációi ezeken a területeken keletkeznek majd, a nyers számítási teljesítmény nem fog annyira számítani, ha a gyorsító mellett nincs elég gyors host CPU, ami vezérelni tudja az ügynökalapú AI lépéseit.
A cégek számára ilyen formában kritikus szempont lesz teljes platformokat kínálni AI-ra, mivel a modern AI munkaterhelés bőven meghaladta a chatbotok egyszerűségét, így a komplex folyamatok koordinálása rendszerszintű problémává válik, amire hardveres szinten is rendszerszintű megoldásokat kell biztosítani.