Šią spragą padeda įveikti „Dell AI Factory“ su „NVIDIA“ – vientisa, gamybinei stadijai parengta platforma, suteikianti universitetams galimybę vienoje vietoje turėti DI treniravimo, valdymo ir plėtros įrankius.
„Dell AI Factory“ su „NVIDIA“ – kas tai?
Universitetai šiandien susiduria su labai žemiškais, kasdieniais iššūkiais: reikia greičiau atlikti tyrimus, greičiau atsakyti studentams, saugiai tvarkyti vis augančius duomenų kiekius ir užtikrinti, kad įvairių sričių komandos galėtų dirbti sklandžiai, neperkraunant IT skyrių.
Būtent tokioje aplinkoje DI tampa itin reikalingu įrankiu. Tai pabrėžia ir „Dell Technologies“ atstovas Lietuvai Darius Korys.
„DI poreikis universitetuose išaugo ne dėl madų, o dėl labai praktinių dalykų – procesų ir informacijos kasmet daugėja, o žmonių ištekliai nėra begaliniai. Tai ypač jaučiasi akademinėje aplinkoje. Todėl vis labiau reikia išmanaus pagalbininko, kuris ne pakeistų žmones, o leistų greičiau atlikti tyrimus, automatizuoti pasikartojančias užduotis ir palengvintų kasdienį darbą“, – sako jis.
Šioje vietoje ir atsiranda „Dell AI Factory“ – sprendimas, kurį galima įsivaizduoti kaip už universitetą sukomplektuotą DI „gamyklą“. Visos reikalingos dalys jau sudėliotos į vieną veikiančią sistemą: DI treniravimui pritaikyti „Dell“ serveriai ir darbo stotys, greitos duomenų saugyklos, tinklai, „NVIDIA“ GPU akceleratoriai ir visa „NVIDIA AI Enterprise“ programinė įranga.
Svarbiausia – šis sprendimas nereikalauja mėnesiais trunkančių pasiruošimo darbų. Viskas suderinta ir iš anksto sukonfigūruota: modeliai, bibliotekos, administravimo įrankiai, detalūs „blueprint“ scenarijai. Universitetas gali pradėti naudoti DI praktiškai iškart.
„DI projektai dažniausiai stringa dėl sudėtingumo. Universitetai yra aiškiai įsivardinę, kokį rezultatą norėtų matyti, bet ne visada žino, kaip paleisti visą DI infrastruktūrą. „AI Factory“ šį etapą nuima nuo pečių – klientas gauna paruoštą paketą, kuris pradeda generuoti rezultatą per kelias dienas, o ne mėnesius“, – pažymi jis.
Kadangi platforma kurta atsižvelgiant į universitetų poreikius, ji pritaikoma labai įvairioms veikloms. Nuo skaitmeninių asistentų, galinčių studentams bet kuriuo metu atsakyti į klausimus ar paaiškinti dokumentus, iki kompiuterinės regos projektų, skaitmeninių dvynių ar simuliacijų, kurias naudoja inžinerijos, medicinos ar gamtos mokslų tyrėjai.
Dažniausiai universitetai DI diegimą pradeda nuo labai praktiško dalyko – sistemos, kuri geba greitai surasti informaciją ir aiškiai ją paaiškinti. Tai vadinama RAG principu, bet paprastai tariant, tai „protinga paieška“, kuri gali perskaityti dokumentus, vidaus taisykles ar tvarkas ir pateikti atsakymą natūralia kalba, tarsi jį parašytų žmogus.
Tik įsitikinus, kad tokia informacijos paieška veikia sklandžiai, natūraliai pereinama prie sudėtingesnių sprendimų – taip vadinamo agentinio DI. Tai jau sistemos, kurios ne tik atsako į klausimus, bet ir pačios atlieka susijusias užduotis: pavyzdžiui, IT skyriuje paruošia ataskaitą, laboratorijoje suformuoja duomenų rinkinius, administracijoje – suklasifikuoja dokumentus.
Duomenų saugumas ir valdymas: CIO ir CISO
DI diegimas natūraliai kelia labai jautrų klausimą – kaip apsaugoti duomenis. Universitetai kasdien dirba su studentų informacija, akademiniais rezultatais, sveikatos duomenimis, mokslinių tyrimų rinkiniais ar patentuojamais projektais. Todėl sprendimas, kuris leidžia viską laikyti savo infrastruktūroje ir suteikia visišką kontrolę, universitetams tampa ne tik technologiniu, bet ir strateginiu pasirinkimu.
„Dell AI Factory“ šioje vietoje suteikia aplinką, kurioje DI modeliai gali būti treniruojami ir naudojami neiškeliant duomenų į išorę. Prieigos teisės, stebėsena ir auditas yra vienoje sistemoje – tai leidžia lengviau užtikrinti saugumą, laikytis teisinių reikalavimų ir išvengti priklausomybės nuo vieno debesijos paslaugų tiekėjo“, – pasakoja „Dell Technologies“ Verslo sprendimų vadovas Baltijos šalims („TD Baltic“) Aurimas Pažėra.
Kadangi DI universitetuose naudojamas labai plačiai – laboratorijose, auditorijose, administracijoje, studentų konsultavimo centruose – sprendimas, kaip aiškina A. Pažėra, turi būti universalus ir tinkantis skirtingiems naudotojams.
„AI Factory“ ir susideda iš galingų serverių, darbo stočių ir viso klasterio – tam, kad visi naudotojai galėtų dirbti su ta pačia infrastruktūra, tik skirtingais lygiais. Tyrėjai gali pasikliauti stabiliais, išbandytais darbo procesais, kurie leidžia greičiau atlikti eksperimentus ir valdyti didelius duomenų rinkinius. Tyrėjai ir studentai gali naudoti DI mokymuisi ar projektams, o IT komandos turi centralizuotą aplinką, kurią lengva administruoti ir plėsti“, – aiškina jis.
Galiausiai, svarbi ne tik technologija, bet ir finansai – kaip užtikrinti, kad investicija į DI netaptų brangiu eksperimentu. Vietoje veikianti, nuosekliai sukurta DI platforma šią riziką ženkliai sumažina.
„Ekonominiai vertinimai rodo, kad tokia infrastruktūra padeda smarkiai sutrumpinti projektų kūrimo laiką, leidžia tiksliau planuoti išlaidas ir išvengti netikėtų debesijos kaštų. O tai universitetams – kurie dažnai remiasi projektiniu finansavimu ir tiksliai suplanuotais biudžetais – yra labai svarbu“, – sako A. Pažėra.
KTU patirtis: naujas lūžio taškas universiteto mokslo ir studijų infrastruktūroje
Kauno technologijos universitetas (KTU) tapo vienu pirmųjų Lietuvos akademinių centrų, besidiegiančių visavertę DI infrastruktūrą pagal „Dell AI Factory“ principus. Universitetui suprojektuota itin našios skaičiavimų infrastruktūros architektūra, paremta naujausiais „Dell Poweredge“ serveriais, 200 Gb/s „Infiniband“ tinklu ir modernia GPU posistema. Projektas įgyvendintas derinant „NVIDIA“ ekosistemą ir atvirojo kodo sprendimus – taip užtikrinant tiek maksimalų našumą, tiek visišką technologinį lankstumą.
„KTU projekte įdiegėme ne tik DI platformą – sukūrėme pilną modernios skaičiavimų ekosistemos karkasą, orientuodamiesi į naudojimo automatizaciją. Baigiamas diegti savitarnos portalas automatizuos prieigų valdymą ir užtikrins tikslią sunaudotų resursų apskaitą.
Nors aukšto našumo platformų sprendimus esame įgyvendinę daugiau nei 25 šalyse, šis projektas išskirtinis dėl itin aukšto integralumo ir automatizacijos lygio – tokio, kokio reikia kompetencijų centrui. Būdami NVIDIA „AI Preferred“ partneriais, galime pritraukti pasaulinio lygio ekspertus ir įgyvendinti pačius sudėtingiausius dirbtinio intelekto scenarijus“, – teigia Rolandas Vaikėnas, platformą diegiančios UAB „Novian Technologies“ Verslo sprendimų skyriaus vadovas.
KTU Kibernetinio saugumo kompetencijų centro vadovas ir Informatikos fakulteto Kompiuterių katedros vedėjas prof. dr. Šarūnas Grigaliūnas sako, kad poreikis tokiai sistemai universitete buvo jau seniai.
„Sudėtingų modelių kūrimas ir testavimas anksčiau reikalaudavo didelių išlaidų debesijai ir ilgo laukimo. Turėdami vietinius resursus, galime kartoti eksperimentus tiek kartų, kiek reikia, o kintamoji sąnauda iš esmės tampa tik elektros energija. Tai esminis lūžis – mokslininkai gali dirbti nevaržomi ribotų resursų ar biudžeto“, – aiškina profesorius.
Viena įspūdingiausių naujos infrastruktūros dalių – GPU posistemė su „NVIDIA H100 NVL“ ir „NVIDIA H200 SXM“ akseleratoriais. Iš viso universitete įdiegti 32 GPU, kurių bendra atmintis siekia beveik 4 TB. Tokia galia leidžia treniruoti masyvius generatyvinius modelius, vykdyti didelio masto realaus laiko inferenciją ir atlikti sudėtingus tyrimus, kuriems dažniausiai reikia moderniausių tarptautinių DI kompetencijų centrų.
Projekto metu įdiegta KTU techninė infrastruktūra dabar sudaryta iš 50 serverių ir tinklo komutatorių, sujungtų į vieną didelės spartos ir itin mažo vėlinimo klasterį. Profesoriaus teigimu, šis šuolis transformuoja ne tik kompiuterijos tyrimus.
„Kalbame ne tik apie informatiką. Baltymų struktūrų modeliavimas chemijoje, vaistų atradimo procesų spartinimas, kibernetinio saugumo modelių kūrimas – tai sritys, kuriose DI ir dideli skaičiavimai atveria visiškai naujas galimybes. Tai infrastruktūra, keičianti visą universiteto mokslinę ekosistemą“, – tikina KTU profesorius.
Be techninės dalies, KTU diegia ir visą programinės įrangos sluoksnį – debesijos platformą, „Kubernetes“ konteinerių orkestravimą, HPC komponentus bei DI kūrimo ir valdymo įrankius. Sukurta savitarnos sistema integruojama su VIISP ir kitomis valstybės autentifikavimo platformomis, leidžia tyrėjams savarankiškai užsisakyti CPU, GPU, debesijos ar konteinerių resursus, stebėti jų naudojimą ir planuoti darbo krūvius.
„Studentams ir jauniems tyrėjams tampame daug patrauklesni, nes jie mato realią galimybę dirbti su pasaulinio lygio infrastruktūra. DI įrankiai plečia kūrybines galimybes, keičia mokymosi procesą – nuo mechaninio informacijos kartojimo pereinama prie kūrybinio mąstymo ir problemų sprendimo. Tai fundamentali konkurencinė persvara universitetui“, – pabrėžia prof. dr. Š. Grigaliūnas.
Naujoje infrastruktūroje diegiami ir specializuoti įrankiai produktų kūrėjams: „NVIDIA Morpheus“ kibernetiniam saugumui, kvantinių kompiuterių simuliatoriai ir kitos pažangios bibliotekos, leidžiančios universitetui eksperimentuoti su ateities technologijomis dar prieš joms pradedant plačiai komercializuotis.
Prioritetas saugumui ir tendencija ateičiai
Naujoje universiteto DI infrastruktūroje ne mažiau svarbus yra ir bendras tiek duomenų, tiek informacijos saugumo aspektas. Projektas buvo vykdomas pasitelkiant KTU Informacinių Technologijų departamento technologinius ir žmogiškuosius resursus.
„Kai duomenys ir modeliai lieka universiteto viduje, duomenų ir informacijos nutekėjimo rizikos ženkliai mažesnės. Mes patys valdome prieigas, procesus, turime kur kas paprastesnes ir efektyvesnes galimybes apdoroti jautrius duomenis, užtikrindami jų pilną valdymo ciklą. Debesijoje tai būtų ir brangiau, ir lėčiau, ir mažiau saugu“, – teigia KTU Informacinių technologijų departamento direktorius Arvydas Žiliukas.
Jis, žvelgdamas į ateitį, neabejoja, kad tokia infrastruktūra netrukus taps standartine kiekvieno modernaus universiteto dalimi.
„DI jau dabar keičia ekonomiką taip sparčiai, kad pasaulis kalba ne apie milijardus, o apie trilijonus investicijų. „Dell AI Factory“ su „NVIDIA“ leidžia mums žengti į DI erą kryptingai ir saugiai. Tai nėra tik technologijų rinkinys – tai metodinis ir techninis pagrindas, leidžiantis DI iniciatyvoms greitai virsti realiu poveikiu mokslui, studijoms ir institucijos valdymui“, – įsitikinęs A. Žiliukas.