NVIDIA Tesla V100 - założyciel PLI Labs wykorzystał starszy serwer z 1 TB RAM, aby obsłużyć lokalnie model DeepSeek V4.1 FlashSztuczna inteligencja od dobrych dwóch lat jest tematem numer jeden w branży technologicznej, a rosnące zapotrzebowanie na sprzęt przyczyniło się do kryzysu na rynku pamięci RAM i kart graficznych. Mogłoby się wydawać, że korzystanie z modeli AI wymaga inwestycji w najnowsze podzespoły. Przynajmniej tak „mówią” giganci branży. Tymczasem założyciel PLI Labs udowadnia, że nawet kilkuletni sprzęt może z powodzeniem służyć do uruchamiania wymagających modeli AI.

Prawnik i założyciel PLI Labs zbudował własny serwer AI, wykorzystując osiem akceleratorów NVIDIA Tesla V100 z 2018 roku. Dzięki optymalizacjom system osiąga wysoką wydajność podczas uruchamiania DeepSeek V4.1 Flash.

NVIDIA Tesla V100 - założyciel PLI Labs wykorzystał starszy serwer z 1 TB RAM, aby obsłużyć lokalnie model DeepSeek V4.1 Flash [1]

NVIDIA GeForce RTX 4090 Ti – W Chinach pojawiły się zdjęcia płytki PCB niewydanej karty graficznej. Poznaliśmy również specyfikację

Akceleratory obliczeniowe NVIDIA Tesla V100 wyposażone w 32 GB pamięci HBM2 zadebiutowały w marcu 2018 roku. Bazowały na architekturze Volta, zaprezentowanej rok wcześniej i były projektowane z myślą o centrach danych, obliczeniach naukowych oraz uczeniu głębokim. Co istotne, to właśnie one jako pierwsze zostały wyposażone w rdzenie Tensor, przyspieszające operacje macierzowe wykorzystywane przez sieci neuronowe. Było to jeszcze w czasach gdy na taki typ obliczeń nie mówiło się sztuczna inteligencja. Nick Mermiges, prawnik i założyciel PLI Labs, wykorzystał osiem takich akceleratorów, łącząc je z procesorem AMD Ryzen Threadripper PRO 3945WX na płycie głównej dla stacji roboczych. Początkowo serwer dysponował 256 GB pamięci DDR4 ECC, który później rozbudował do 1 TB pamięci RAM.

NVIDIA Tesla V100 - założyciel PLI Labs wykorzystał starszy serwer z 1 TB RAM, aby obsłużyć lokalnie model DeepSeek V4.1 Flash [2]

Koparka NVIDII za 2500 dolarów pokonuje A100 za 20 tys. Wystarczyła płytka z mikrokontrolerem i 48 godzin prób

Nick Mermiges wykorzystuje swój serwer głównie do Agentic AI, opierającym się na modelu DeepSeek V4.1 Flash-1017. Sztuczna inteligencja obsługuje zadania prawnicze, w tym segregacje treści, wyszukiwanie, agregacje i przygotowywanie szablonów pism. Początkowo stosował 2-bitową kwantyzację, osiągając wydajność od 215 do 160 tok./s podczas generowania kodu oraz od 118 do 103 tok./s przy przygotowywaniu tekstów prawniczych, dla kontekstu wejściowego od 1 tys. do 256 tys. tokenów. System obsługiwał wówczas pojedyncze zapytania.

NVIDIA Tesla V100 - założyciel PLI Labs wykorzystał starszy serwer z 1 TB RAM, aby obsłużyć lokalnie model DeepSeek V4.1 Flash [3]

Grok i DeepSeek kontra ChatGPT, Claude i Gemini. Sprawdzamy, kiedy warto wyjść poza wielką trójkę

Optymalizacje kodu sprawiły, że 80-86% aktywacji modułów eksperckich wykorzystuje obecnie precyzję NVFP4. Pozwoliło to zwiększyć zgodność przewidywanego kolejnego tokenu z referencyjną wersją modelu skwantyzowaną przez NVIDIA z 92,2% do 95,1%. Oznacza to lepsze odwzorowanie wyników, choć nie stanowi bezpośredniego pomiaru ich poprawności. Zmiany umożliwiły również obsługę dwóch równoczesnych zapytań, jednak kosztem wydajności generowania kodu, która spadła do 150-180 tok./s dla kontekstu od 1 tys. do 256 tys. tokenów. Przy dwóch jednoczesnych zapytaniach łączna przepustowość systemu wynosi 159 tok./s.

NVIDIA Tesla V100 - założyciel PLI Labs wykorzystał starszy serwer z 1 TB RAM, aby obsłużyć lokalnie model DeepSeek V4.1 Flash [4]

Przegląd rynku PC w kryzysie: ceny pamięci RAM, kart graficznych AMD Radeon i NVIDIA GeForce, HDD oraz SSD. Listopad 2026

Nick Mermiges zainstalował również kartę graficzną NVIDIA GeForce RTX 3090, którą zamierza wykorzystać do spekulacyjnego generowania tekstu. Cały projekt pokazuje, że można zbudować wydajny serwer AI na własne potrzeby bez inwestowania ogromnych pieniędzy. Same akceleratory NVIDIA Tesla V100 wraz z płytami SXM2 kosztowały go łącznie około 4800 dolarów, nie uwzględniając pozostałych podzespołów. Dla porównania, ceny niektórych modeli NVIDIA GeForce RTX 5090 sięgają obecnie równowartości niemal 11 tys. dolarów. Tymczasem osiem starszych akceleratorów oferuje łącznie 256 GB pamięci VRAM, czyli ośmiokrotnie więcej niż pojedyncza karta GeForce RTX 5090. To właśnie pojemność pamięci VRAM często stanowi główne ograniczenie podczas lokalnego uruchamiania bardzo dużych modeli AI.

Źródło: WCCFTech, Reddit (@TumbleweedNew6515)