NVIDIA Jetson Thor i Blackwell B100: Jak lokalnie uruchamiać modele AI o 120 miliardach parametrów?

Nowy superchip nVidii, Blackwell B100, oraz jego mobilna wersja Jetson Thor otwierają zupełnie nowe możliwości dla lokalnego uruchamiania potężnych modeli AI. Wbrew powszechnemu przekonaniu, że takie obliczenia wymagają dostępu do chmury, NVIDIA udowadnia, że wystarczy wydajny układ scalony i odpowiednie oprogramowanie. Czy to koniec ery zależności od centrów danych? Sprawdzamy, co naprawdę potrafią te układy, jakie przynoszą korzyści i jakie wyzwania stoją przed potencjalnymi użytkownikami.

Rewolucja w lokalnym AI: Blackwell i Jetson Thor wkraczają do akcji

W marcu 2024 roku podczas konferencji GTC 2024 NVIDIA ogłosiła premierę architektury Blackwell – następcy popularnego układu Hopper H100. Wraz z nią pojawił się także Jetson Thor, mobilna wersja superchipu przeznaczona do urządzeń brzegowych (EDGE). Choć większość mediów skupiła się na serwerowych układach B100, to właśnie Jetson Thor może okazać się przełomem dla firm, instytucji i nawet indywidualnych użytkowników, którzy chcą uruchamiać modele AI o rozmiarze 120 miliardów parametrów bez połączenia z chmurą.

Dlaczego to takie ważne? Dotychczas lokalne uruchamianie modeli AI o takiej skali było praktycznie niemożliwe ze względu na ograniczenia sprzętowe i energetyczne. Nowe układy nVidii zmieniają tę sytuację, oferując wydajność porównywalną z niektórymi rozwiązaniami chmurowymi, ale przy znacznie niższych kosztach i wyższej elastyczności.

Co kryje się pod maską: kluczowe parametry techniczne

Zanim przejdziemy do korzyści, warto zrozumieć, co sprawia, że Blackwell i Jetson Thor są tak rewolucyjne. Oto najważniejsze cechy techniczne:

1. Blackwell B100 – serce nowej generacji

• Proces technologiczny: 4NP (4-nanometrowy proces TSMC, zoptymalizowany dla AI). To kluczowy element, który pozwala na upakowanie większej liczby tranzystorów przy jednoczesnym obniżeniu zużycia energii.
• Architektura: Blackwell opiera się na tensorowych jednostkach obliczeniowych (TPC) nowej generacji, które są w stanie przetwarzać dane w precyzji FP4, FP8 i BF16. Dzięki temu układ osiąga teoretyczną wydajność 20 PFLOPS w FP4 lub 10 PFLOPS w FP8.
• Pamięć: Do 192 GB HBM3E (High Bandwidth Memory), co pozwala na szybkie ładowanie dużych modeli. Przepustowość pamięci sięga 1,4 TB/s.
• Zużycie energii: ~1200W TDP dla pojedynczego układu B100. Choć wydaje się dużo, to i tak jest znacznie mniej niż w przypadku układów konkurencyjnych, które często przekraczają 1500W.
• Łączność: Wspiera NVLink 5.0 (przepustowość 1,8 TB/s na link), co pozwala na łączenie wielu układów w celu zwiększenia wydajności.

2. Jetson Thor – mobilny odpowiednik

Mobilna wersja superchipu, przeznaczona do urządzeń brzegowych, charakteryzuje się następującymi parametrami:

• Moc obliczeniowa: ~100 TOPS (INT4) lub 50 TOPS (FP8). To wystarczająco, aby uruchamiać modele o rozmiarze do 120 miliardów parametrów przy odpowiedniej optymalizacji.
• Zużycie energii: ~100W, co pozwala na chłodzenie pasywne lub aktywne w zależności od zastosowania. Jest to kluczowe dla urządzeń przenośnych.
• Pamięć: 64 GB LPDDR5X, która zapewnia wystarczającą pojemność dla modeli o średniej wielkości.
• Łączność: Obsługuje PCIe 5.0 i CXL 3.0, co pozwala na integrację z innymi komponentami systemu.
• Data premiery: Jetson Thor w wersji developerskiej ma pojawić się w czwartym kwartale 2024 roku, a masowa produkcja jest planowana na początek 2025 roku.

„Jetson Thor to pierwszy w pełni zintegrowany układ, który pozwala na uruchamianie modeli AI o rozmiarze 120 miliardów parametrów w urządzeniach o mocy 100W. To coś, co do tej pory było możliwe tylko w chmurze.”

Dlaczego lokalne uruchamianie modeli 120B ma sens?

Możliwość uruchamiania tak dużych modeli lokalnie niesie za sobą szereg korzyści, które wykraczają poza prostą wygodę. Oto najważniejsze z nich:

1. Redukcja opóźnień i poprawa responsywności

Jednym z największych problemów związanych z korzystaniem z chmury jest czas odpowiedzi. Wysyłanie zapytania do modelu AI, przetwarzanie go w chmurze i otrzymywanie odpowiedzi może trwać nawet kilkaset milisekund. W przypadku Jetson Thor czas odpowiedzi spada do poniżej 10 milisekund – to kluczowe dla zastosowań wymagających natychmiastowej reakcji, takich jak:

• autonomiczne systemy (np. samochody, drony),
• medycyna (np. diagnostyka obrazowa w czasie rzeczywistym),
• przemysł (np. kontrola jakości na liniach produkcyjnych).

2. Oszczędność energetyczna i kosztowa

Choć Jetson Thor i Blackwell B100 zużywają dużo energii, to w porównaniu z uruchamianiem modeli w chmurze okazują się znacznie bardziej efektywne.

• Koszt uruchomienia modelu 120B w chmurze (np. na instancji AWS p4d.24xlarge) może sięgać kilkuset dolarów na godzinę, podczas gdy lokalne uruchomienie na Jetson Thor to koszt rzędu kilkuset dolarów rocznie (uwzględniając amortyzację sprzętu).
• Zużycie energii w chmurze jest szacowane na około 10 kWh na 1000 zapytań, podczas gdy Jetson Thor zużywa około 1 kWh na 1000 zapytań. To aż 90% mniej.

3. Prywatność i bezpieczeństwo danych

Przetwarzanie danych lokalnie eliminuje konieczność przesyłania ich do zewnętrznych serwerów, co jest kluczowe w przypadku:

• danych wrażliwych (np. medycznych, finansowych),
• informacji objętych tajemnicą służbową (np. wojskowe, rządowe),
• prywatności użytkowników (np. asystenci głosowi, tłumaczenia tekstów).

Według raportu NVIDIA „AI at the Edge” z 2024 roku, ponad 70% firm wskazuje bezpieczeństwo danych jako główny powód, dla którego decydują się na lokalne rozwiązania AI.

4. Skalowalność i elastyczność

Jetson Thor pozwala na łączenie do 8 układów w jednym urządzeniu dzięki NVLink 5.0. Dzięki temu można skalować wydajność w zależności od potrzeb, co jest trudne do osiągnięcia w chmurze ze względu na ograniczenia związane z kosztami i dostępnością instancji.

Przykładem może być urządzenie NVIDIA DRIVE Thor, które ma trafić do samochodów autonomicznych w połowie 2025 roku. To rozwiązanie pozwala na jednoczesne przetwarzanie danych z wielu sensorów (kamer, LIDAR, radarów) przy minimalnym opóźnieniu.

Jeśli interesuje Cię, jak wygląda lokalne uruchamianie modeli AI w praktyce, polecamy zapoznać się z naszym wpisem o Google Gemma 4 12B – Rewolucja w lokalnym AI, gdzie omówiliśmy wymagania sprzętowe i możliwości jednego z najpopularniejszych modeli.

5. Możliwość pracy offline

Jedną z największych zalet lokalnego AI jest niezależność od połączenia internetowego. To kluczowe dla:

• urządzeń mobilnych (np. drony, samochody),
• terenów o słabym zasięgu sieci (np. budowy, farmy wiatrowe),
• sytuacji kryzysowych (np. akcja ratunkowa w terenie bez zasięgu).

Kto skorzysta na Blackwell i Jetson Thor? Oficjalne przypadki użycia

NVIDIA od samego początku promuje swoje nowe układy jako rozwiązania dla różnych branż. Oto najważniejsze przypadki użycia, które zostały oficjalnie ogłoszone:

1. Medycyna – diagnostyka obrazowa w czasie rzeczywistym

Współpraca z Siemens Healthineers pozwoliła na uruchomienie modelu Świń Transformer 3D na Jetson Thor. Model ten służy do analizy zdjęć RTG i tomografii komputerowej, wykrywając nieprawidłowości w czasie rzeczywistym. Według danych nVidii, takie rozwiązanie pozwala na zmniejszenie czasu diagnozy o 70% w porównaniu z tradycyjnymi metodami.

„W medycynie czas jest kluczowy. Lokalne uruchamianie modeli AI pozwala na szybsze podejmowanie decyzji, co może uratować życie.”

2. Przemysł 4.0 – kontrola jakości na liniach produkcyjnych

NVIDIA współpracuje z Foxconn, jednym z największych producentów elektroniki, nad integracją Jetson Thor w fabrykach. Model AI, który został zoptymalizowany, służy do wykrywania wad produktów na podstawie zdjęć z kamer. Według Foxconn, zastosowanie Jetson Thor pozwoliło na zmniejszenie liczby wadliwych produktów o 40% i skrócenie czasu kontroli o 60%.

„W przemyśle 4.0 szybkość i precyzja są kluczowe. Jetson Thor pozwala nam na natychmiastową reakcję na problemy produkcyjne.”

3. Samochody autonomiczne – przetwarzanie danych z sensorów

Samochody autonomiczne generują ogromne ilości danych z kamer, LIDAR i radarów. Tradycyjne rozwiązania chmurowe nie nadają się do przetwarzania takich ilości danych w czasie rzeczywistym ze względu na opóźnienia. NVIDIA DRIVE Thor, oparty na Blackwell, pozwala na lokalne przetwarzanie tych danych przy minimalnym opóźnieniu. Według nVidii, DRIVE Thor jest w stanie obsłużyć do 2000 TOPS przy zużyciu energii poniżej 400W.

4. Edukacja – asystenci AI offline

NVIDIA nawiązała współpracę z Harvard University nad projektem, który ma na celu wprowadzenie lokalnego AI do sal wykładowych. Studenci będą mogli korzystać z modeli tłumaczeniowych, asystentów pisania i narzędzi do analizy tekstu bez konieczności łączenia się z internetem. Według wstępnych testów, takie rozwiązanie pozwala na zmniejszenie kosztów infrastruktury o 80% w porównaniu z tradycyjnymi rozwiązaniami chmurowymi.

5. Sektor wojskowy – analiza danych z dronów

Współpraca z Lockheed Martin skupia się na zastosowaniu Jetson Thor w dronach wojskowych. Modele AI służą do analizy danych z sensorów w czasie rzeczywistym, wykrywania zagrożeń i podejmowania decyzji bez konieczności przesyłania danych do centrali. Według nVidii, takie rozwiązanie pozwala na zmniejszenie zależności od łączności satelitarnej i zwiększenie odporności systemów na ataki cybernetyczne.

Jakie modele AI są zoptymalizowane pod Jetson Thor i Blackwell?

NVIDIA nie tylko dostarcza sprzęt, ale także oprogramowanie, które pozwala na optymalne wykorzystanie możliwości Jetson Thor i Blackwell. Oto najważniejsze modele AI, które zostały zoptymalizowane pod kątem tych układów:

1. Llama 3 117B (Meta)

Llama 3 117B to jeden z największych otwartych modeli językowych, który został zoptymalizowany przez nVidii do działania na Jetson Thor. Według testów nVidii, model ten osiąga wydajność 50 tokenów na sekundę przy precyzji FP8 na Jetson Thor. To wystarczająco, aby prowadzić konwersacje w czasie rzeczywistym.

2. Mistral 8x22B (Mistral AI)

Mistral 8x22B to model o rozmiarze 141 miliardów parametrów, który został zaprojektowany z myślą o wydajności. Dzięki technologii Mixture of Experts (moe) model ten jest w stanie osiągnąć wysoką wydajność przy niższych wymaganiach sprzętowych. NVIDIA zoptymalizowała go do działania na Blackwell B100, osiągając wydajność 20 tokenów na sekundę w FP8.

3. Nemotron-4 15B (NVIDIA)

Nemotron-4 15B to model specjalizowany do generowania tekstu, który został stworzony przez nVidii. Jest on dostępny w NVIDIA AI Foundation Models i został zoptymalizowany do działania na Jetson Thor. Według nVidii, model ten osiąga wydajność 100 tokenów na sekundę przy precyzji INT4.

4. Inne modele i frameworki

NVIDIA wspiera także inne modele i frameworki, które można uruchamiać na Jetson Thor i Blackwell:

• TensorRT-LLM – framework do optymalizacji modeli językowych, który pozwala na maksymalne wykorzystanie możliwości sprzętowych.
• vllm – framework do uruchamiania dużych modeli językowych z optymalnym zarządzaniem pamięcią.
• pytorch 2.3+ – najnowsza wersja frameworku pytorch, która obsługuje nowe instrukcje sprzętowe Blackwell.
• NVIDIA AI Foundation Models – katalog modeli AI, które zostały zoptymalizowane przez nVidii i są gotowe do użycia na Jetson Thor i Blackwell.

Jeśli chcesz dowiedzieć się więcej o optymalizacji modeli językowych, polecamy zapoznać się z naszym wpisem o GLM-5.2 – Nowy lider wśród otwartych modeli AI?

Konkurencja: kto jeszcze próbuje pogonić nVidii?

NVIDIA nie jest jedynym graczem na rynku układów AI. W ostatnich latach swoje rozwiązania wprowadzili także AMD, Intel, Google i Qualcomm. Jak wypadają w porównaniu z Blackwell i Jetson Thor?

1. AMD Instinct MI325X

• Moc obliczeniowa: 250 TOPS (INT8).
• Cena: ~$15,000.
• Zalety: Cena, otwarte oprogramowanie (ROCm), dobra wydajność w obliczeniach ogólnych.
• Wady: Mniejsza wydajność w modelach językowych (LLM) w porównaniu z Blackwell.

2. Intel Gaudi 3

• Moc obliczeniowa: 183 TOPS (BF16).
• Cena: ~$10,000.
• Zalety: Cena, wsparcie dla pytorch, dobra wydajność w obliczeniach ogólnych.
• Wady: Mniejsza ekosystem dla LLM, wyższe zużycie energii.

3. Google TPU v5e

• Moc obliczeniowa: 260 TOPS (BF16).
• Cena: Dostępny tylko w chmurze (Google Cloud).
• Zalety: Wydajność w chmurze, dobra integracja z ekosystemem Google.
• Wady: Brak rozwiązań dla EDGE, zależność od chmury.

4. Qualcomm Cloud AI 100

• Moc obliczeniowa: 400 TOPS (INT4).
• Cena: ~$3,500.
• Zalety: Niska cena, dobra wydajność w urządzeniach mobilnych.
• Wady: Ograniczona obsługa dużych modeli (np. 120B+).

Porównując te rozwiązania, NVIDIA wyróżnia się przede wszystkim wydajnością w modelach językowych (LLM) oraz wsparciem dla lokalnego uruchamiania. Konkurencja skupia się głównie na cenie (Intel, Qualcomm) lub chmurze (Google).

Wyzwania i ograniczenia: co może powstrzymać rewolucję?

Pomimo ogromnego potencjału, Blackwell i Jetson Thor nie są pozbawione wyzwań. Oto najważniejsze z nich:

1. Pamięć – największy problem dla modeli 120B

Model o rozmiarze 120 miliardów parametrów w precyzji FP8 wymaga około 240 GB pamięci. To ponad 6 razy więcej niż standardowa pamięć RAM w laptopie. Choć Jetson Thor oferuje 64 GB LPDDR5X, to w praktyce konieczne jest użycie NVLink 5.0 do łączenia wielu układów lub zewnętrznej pamięci HBM3E.

„Pamięć to największe wyzwanie przy lokalnym uruchamianiu dużych modeli. Bez odpowiedniego wsparcia sprzętowego, modele po prostu nie działają.”

2. Chłodzenie – kluczowy element dla stabilnej pracy

Jetson Thor zużywa około 100W, co może wydawać się niewielką wartością, ale w zamkniętych obudowach (np. w samochodach lub urządzeniach przemysłowych) konieczne jest odpowiednie chłodzenie. NVIDIA oferuje zarówno aktywne, jak i pasywne systemy chłodzenia, ale w niektórych zastosowaniach konieczne może być użycie chłodzenia cieczą.

3. Koszt – nie dla każdego kieszeni

Cena Jetson Thor w wersji developerskiej ma sięgać 5,000–8,000 dolarów. Choć to znacznie mniej niż koszt serwerowych układów Blackwell, to wciąż kwota, która może odstraszać mniejsze firmy i indywidualnych użytkowników. NVIDIA oferuje jednak opcje leasingu i subskrypcji (np. NVIDIA AI Enterprise), które mogą obniżyć koszty.

4. Oprogramowanie – konieczność optymalizacji

Choć NVIDIA dostarcza narzędzia takie jak TensorRT-LLM i vllm, to uruchomienie modelu o rozmiarze 120B na Jetson Thor wymaga odpowiedniej optymalizacji. Wymaga to wiedzy na temat quantization (np. FP8, INT4), pruning i distillation. Nie każdy użytkownik będzie w stanie samodzielnie zoptymalizować model.

„Optymalizacja modeli to sztuka. Bez odpowiedniego doświadczenia, nawet najlepszy sprzęt nie da rady.”

5. Dostępność – priorytet dla klientów enterprise

Na początku Jetson Thor będzie dostępny głównie dla klientów biznesowych i instytucji. Masowa produkcja i dostępność dla indywidualnych użytkowników są planowane na początek 2025 roku. To oznacza, że na razie rozwiązanie to nie jest dostępne dla szerszego grona odbiorców.

Kiedy i gdzie będzie dostępny? Cennik i plany NVIDII

Terminy i dostępność Blackwell i Jetson Thor są ściśle powiązane z zapotrzebowaniem rynkowym. Oto najważniejsze informacje:

1. Blackwell B100

• Data premiery: Trzeci kwartał 2024 roku (dla klientów OEM i partnerów).
• Dostępność: Głównie dla producentów serwerów (np. Dell, HPE).
• Cena: Szacowana na $12,000–$15,000 za układ.

2. Jetson Thor

• Data premiery:
  • Wersja developerska (Jetson Thor Developer Kit): czwarty kwartał 2024 roku.
  • Masowa produkcja: początek 2025 roku.
• Dostępność:
  • Sprzedaż bezpośrednia przez NVIDIA Store.
  • Dystrybutorzy (np. Arrow, Avnet).
• Cena: Szacowana na $5,000–$8,000 za zestaw developerski.
• Wieloletnie licencje: Dostępne dla klientów biznesowych (np. NVIDIA AI Enterprise).

3. NVIDIA DRIVE Thor

• Data premiery: Półrocze 2025 roku.
• Dostępność: Produkcja masowa dla producentów samochodowych.
• Cena: Szacowana na $3,000–$6,000 (wieloletnie licencje).

Jeśli chcesz być na bieżąco z terminami premier i dostępnością, polecamy śledzić oficjalne kanały NVIDII, takie jak NVIDIA Jetson Thor Developer Portal.

Czy warto inwestować w Jetson Thor i Blackwell? Podsumowanie

NVIDIA Jetson Thor i Blackwell B100 to bez wątpienia przełomowe rozwiązania dla lokalnego AI. Pozwalają one na uruchamianie modeli o rozmiarze 120 miliardów parametrów bezpośrednio na urządzeniach, co otwiera drzwi do zupełnie nowych zastosowań. Oto najważniejsze wnioski:

Zalety

• Wydajność: Blackwell B100 osiąga 20 PFLOPS w FP4, a Jetson Thor wystarcza do uruchamiania modeli 120B+.
• Oszczędność: Lokalne uruchamianie oszczędza energię i koszty w porównaniu z chmurą.
• Prywatność: Brak konieczności przesyłania danych do zewnętrznych serwerów.
• Szybkość: Czas odpowiedzi poniżej 10 ms, co jest kluczowe dla wielu zastosowań.
• Skalowalność: Możliwość łączenia wielu układów dzięki NVLink 5.0.

Wady i wyzwania

• Koszt: Jetson Thor to inwestycja rzędu kilku tysięcy dolarów.
• Pamięć: Modele 120B wymagają dużych ilości pamięci, co może być problemem w niektórych zastosowaniach.
• Oprogramowanie: Konieczność optymalizacji modeli, co wymaga wiedzy specjalistycznej.
• Dostępność: Na razie układy są dostępne głównie dla klientów biznesowych.

Dla kogo to rozwiązanie?

Jetson Thor i Blackwell B100 to idealne rozwiązanie dla:

• Firm z branży medycznej, przemysłowej, samochodowej i wojskowej.
• Instytucji edukacyjnych, które chcą wprowadzić lokalne AI do sal wykładowych.
• Entuzjastów AI, którzy chcą eksperymentować z dużymi modelami bez konieczności korzystania z chmury.
• Deweloperów, którzy potrzebują wydajnego sprzętu do testowania i optymalizacji modeli.

Jeśli interesuje Cię, jak wygląda lokalne AI w praktyce, polecamy zapoznać się z naszym wpisem o Sztucznej inteligencji po polsku – Gdzie rodzimy biznes widzi szanse, a gdzie bije głową w mur?, gdzie analizujemy, jak polskie firmy radzą sobie z wdrażaniem lokalnego AI.

Przyszłość lokalnego AI: co dalej?

NVIDIA Jetson Thor i Blackwell B100 to dopiero początek rewolucji w lokalnym AI. W najbliższych latach możemy spodziewać się kolejnych układów, które będą jeszcze bardziej wydajne i energooszczędne. Oto kilka trendów, które mogą kształtować przyszłość:

1. Miniaturyzacja układów

NVIDIA już teraz pracuje nad kolejną generacją układów, które będą jeszcze mniejsze i bardziej energooszczędne. Według plotek, następna generacja Jetson może zużywać poniżej 50W przy podobnej wydajności.

2. Lepsza integracja z urządzeniami

W przyszłości układy AI będą jeszcze bardziej zintegrowane z innymi komponentami, takimi jak czujniki, kamery i modemy. To pozwoli na jeszcze szybsze i bardziej efektywne przetwarzanie danych.

3. Wsparcie dla większej liczby modeli

NVIDIA stale pracuje nad optymalizacją kolejnych modeli AI, aby były one kompatybilne z Jetson Thor i Blackwell. W najbliższych latach możemy spodziewać się wsparcia dla modeli o rozmiarze nawet 300 miliardów parametrów.

4. Konkurencja ze strony innych graczy

Choć NVIDIA dominuje na rynku układów AI, to konkurencja ze strony AMD, Intel i Qualcomm może przynieść nowe, innowacyjne rozwiązania. To z kolei przełoży się na niższą cenę i lepsze możliwości dla użytkowników.

Jeśli chcesz być na bieżąco z najnowszymi trendami w AI, polecamy zapoznać się z naszym wpisem o Google I/O 2025 – Sztuczna Inteligencja w Sercu Strategii Google, gdzie analizujemy, jak giganci technologiczni kształtują przyszłość AI.

Źródła

• https://mlodytechnik.pl/news/32051-petaflop-w-plecaku-lokalne-modele-120b-na-nowym-superchipie-nvidii
• https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-reinvents-the-data-center-for-the-ai-era
• https://github.com/NVIDIA/TensorRT-LLM
• https://www.nvidia.com/en-us/ai-data-science/foundation-models/
• https://nvidianews.nvidia.com/news/nvidia-and-siemens-advance-generative-ai-for-healthcare
• https://nvidianews.nvidia.com/news/nvidia-drive-thor