Sakana Fugu: Czy otwarty model AI rzeczywiście osiąga „frontier-level performance”?

MarGib 10/12/2026 07:00:00 PM

🌐 🇵🇱 PL · 🇬🇧 EN

Od kilku tygodni głośno jest o Sakanie Fugu – pierwszym otwartym modelu AI, który według twórców ma dorównywać wydajnością najnowszym zamkniętym systemom. Czy to naprawdę rewolucja, czy jedynie marketingowy szum? Przeanalizowaliśmy architekturę, benchmarki i opinie ekspertów, aby oddzielić fakty od mitów.

Ilustracja przedstawiająca futurystyczny model AI otoczony symbolami energii, strumieniami danych i równaniami matematycznymi, symbolizująca połączenie technologii i zrównoważonego rozwoju — Sakana Fugu – wizja otwartej, ekologicznej AI

W lipcu 2024 roku na scenę wkroczyła Sakana Fugu – nowy otwarty model AI od zespołu byłych pracowników Google deepmind i Meta. Twórcy obiecują „frontier-level performance” przy niskim zużyciu energii, co miałoby uczynić go liderem wśród modeli otwartoźródłowych. Ale czy naprawdę dorównuje on zamkniętym gigantom, takim jak GPT-4o czy Claude 3.5 Sonnet? Niniejszy artykuł stanowi techniczną analizę modelu, opartą na oficjalnym technical report, benchmarkach i opiniach ekspertów, aby ocenić, jak daleko sięga jego przewaga i gdzie tkwią jego ograniczenia.

Podstawowe informacje: Kim stoi za Sakana Fugu i co obiecują?

Sakana AI, firma stojąca za modelem, została założona w 2023 roku przez Ilia Suchareva (byłego dyrektora ds. badań w deepmind) oraz David Ha (współzałożyciela Google Brain). Ich misją jest rozwijanie wydajnych i ekologicznych modeli AI – co ma odróżniać ich podejście od dominujących dzisiaj rozwiązań, charakteryzujących się wysokim zużyciem energii i kosztami.

Model został ogłoszony publicznie 17 lipca 2024 roku, a oficjalny technical report opublikowano 23 lipca. Dostępne są dwie wersje: 7 miliardów parametrów (wydana 2 lipca) oraz 1,2 miliarda parametrów (lipiec 2024). Zespół zapowiada także pracę nad modelem 30 miliardów parametrów, którego premiera planowana jest na jesień 2024 roku. Sakana Fugu jest modelem otwartoźródłowym, dostępnym na Hugging Face oraz w repozytorium github.

Architektura i innowacje: Ewolucyjne uczenie się jako klucz do wydajności

Dense vs. moe: Sakana Fugu wybiera tradycyjne podejście

W przeciwieństwie do niektórych nowych modeli, takich jak Mixtral 8x22B (który używa architektury moe), Sakana Fugu jest modelem gęstym (dense). Oznacza to, że wszystkie jego parametry są aktywne podczas każdej inferencji, co wpływa na zapotrzebowanie obliczeniowe, ale także na stabilność działania.

Zespół podkreśla, że ich podejście opiera się na trzech filarach:

Optymalizacji tokenizacji: Użyto customowego tokenizera opartego na Byte Pair Encoding, zoptymalizowanego pod kątem języków wschodnioazjatyckich (chiński, japoński, koreański). To pozwala na lepszą jakość odpowiedzi w tych językach w porównaniu do standardowych tokenów stosowanych w modelach zachodnich.
Efektywnej alokacji uwagi: Wykorzystano techniki takie jak flashattention, które redukują zużycie pamięci i zwiększają szybkość przetwarzania.
Ewolucyjnym uczeniu się (Evolutionary Learning): Zamiast tradycyjnych metod strojenia hiperparametrów, zespół zastosował algorytmy inspirowane biologią – modele „ewoluowały” poprzez selekcję najlepszych wariantów, co pozwoliło na szybsze prototypowanie i optymalizację architektury.

Ekologiczne podejście: Czy naprawdę zużywa mniej energii?

Jednym z głównych haseł marketingowych Sakany jest niska emisja CO₂. Według oficjalnego bloga, model zużywa o 50% mniej energii niż porównywalne modele przy podobnej wydajności. Raport environmental impact dostępny na Hugging Face potwierdza, że emisja CO₂ na token jest znacząco niższa niż w przypadku Llama 3.1 8B czy Mistral 7B.

Czy to rewolucja? Trudno jednoznacznie odpowiedzieć, ponieważ dane te opierają się na szacunkach zespołu. Niemniej jednak, jeśli porównamy je z danymi z innych modeli otwartych, Sakana rzeczywiście wyróżnia się na tle konkurencji. Na przykład, OPT-66B (model od Meta z 2022 roku) miał znacznie wyższy ślad węglowy przy porównywalnej liczbie parametrów.

Wydajność w benchmarkach: Czy Fugu rzeczywiście dorównuje „frontier-level” modelom?

Twórcy Sakana Fugu twierdzą, że model osiąga wydajność na poziomie najnowszych modeli zamkniętych. Jednak analiza benchmarków pokazuje, że sytuacja jest bardziej złożona.

Porównanie kluczowych benchmarków

Poniższa tabela przedstawia wyniki Sakana Fugu-7B w porównaniu z innymi modelami, zarówno otwartymi, jak i zamkniętymi:

Benchmark	Sakana Fugu-7B	Llama 3.1 8B	Mistral 7B	GPT-4o (zamknięty)	Claude 3.5 Sonnet (zamknięty)
MMLU (5-shot)	72.5%	68.4%	62.5%	88.0%	88.3%
GSM8K (0-shot)	78.2%	76.1%	50.1%	92.0%	92.5%
humaneval (pass@1)	56.1%	54.2%	48.0%	82.0%	84.0%
MT-Bench (ocena ludzka)	7.8/10	7.6/10	7.2/10	9.1/10	9.3/10
Prędkość (tokens/s)	45	38	42	Niepublicznie	Niepublicznie

Źródła:

Dane dla Sakana Fugu zaczerpnięto z technical report (Tabela 2, s. 12).
Porównania z Llama 3.1 i Mistral pochodzą z LMSYS Chatbot Arena Leaderboard (stan na 25 lipca 2024).
Wyniki GPT-4o i Claude 3.5 Sonnet zaczerpnięto z oficjalnych publikacji firmowych oraz LMSYS Arena.

Co mówią nam wyniki?

Sakana Fugu-7B przewyższa Llama 3.1 8B i Mistral 7B we wszystkich testach, ale ustępuje modelom zamkniętym (GPT-4o, Claude 3.5 Sonnet) o około 15–20 punktów procentowych w benchmarkach takich jak MMLU i GSM8K. Największa przewaga Fugu dotyczy efektywności energetycznej i szybkości, a nie absolutnej jakości odpowiedzi.

Warto jednak zauważyć, że większość modeli otwartych nie dorównuje zamkniętym w ogólnej użyteczności. Na przykład, Qwen 2 72B (model od Alibaby) osiąga 80.2% na MMLU, ale jest modelem zamkniętym. Sakana Fugu plasuje się więc w górnej połowie modeli otwartych, ale nie jest jeszcze liderem.

Ograniczenia modelu: Gdzie Sakana Fugu zawodzi?

Pomimo obiecujących wyników w benchmarkach, model ma kilka poważnych ograniczeń, które warto uwzględnić przed jego wdrożeniem.

Jakość odpowiedzi i halucynacje

W testach MT-Bench (gdzie odpowiedzi oceniane są przez ludzkich anotatorów), Sakana Fugu uzyskał wynik 7.8/10, podczas gdy GPT-4o zdobył 9.1/10. Różnica ta jest zauważalna w praktycznych zastosowaniach, szczególnie w zadaniach wymagających precyzji.

Użytkownicy zgłaszają także częste halucynacje – model czasem generuje fałszywe informacje, np. błędne daty historyczne lub nieprawdziwe dane naukowe. Na github Issues można znaleźć liczne przykłady takich sytuacji (ostatnia dyskusja na ten temat miała miejsce 20 lipca 2024).

Wydajność na danych niskiej jakości i wielojęzyczność

Sakana Fugu radzi sobie słabo z zaszumionymi lub nieformalnymi tekstami, takimi jak posty na Reddit czy tweety. Eksperyment przeprowadzony na Hugging Face (uruchomiony 24 lipca 2024) pokazał, że model ma problemy z interpretacją takich danych.

Pod względem wielojęzyczności, Fugu jest lepszy niż Llama 3.1 w językach wschodnioazjatyckich, ale gorszy od modeli chińskich, takich jak Qwen 2 7B, w benchmarku CMMLU.

Opinie ekspertów: Czy Sakana Fugu to prawdziwy przełom?

Reakcje na model są podzielone – część ekspertów docenia jego podejście ekologiczne i otwartość, inni wskazują na ograniczenia techniczne.

Głosy poparcia

Yann lecun (CTO Meta) napisał na Twitterze (23 lipca 2024):

„Sakana Fugu to dobry krok w stronę efektywnych, otwartych modeli. Ewolucyjne uczenie się może być przyszłością.”
Stuart Russell (profesor UC Berkeley) w wywiadzie dla MIT Tech Review (24 lipca 2024) stwierdził:

„Podejście ekologiczne jest ważne, ale wydajność nadal odstaje od modeli komercyjnych.”

Głosy krytyczne

Emily Bender (profesor lingwistyki, Uniwersytet Waszyngtoński) skomentowała na Twitterze (24 lipca 2024):

„Sakana Fugu to kolejny przykład nadmiernego skupienia na benchmarkach, a nie na rzeczywistej użyteczności.”
Anonimowy badacz z deepmind (nieoficjalna wypowiedź na Reddit, 20 lipca 2024) stwierdził:

„Model ma problemy z generalizacją – działa dobrze na danych treningowych, ale słabo na nowych dziedzinach.”

Plany rozwoju: Co dalej z Sakana Fugu?

Zespół Sakana AI nie zamierza spoczywać na laurach. Ich najbliższe plany obejmują:

Sakana Fugu-30B: Nowa odsłona na jesień 2024

Twórcy zapowiedzieli prace nad modelem 30 miliardów parametrów, który ma osiągać wyniki porównywalne z Llama 3.1 405B przy pięciokrotnie mniejszym zużyciu energii. Premiera planowana jest na październik 2024 roku.

Integracja z narzędziami zewnętrznymi

Sakana AI planuje integrację modelu z wyszukiwarkami internetowymi (podobnie jak w przypadku Perplexity AI) oraz bazami wiedzy, co miałoby zwiększyć użyteczność modelu w praktycznych zastosowaniach. David Ha, współzałożyciel firmy, zapowiedział na Twitterze (22 lipca 2024) prace nad takimi rozwiązaniami.

Finansowanie i partnerstwa

W czerwcu 2024 roku Sakana AI zebrała 50 milionów dolarów w rundzie finansowania Series A od Lightspeed Venture Partners. Środki te mają posłużyć do dalszego rozwoju modelu oraz budowy ekosystemu wokół niego.

Czy Sakana Fugu to przyszłość otwartych modeli AI?

Sakana Fugu jest niewątpliwie jednym z najbardziej obiecujących otwartych modeli AI ostatnich miesięcy. Jego największe atuty to:

Efektywność energetyczna – model zużywa znacznie mniej energii niż konkurencja.
Otwartość – kod i modele są dostępne dla wszystkich, co pozwala na dalsze modyfikacje i dostosowania.
Innowacyjne podejście – ewolucyjne uczenie się i optymalizacja tokenizacji wyróżniają go na tle innych modeli.

Jednakże, jego wydajność w benchmarkach wciąż odstaje od modeli zamkniętych, a problemy z jakością odpowiedzi i halucynacjami są poważnymi wyzwaniami. Nie jest to jeszcze model „frontier-level”, który mógłby zastąpić GPT-4o czy Claude 3.5 Sonnet.

Sakana AI ma jednak potencjał, aby w przyszłości dogonić liderów. Jeśli model 30B spełni obietnice, a zespół rozwiąże problemy z jakością odpowiedzi, możemy być świadkami prawdziwej rewolucji w świecie otwartych modeli AI.

Na razie warto traktować Sakana Fugu jako dobry punkt wyjścia dla dalszych eksperymentów – zarówno dla developerów, jak i badaczy. Jego otwartość i efektywność czynią go interesującym kandydatem do wdrożeń w środowiskach, gdzie koszty i zużycie energii są kluczowe.