basal-omni numerem 1 w rankingu otwartych modeli Benchmark Heaven
basal-omni-1.0-ultra zajmuje pierwsze miejsce w JevBench Capability Score dla otwartych modeli spełniających limity kosztu i opóźnienia. Z wynikiem 82,54 wyprzedza także OpenAI Decisions i Microsoft-Decision-1. Porównujemy wyniki z Perplexity, Jev i czołówką otwartych modeli oraz wyjaśniamy warunki pomiaru.
To ważny moment dla basal: polski projekt z otwartymi wagami znalazł się na szczycie głównego rankingu otwartych modeli decyzyjnych Benchmark Heaven. Według tablicy z 18 października 2026 basal-omni-1.0-ultra jest numerem 1 w JevBench Capability Score, przy oficjalnych limitach kosztu i opóźnienia. To wynik zewnętrznego testu, prowadzonego przez zespół Benchmark Heaven.
Stan tablicy: 18.10.2026 · pomiar ultra: 17.10.2026 · dodanie modelu: JevBench v1.6.28. Otwórz ranking źródłowy →
Co oznacza pierwsze miejsce
Model decyzyjny dostaje kontekst, pytanie i dopuszczalne odpowiedzi. Ma szybko wybrać właściwą opcję i podać użyteczne prawdopodobieństwa. W takim zastosowaniu liczy się zarówno trafna decyzja, jak i to, czy deklarowana pewność pomaga ustalić, kiedy zaufać automatowi, a kiedy poprosić o sprawdzenie.
Capability Score jest średnią dwóch osi: Intelligence — jakości decyzji skorygowanej m.in. o przypadkowe trafienia — oraz Calibration, oceniającej prawdopodobieństwa. Koszt i czas odpowiedzi wyznaczają warunki wejścia do tego rankingu: najwyżej dwukrotność referencyjnych wartości Jev, czyli około 0,0646 USD za 1000 decyzji i 1,23 s skorygowanej mediany opóźnienia.
Wynik 82,54 jest wartością indeksu, a nie odsetkiem poprawnych odpowiedzi. Podobnie 91,02 na osi Calibration nie oznacza „91,02% trafności”. Metodologia JevBench.
Porównanie modeli
Poniżej pierwsza piątka rankingu Capability dla otwartych wag oraz dwa dodatkowe punkty odniesienia: H2O-Lightning i Jev. Wszystkie liczby pochodzą z publicznego eksportu Benchmark Heaven; wyższy wynik każdej z trzech osi jest lepszy.
| Miejsce | Model | Capability ↑ | Intelligence ↑ | Calibration ↑ |
|---|---|---|---|---|
| 1 | basal-omni-1.0-ultra | 82,54 | 74,06 | 91,02 |
| 2 | Quyet-1.0-Large | 81,69 | 73,40 | 89,98 |
| 3 | Jeff-1.0-Large | 81,50 | 71,90 | 91,11 |
| 4 | metask-jev-rain-31B-trained service v3 | 79,60 | 72,59 | 86,60 |
| 5 | decisio v0.8.0 · Gemma 4 31B | 79,57 | 70,42 | 88,72 |
| 10 | H2O-Lightning-4B v1.1 | 75,00 | 60,04 | 89,95 |
| — | Jev 1.13.0 · API | 77,13 | 63,62 | 90,63 |
Jev 1.13.0 jest tu zamkniętym modelem API pokazywanym jako odniesienie, bez miejsca w rankingu otwartych wag. Nie zastępujemy jego pomiaru wynikami nowszych wersji Jev. Pobierz zapis porównania i źródła (JSON) ↓
ultra wyprzedza Quyet-1.0-Large o 0,85 punktu, Jeff-1.0-Large o 1,03 punktu, a referencyjny Jev 1.13.0 o 5,41 punktu Capability. Jeff ma minimalnie wyższy wynik samej kalibracji; basal prowadzi dzięki połączeniu kalibracji z wyższym Intelligence. Pierwsze miejsce dotyczy więc łącznej oceny, nie zwycięstwa w każdej kolumnie.
Benchmark Heaven publikuje też Composite Score, który uwzględnia szybkość i koszt. W domyślnym wariancie A wśród otwartych modeli wygrywa H2O-Lightning-4B v1.1: 72,52. basal-omni-1.0-ultra jest drugi: 71,76. To użyteczne rozróżnienie: model 4B może być atrakcyjniejszy dla prostszego, masowego ruchu, a ultra daje najwyższy Capability w wymaganym budżecie czasu i kosztu.
Microsoft, OpenAI i Perplexity
Polski model z otwartymi wagami uzyskał wyższy Capability Score niż OpenAI Decisions i Microsoft-Decision-1. Przewaga wynosi odpowiednio 9,04 i 11,75 punktu. Porównujemy konkretne systemy decyzyjne, w wersjach i konfiguracjach opublikowanych przez Benchmark Heaven.
| Model | Capability ↑ | Intelligence ↑ | Calibration ↑ | USD / 1000 decyzji ↓ |
|---|---|---|---|---|
| basal-omni-1.0-ultra | 82,54 | 74,06 | 91,02 | 0,04465* |
| OpenAI Decisions (gpt-6-luna) | 73,50 | 56,90 | 90,10 | 0,05170 |
| Microsoft-Decision-1 (Azure Foundry) | 70,78 | 57,17 | 84,40 | 0,01927 |
| Perplexity Decider v1.1 27B Poza limitem kosztu | 82,79 | 75,72 | 89,87 | 0,21733* |
Źródło: eksport JevBench v1.6.28. * Koszt modeli uruchamianych lokalnie jest szacunkiem według metodologii benchmarku; koszt API wynika z opublikowanej taryfy i zużycia w teście. Nie jest to porównanie rachunków za wynajem GPU.
Perplexity wymaga osobnego wyjaśnienia. Decider v1.1 27B ma nieco wyższy Capability: 82,79 wobec 82,54 dla basal. Jego szacowany koszt to jednak 0,21733 USD za 1000 decyzji — około 4,9 razy więcej niż dla ultra i powyżej oficjalnego limitu 0,0646 USD. Dlatego nie kwalifikuje się do głównego rankingu Capability przy domyślnych limitach. basal osiąga zbliżony wynik indeksu przy znacznie niższym szacowanym koszcie.
We wspólnym rankingu Capability obejmującym kwalifikujące się modele otwarte i API ultra zajmuje drugie miejsce. Prowadzi kettei-fat firmy Sqwish z wynikiem 86,31. To pokazuje skalę wyniku basal: pierwsze miejsce wśród otwartych wag oraz pozycję przed wyspecjalizowanymi systemami decyzyjnymi OpenAI i Microsoftu w tej ocenie.
Dla Microsoftu używamy oficjalnie sklasyfikowanego pomiaru 70,78. Tablica zawiera też dodatkowy, wstępny przebieg A2 z wynikiem 72,19, wyłączony z rankingów. Jest również niższy od wyniku ultra. Wyniki i statusy pomiarów API →
Jak wykonano pomiar
Według raportu wydania v1.6.28 zespół Benchmark Heaven uruchomił publiczne wagi ultra na jednej karcie H200 141 GB, z naszym niezmodyfikowanym silnikiem basal 2.1.0. Test obejmował 1500 decyzji: 300 publicznych i 1200 ukrytych. To ocena przeprowadzona poza projektem basal.
Model odpowiedział na 1485 pytań. Piętnaście najdłuższych wejść przekroczyło dostępną pamięć; odmowy policzono jako błędne odpowiedzi, zachowując pełny mianownik 1500. Zmierzona mediana czasu wyniosła około 102 ms, lokalnie na GPU. Tablica stosuje do niej korektę 2 × czas + 150 ms, co daje około 354 ms. Kwota 0,04465 USD za 1000 decyzji jest szacunkiem według metodologii benchmarku, nie ceną usługi basal.
Tablica łączy pomiary z różnych losowań pytań. W zapisanym eksporcie JSON przy ultra oznaczono, że przebiegi modeli referencyjnych służące wyrównaniu trudności między losowaniami są jeszcze w toku. Pierwsze miejsce opisuje opublikowaną kolejność; małych różnic punktowych nie przedstawiamy jako dowodu statystycznej przewagi na każdym zadaniu. Ten ranking dotyczy decyzji tekstowych — jakość obrazu i dźwięku wymaga osobnych testów.
Warunki pomiaru, odmowy i wersje: raport JevBench v1.6.28. Wyniki i pozycje na bieżącej tablicy: publiczny eksport JSON.
Co zyskuje użytkownik
Za wynikiem stoi model, który można pobrać i uruchomić we własnej infrastrukturze. basal-omni-1.0-ultra ma 31 mld parametrów, powstał na bazie Google Gemma 4 i udostępnia wagi na licencji Apache-2.0. Przyjmuje tekst i obrazy; do dźwięku służą warianty mini i max rodziny omni. Wysoki wynik tekstowy jest więc jednym z elementów szerszego narzędzia.
W firmie taki model może ocenić zgodność odpowiedzi ze źródłem, wybrać narzędzie dla agenta albo ustalić ścieżkę obsługi dokumentu. Program określa pytanie i dozwolone odpowiedzi, a model dostarcza decyzję z prawdopodobieństwami. Dzięki lokalnemu uruchomieniu treść spraw może pozostać w infrastrukturze organizacji.
Wynik zachęca do testów na własnym procesie. Dobór modelu, progu automatyzacji i kosztu pomyłki nadal powinien wynikać z oznaczonych przykładów firmy. Naszym celem jest połączenie jakości modelu z użytecznym silnikiem: REST API, MCP oraz schematami decyzji i zadań, które można włączyć do istniejącego oprogramowania.
Sprawdź basal
Ten wynik to ważny krok dla otwartego, rozwijanego w Polsce ekosystemu modeli decyzyjnych. Dziękuję społeczności za testy, zgłoszenia i wkład w silnik oraz zespołowi Benchmark Heaven za niezależną ewaluację i jawny opis jej warunków.