basal-2.0 i basal-omni — więcej decyzji na sekundę, lepsza kalibracja, obraz i dźwięk

Czym jest basal

basal czyta stan, czyli wiadomość, dokument, fragmenty z wyszukiwania albo przebieg pracy agenta, i odpowiada na pytanie o ten stan. Wybiera tylko spośród opcji, które podajesz w zapytaniu, a dla każdej z nich zwraca skalibrowane prawdopodobieństwo. Robi to w jednym przebiegu modelu, bez generowania tekstu. Ponieważ klasy opisujesz w zapytaniu, jeden model obsługuje wiele zadań bez dodatkowego trenowania: kierowanie zgłoszeń, sprawdzanie reguł i polityk, pytania o długie dokumenty, decyzje w systemach RAG, oceny pilności i ryzyka, ocenę odpowiedzi oraz wybór następnego kroku agenta albo narzędzia.

Typy pytań się nie zmieniają: choice (jedna z opcji), noul (tak/nie), score (skala), multi (wiele etykiet) i act (akcja z kosztami). Gdy do pytania dodasz max_error, odpowiedź, której model nie jest wystarczająco pewny, wraca z "deferred": true i może trafić do człowieka.

Każdy model ma swoje zastosowanie. basal-2.0 (4.5B) łączy trafność z szybkością i jest modelem głównym. basal-2.0-max (11B) jest najtrafniejszy. basal-2.0-mini (1.5B) jest najszybszy i destylowany z max. Wszystkie trzy mają to samo API. To samo API mają dwa modele basal-omni (4B i 12B, na Gemma 4), które czytają też obrazy i dźwięk (niżej).

Co nowego od basal-1.5

• Więcej decyzji na sekundę. Każda decyzja to jeden przebieg z jedną kolejnością opcji (basal-1.5 czytał dwie kolejności). Nowy silnik v2.0.0 łączy zapytania w zwarte partie. Na jednym H100 przy 16 klientach mini wykonuje 106,4 decyzji na sekundę zamiast 20,5, 4.5B 32,2 zamiast 23,0, a max 16,2 zamiast 10,2 (basal-1.5 i 1.5-max na SGLang, jak na tablicy Werdyktu). Gdy oba wydania działają w domyślnym trybie basal-serve, 4.5B jest 4,0 raza, a max 3,5 raza szybszy.
• Lepsza kalibracja. Błąd kalibracji (ECE) w Werdykcie spada: mini z 0,086 do 0,035, 4.5B z 0,068 do 0,060, max z 0,074 do 0,044. Osobną temperaturę dopasowaliśmy dla każdego typu pytania i przedziału liczby opcji, na rodzinach pytań, których model nie widział w treningu.
• Do 255 opcji w pytaniu. basal-1.5 odpowiadał na pytania z co najwyżej 10 opcjami. W publicznym indeksie decyzyjnym JDI 0.2.1 (150 317 zapytań) zostawiał bez odpowiedzi 17,2% zapytań. basal-2.0 4.5B i max odpowiadają na wszystkie, a mini nie odpowiada na 26.
• Długie dokumenty. Kontekst ma 32 768 tokenów (mini: 8 192). Silnik ustawia długie zapytania (ponad 2 048 tokenów) za krótkimi. W ruchu mieszanym przy 32 klientach krótkie zapytania dostają odpowiedź po 0,81 s zamiast 1,38 s (mediana), a długie trwają o około 7% dłużej.
• Polski egzamin lekarski (LEK). Wynik max rośnie z 70,0% do 75,6% po polsku i z 67,6% do 74,1% po angielsku.
• Porty FP8, GGUF i MLX z własną kalibracją. Każdy port ma własny plik kalibracji, dopasowany do odczytów danego portu.
• Tryb myślenia w 4.5B: eksperymentalny i domyślnie wyłączony. W Werdykcie obniża wynik, dlatego go nie zalecamy (szczegóły niżej).
• Obraz i dźwięk w basal-omni: eksperymentalnie. Dwa nowe modele na Gemma 4 przyjmują w zapytaniu obrazy i nagrania (szczegóły niżej).

Wyniki wobec basal-1.5

Werdykt to nasz ukryty benchmark: 5 000 decyzji po polsku i angielsku w 10 kategoriach. Pytań nie publikujemy, żeby nie trafiły do danych treningowych żadnego modelu, także naszego. Każdy rozmiar 2.0 porównujemy z jego odpowiednikiem z basal-1.5. Wagi zamroziliśmy przed pomiarem i każdy model zmierzyliśmy raz, w bf16 na jednym H100.

basal-1.5: wiersze z tablicy Werdyktu (4.5B i max na SGLang, mini na silniku basal); basal-2.0: silnik v2.0.0. Każde wydanie ma własny plik kalibracji. 95% przedziały ufności dla 2.0: mini [0,605; 0,631], 4.5B [0,717; 0,739], max [0,774; 0,795]. Przedziały 1.5 i 2.0 nakładają się w każdym rozmiarze. „Automatycznie” oznacza udział decyzji powyżej progu pewności. Próg wybieramy na połowie pytań dla 5% błędu i sprawdzamy na drugiej połowie. Obserwowany błąd 2.0 wyniósł 5,1% (mini), 5,1% (4.5B) i 4,5% (max).

Zysk w Werdykcie jest mały. Większe zmiany widać w kalibracji: prawdopodobieństwa 2.0 lepiej odpowiadają rzeczywistej trafności, a mini zmniejsza błąd kalibracji ponad dwukrotnie. W kategoriach Werdyktu najwięcej zyskują decyzje o następnym kroku agenta (mini +8,6 pkt, 4.5B +6,0) i ocena odpowiedzi (od +3,0 do +3,8 we wszystkich rozmiarach). max poprawia też odpowiedzi „nie da się ustalić” (+7,2). Długie dokumenty: 4.5B +1,4, max +2,4, mini −2,0. Na decyzjach w systemach RAG mini i 4.5B tracą około 3 punktów. Kategoria liczy około 500 pytań, więc różnice rzędu 2–3 punktów mogą wynikać z przypadku.

Indeks JDI i egzamin lekarski

W indeksie decyzyjnym JDI 0.2.1 mini rośnie z 16,41 do 26,69, a 4.5B z 27,65 do 39,86. max 2.0 uzyskuje 44,07. Dla basal-1.5-max nie ma pełnego przebiegu, więc nie podajemy dla niego wyniku. Jednocześnie znika problem pytań z wieloma opcjami: 1.5 nie odpowiedział na 25 782 z 150 317 zapytań, a 4.5B i max 2.0 odpowiadają na wszystkie.

LEK, czyli Lekarski Egzamin Końcowy, ma pytania z pięcioma odpowiedziami z sesji 2008–2026 (NASK-PIB Reassess, CC BY-NC-SA 4.0). Wyniki modeli tekstowych po polsku / po angielsku: basal-2.0-max 75,6% / 74,1% (1.5: 70,0% / 67,6%), 4.5B 62,0% / 63,0% (1.5: 60,5% / 59,7%), mini 47,7% / 49,2% (1.5: 47,7% / 48,4%).

Oba modele basal-omni zmierzono na tych samych pytaniach i według tego samego protokołu LEK. Wejście było wyłącznie tekstowe: treść pytania i pięć możliwych odpowiedzi.

Pokazujemy wyniki LEK tylko dla modeli basal, bez porównania z innymi systemami. Wynik egzaminu nie znaczy, że model nadaje się do decyzji medycznych. Takie decyzje wymagają człowieka.

Te same pytania, ten sam silnik

W pozostałych testach oba wydania obsłużył ten sam silnik v2.0.0 na tych samych pytaniach. Różnica jest więc sparowana, a w nawiasie podajemy 95% przedział bootstrap.

Panel angielski: różnica i przedział na poziomie pojedynczych pytań. Wynik 2.0 na rzeczywistych polskich dokumentach: mini 91,8%, 4.5B 94,9%, max 97,5%. Pełne zestawienie, w tym testy użyte do wyboru modelu: basal-1.5 → basal-2.0.

Na panelu angielskim wszystkie trzy rozmiary 2.0 wypadają gorzej niż 1.5, a mini traci też 1,4 punktu na polskich decyzjach. Pozostałe różnice mieszczą się w przedziałach niepewności. Jeśli basal-1.5 działa już w Twoim procesie, przed zmianą wersji sprawdź 2.0 na własnych danych.

Szybkość, koszt i porty

Wiersze z tablicy Werdyktu: basal-1.5 i 1.5-max na SGLang, mini 1.5 na silniku basal, basal-2.0 na silniku v2.0.0. Druga kolumna pokazuje oba wydania w domyślnym trybie basal-serve (basal-1.5 na własnym silniku), na osobnych maszynach z tym samym typem GPU. Decyzja to jedno pytanie z jedną kolejnością opcji. Koszt to czas H100 po 3,95 $ za godzinę przy pełnym obciążeniu. Przy jednym kliencie mini 2.0 odpowiada o 1,3 ms wolniej niż mini 1.5.

Przyspieszenie liczymy względem wierszy basal-1.5 z tablicy Werdyktu. 4.5B i max działały tam na SGLang, który był dla nich szybszy niż domyślny tryb basal-serve. Gdy oba wydania działają w trybie domyślnym, 4.5B jest 4,0 raza, a max 3,5 raza szybszy. basal-1.5 był też dostępny w pakietach FP8 dla vLLM, a przy wielu klientach działały wyraźnie szybciej niż jego wersja bf16. basal-2.0 nie był mierzony na tamtej maszynie. Jeśli obsługujesz ruch mieszany z długimi, powtarzającymi się dokumentami, zmierz obie wersje na własnym obciążeniu.

Porty z własną kalibracją

Każdy port sprawdzamy względem modelu bf16. Liczymy, jak często wybiera tę samą opcję, i porównujemy trafność oraz kalibrację.

Zgodność liczymy na zbiorze deweloperskim, dla pytań z 2–10 opcjami. Gdy model bf16 wyraźnie wskazuje jedną opcję (przewaga co najmniej 0,2), zgodność portów wynosi od 98,9% do 100%. Wszystkie porty FP8, GGUF i MLX spełniły progi swojego rozmiaru: trafność różni się od bf16 najwyżej o 1 punkt, a ECE rośnie najwyżej o 0,01.

Kalibracja dopasowana do bf16 nie przenosi się dokładnie na model po kwantyzacji. W basal-1.5 porty MLX i GGUF korzystały z kalibracji modelu bf16. Teraz FP8, GGUF (osobno dla llama.cpp i Ollama) i MLX mają własne pliki CALIBRATION.<silnik>.json. basal-serve sam wybiera plik dla silnika i zapisuje w logu, którego użył.

Na H100 pakiet FP8 wykonuje przy 16 klientach 103,5 (mini), 38,6 (4.5B) i 19,9 (max) decyzji na sekundę. Na Macu z Apple M4 Pro (24 GB) jedno pytanie w MLX 8-bit zajmuje (mediana) 93 ms w mini, 278 ms w 4.5B i 622 ms w max. Pięć pytań o ten sam stan zajmuje odpowiednio 223, 698 i 1 506 ms.

Tryb myślenia Eksperymentalny

Model 4.5B ma eksperymentalny tryb myślenia. Jest domyślnie wyłączony i zalecamy go nie włączać. Serwer uruchomiony z --think auto pisze krótką notatkę przed decyzją. Robi to tylko dla pytań, w których skalibrowana pewność jest poniżej progu 5% błędu dla danego typu. Potem odczytuje decyzję ponownie, z osobnym plikiem kalibracji. Notatkę generuje serwer vLLM, który basal-serve uruchamia w osobnym procesie. mini i max nie mają tego trybu.

Przy --think auto myślało 56,7% pytań, a notatka miała średnio 142 tokeny.

W Werdykcie myślenie obniżyło trafność o 0,9 punktu, zwiększyło błąd kalibracji i zmniejszyło przepustowość z 31,2 do 11,5 decyzji na sekundę. Udostępniamy ten tryb jako eksperyment do sprawdzenia na własnych danych, nie jako zalecaną konfigurację. Na serwerze z --think auto możesz go wyłączyć dla pojedynczego zapytania polem "think": "off".

basal-omni: obraz i dźwięk Eksperymentalny

Razem z basal-2.0 udostępniamy basal-omni, nową linię basal na modelach Google Gemma 4. Na start są dwa modele: basal-omni-1.0-mini (4B, na Gemma 4 E4B) i basal-omni-1.0-max (12B, na Gemma 4 12B). Odpowiadają na te same typowane pytania (choice, noul, score, multi, act) przez to samo API /v1/systemone i przyjmują do 255 opcji w pytaniu. Nowe jest pole "media": obok tekstu stanu możesz wysłać obrazy i nagrania dźwięku, a stan może się składać z samych mediów.

To wydanie eksperymentalne. Oba modele trenowaliśmy tylko na polskich i angielskich typowanych decyzjach w tekście. Obrazy i dźwięk czytają enkodery Gemma 4 bez dodatkowego treningu (zero-shot). Trening na mediach planujemy w kolejnych wydaniach.

Wyniki w Werdykcie

Odniesienie: basal-1.5 (4.5B) dla mini i basal-1.5-max (11B) dla max, wiersze z tablicy Werdyktu. 95% przedziały ufności: mini [0,758; 0,778], max [0,813; 0,832]. Nie nakładają się z przedziałami basal-1.5. basal-omni działał w trybie eager silnika basal, z jedną kolejnością opcji.

Mniejszy model omni dorównuje w Werdykcie basal-1.5-max (11B, 0,773). Na panelu angielskim (10 zadań) oba modele mają o 5,2 punktu więcej niż odpowiedni basal-1.5, a w polskich testach z kart modeli są przed nim albo na jego poziomie. Najsłabszą kategorią pozostają reguły i terminy: 0,352 (mini) i 0,418 (max).

Obraz i dźwięk na polskiej próbie

Media sprawdziliśmy na małej polskiej próbie. Każde pytanie zadaliśmy dwa razy: z obrazem albo nagraniem oraz z tekstem, który je zastępuje (tekst dokumentu, transkrypcja, a przy zdjęciach samo pytanie).

Pierwsza liczba: odpowiedź z obrazu albo nagrania, druga: z tekstu. Ostatnia kolumna: model bazowy Gemma 4 bez naszego treningu, pytany o te same media. Próba jest mała, więc różnice kilku punktów mogą wynikać z przypadku.

Z obrazów dokumentów max czyta prawie tak dobrze jak z ich tekstu (6 punktów mniej), a mini traci 11 punktów. Zdjęcie dodaje 13–16 punktów wobec samego pytania, ale wynik pozostaje na poziomie Gemma 4 bez treningu. Dźwięk lepiej czyta mini: intencję i temat nagrania rozpoznaje 2–3 punkty słabiej niż z transkrypcji, a decyzje na podstawie nagranej wypowiedzi 11 punktów słabiej. max traci na nagraniach od 22 do 42 punktów i zostaje na poziomie modelu bazowego. Jeśli masz transkrypcję, wyślij ją zamiast nagrania.

Jedno zapytanie może łączyć obrazy i dźwięk, a każde pytanie widzi wszystkie media. W naszym teście (20 par: obraz dokumentu i nagrana prośba) dodanie drugiego medium zmieniło 5–15% odpowiedzi mini i 10–25% odpowiedzi max. Najstabilniejsze odpowiedzi daje pytanie wysłane tylko z mediami, których dotyczy. Odpowiedzi mają pole "calibration": "text": temperatury i progi pewności dopasowaliśmy na tekście. Zanim zautomatyzujesz decyzje o obrazach albo nagraniach, sprawdź progi na własnych danych.

Jak uruchomić

uv venv --python 3.12 ~/basal-env && source ~/basal-env/bin/activate
uv pip install torch==2.11.0 torchvision==0.26.0 --index-url https://download.pytorch.org/whl/cu128
uv pip install "basal[media] @ https://github.com/rkinas/basal/archive/refs/tags/v2.0.0.tar.gz"
basal-serve --model Remek/basal-omni-1.0-max --mode eager --media on --port 8000

Ten sam silnik v2.0.0 obsługuje modele tekstowe basal-2.0 i modele basal-omni z obrazem i dźwiękiem, a dodatek [media] jest potrzebny tylko dla basal-omni. Mniejszy model uruchomisz z --model Remek/basal-omni-1.0-mini. W trybie eager mini potrzebuje około 16 GB pamięci GPU, a max około 24 GB.

{
  "state": "",
  "lang": "pl",
  "media": [{"type": "image", "data": "<zdjęcie paragonu w base64>"}],
  "questions": {
    "card": {"type": "noul", "instructions": "Czy zapłacono kartą?"},
    "vat": {
      "type": "choice",
      "instructions": "Jaka jest najwyższa stawka VAT na paragonie?",
      "criteria": {"23": "23%", "8": "8%", "5": "5%", "0": "0% lub zwolniony"}
    }
  }
}

Wyślij jako POST do /v1/systemone. Element "media" ma postać {"type": "image" | "audio", "data": "<base64>"}; działa też adres data:. Obrazy w każdym formacie, który czyta Pillow, dźwięk w WAV, FLAC, OGG albo MP3, do 30 s na nagranie. W jednym zapytaniu zmieści się do 8 plików po 20 MB, a obraz może mieć do 50 MP. "detail": "high" (1 120 tokenów obrazu zamiast 280) pomaga przy drobnym druku, ale wydłuża odpowiedź. "lang" ustawia język, gdy stan składa się z samych mediów.

Szybkość. Na tablicy Werdyktu (16 klientów, jeden H100) mini wykonuje 8,7 decyzji na sekundę, a max 4,2, przy medianie 67 i 76 ms dla jednego klienta. basal-2.0 na tym samym teście: 32,2 (4.5B) i 16,2 (max). Przy krótkich zapytaniach z jednym pytaniem i 32 klientach mini wykonuje 35,2, a max 19,0 decyzji na sekundę.

Ograniczenia basal-omni

• Wydanie eksperymentalne. To pierwsze modele na nowej bazie. Sprawdź je na własnych dokumentach, zanim oprzesz na nich proces.
• Media bez treningu. Obraz i dźwięk czytają enkodery Gemma 4 zero-shot. Tam, gdzie same media są trudne (zdjęcia z telefonu, mowa), odpowiedzi są słabsze niż z tekstu.
• Kalibracja z tekstu. Odpowiedzi o mediach korzystają z kalibracji dopasowanej na tekście. Progi pewności sprawdź na własnych obrazach i nagraniach.
• Tylko obraz i dźwięk. Modele nie przyjmują wideo.
• Tylko tryb eager. Nie ma trybu fast, portów FP8, GGUF i MLX ani trybu myślenia. Na tablicy Werdyktu basal-omni wykonuje 3,7–3,9 raza mniej decyzji na sekundę niż basal-2.0.

basal-2.0 czy basal-omni?

Wybierz basal-omni, gdy decyzja dotyczy obrazu albo nagrania, na przykład zdjęcia dokumentu albo nagranej prośby klienta. Wybierz go też wtedy, gdy na tekście liczy się przede wszystkim trafność, a wystarcza Ci GPU i tryb eager. W Werdykcie basal-omni-1.0-max ma 0,823 wobec 0,784 basal-2.0-max, a basal-omni-1.0-mini 0,769 wobec 0,729 basal-2.0 (4.5B).

Wybierz basal-2.0, gdy liczą się przepustowość i czas odpowiedzi: na tablicy Werdyktu wykonuje 3,7–3,9 raza więcej decyzji na sekundę niż omni podobnej wielkości. basal-2.0 jest też właściwym wyborem, gdy model ma działać na Macu, z Ollama albo w FP8, gdy potrzebujesz najmniejszego modelu (mini 1.5B) albo trybu myślenia w 4.5B i gdy zależy Ci na polskim modelu bazowym Bielik. basal-2.0 to główne wydanie, a basal-omni jest eksperymentalny. Oba mają to samo API, więc zapytania tekstowe działają bez zmian. Każdy model ma jednak własną kalibrację, więc progi pewności sprawdź od nowa.

Czym basal różni się od innych systemów

1 przebieg

Odpowiedź zawsze z listy. basal nie generuje tekstu. Odczytuje prawdopodobieństwa kodów opcji, więc nie ma odpowiedzi spoza listy ani odpowiedzi, której nie da się odczytać.

p(opcja)

Prawdopodobieństwo każdej opcji, nie tylko etykieta. Kalibracja to osobny plik, który możesz dopasować do swoich danych poleceniem basal-calibrate.

max_error

Odroczenie zamiast zgadywania. Pytanie poniżej progu pewności wraca do człowieka. Na rodzinach pytań odłożonych od treningu 4.5B z max_error: 0.05 rozstrzygnął sam 33,2% decyzji przy obserwowanym błędzie 2,39%. Kalibracja jest więc ostrożna.

ms

Milisekundy na decyzję. Mediana dla 4.5B na H100 wynosi 25 ms. Czołowe niezależne modele API na tej samej tablicy odpowiadają po 2,2–3,3 s. Kilka pytań o ten sam stan wysyłasz w jednym zapytaniu.

lokalnie

Na Twoim sprzęcie. basal działa na GPU NVIDIA, na Macu (MLX), z Ollama albo llama.cpp. Do działania nie potrzebuje zewnętrznego API. basal-omni działa na razie tylko w trybie eager na GPU NVIDIA.

Ceną jest trafność. Czołowe niezależne modele API rozstrzygają Werdykt prawie bezbłędnie (od 98,3% do 99,6%). Wyspecjalizowane decyzyjne API i otwarte modele 27–31B osiągają do 85,4%, basal-omni-1.0-max 82,3%, a basal-2.0-max 78,4%. basal opłaca się tam, gdzie liczą się lokalne dane, przewidywalny koszt, czas odpowiedzi i decyzje oddawane człowiekowi, gdy model nie jest pewny.

Dlaczego basal dla polskich firm

• Dane zostają w firmie. Model działa na Twoim serwerze albo komputerze, więc treść dokumentów nie trafia do zewnętrznego dostawcy modelu. To ułatwia ocenę zgodności z RODO, ale nie zastępuje własnej analizy: podstawy przetwarzania, zasad logowania i okresu przechowywania danych.
• Polski model bazowy. basal-2.0 powstaje na modelach Bielik projektu SpeakLeash i ACK Cyfronet AGH: Bielik-1.5B-v3.0-Instruct, Bielik-4.5B-v3.0-Instruct i Bielik-PL-11B-v3.0-Instruct. Eksperymentalny basal-omni powstaje na Google Gemma 4 i trenowaliśmy go na polskich i angielskich typowanych decyzjach.
• Po polsku tak samo dobrze jak po angielsku. W Werdykcie wynik po polsku i po angielsku wynosi: 4.5B 0,729 / 0,728, max 0,787 / 0,781, mini 0,628 / 0,609. basal-omni: max 0,824 / 0,821, mini 0,775 / 0,763.
• Prawdziwe polskie dokumenty. Na 158 pytaniach o rzeczywiste polskie dokumenty spoza danych treningowych max uzyskuje 97,5%, 4.5B 94,9%, a mini 91,8%.
• Polski egzamin lekarski. Na LEK max ma 75,6% po polsku. Wynik egzaminu nie zastępuje oceny w konkretnym zastosowaniu.
• Polskie przykłady. Basal Lab pokazuje polskie procesy: monitoring wzmianek o firmie, dokumenty, import do ERP, karty klientów, poufność i dostawy. Nagrania wykonano na basal-1.0 i basal-1.5. Zapytania do 2.0 mają ten sam format /v1/systemone.
• Otwarta licencja. Wagi i silnik udostępniamy na licencji Apache 2.0, tej samej co modele Bielik i Gemma 4. Możesz ich używać komercyjnie, uruchamiać u siebie i dopasować kalibrację do własnych danych.

Miejsce na tablicy Werdyktu

Tablica Werdyktu obejmuje 94 systemy: modele API oraz otwarte modele zmierzone na jednym H100. basal-2.0-max zajmuje 31. miejsce, basal-2.0 (4.5B) 45., a basal-2.0-mini 80. Eksperymentalne basal-omni-1.0-max i basal-omni-1.0-mini zajmują 14. i 37. miejsce. Wyżej od basal-2.0-max jest 13 systemów API, 13 otwartych modeli o 26–31 mld parametrów i cztery modele 12B, w tym basal-omni-1.0-max. Wyżej od basal-omni-1.0-max jest osiem systemów API i pięć większych otwartych modeli.

Klasę wyznacza łączna liczba parametrów, więc modele MoE, na przykład 26B-A4B, są w klasie 15–40 mld. Najmniejsza klasa jest na tablicy nieliczna. basal-omni-1.0-mini i basal-omni-1.0-max są pierwsze w swoich klasach (1. z 31 i 1. z 14). Pełna tabela: Werdykt.

Osobno warto wiedzieć o modelach MoE, które przy każdym tokenie używają 3–4 mld parametrów, ale mają 26–35 mld łącznie. Cztery z nich mają wynik wyższy niż basal-2.0 (4.5B): Surogate Rune 26B-A4B v3 (0,817), Bobcat Flash 1.2 (0,802), Xor 26B-A4B 1.0 (0,798) i Xor 1.2 (0,772). Ich wagi zajmują jednak tyle pamięci co model 26–35B.

Liderem klasy 7–14B jest basal-omni-1.0-max (0,823), o 3,9 punktu przed basal-2.0-max. Ich przedziały ufności się nie nakładają. Trzy kolejne modele 12B wyprzedzają basal-2.0-max o 0,1–0,5 punktu, a ich przedziały ufności nakładają się z przedziałem max, więc tej kolejności nie traktujemy jako rozstrzygniętej. W klasie 3–5B basal-omni-1.0-mini (0,769) wyprzedza basal-2.0 (4.5B) o 4,0 punktu, także bez nakładania się przedziałów. Najlepszy otwarty model na tablicy, René-1 31B FP8, ma 0,854, czyli 7 punktów więcej niż basal-2.0-max i 3,1 punktu więcej niż basal-omni-1.0-max.

Najsłabsza kategoria to reguły i terminy: mini 0,308, 4.5B 0,350, max 0,378 (basal-omni: mini 0,352, max 0,418). Najlepszy otwarty model ma tu 0,540, a czołowe modele API 1,000. Najlepiej wypadają kierowanie zgłoszeń, decyzje w systemach RAG i prawdziwe dokumenty: max ma w nich 0,966–0,974. Wyniki według kategorii →

Ograniczenia

• Większe modele i API są trafniejsze. Jeśli liczy się wyłącznie trafność, a dane mogą opuścić firmę, czołowe modele API rozstrzygają Werdykt prawie bezbłędnie.
• Nie każdy test idzie w górę. Na panelu angielskim wszystkie rozmiary tracą od 1,5 do 3,6 punktu, a mini traci 1,4 punktu na polskich decyzjach.
• Obliczenia zostaw kodowi. Reguły, terminy i dokładne progi to najsłabszy punkt decyzji w jednym przebiegu. Licz je w kodzie albo użyj "facts": "auto".
• Kalibracja jest ostrożna. Z dołączonym plikiem max_error: 0.01 odracza wszystkie decyzje. Użyj 0,05 albo dobierz progi na własnych danych. W Werdykcie przy celu 5% obserwowany błąd wyniósł od 4,5% do 5,1%.
• Tryb myślenia jest eksperymentalny. W Werdykcie obniża trafność i kalibrację, a przepustowość spada niemal trzykrotnie.
• basal-omni jest eksperymentalny. Obrazy i dźwięk czyta bez treningu na mediach, z kalibracją dopasowaną na tekście, i działa tylko w trybie eager, bez portów i trybu myślenia (szczegóły).
• Funkcje eksperymentalne. Eksperymentalne są act, multi z wieloma etykietami i dowody w tekście. Kontekst mini ma 8 192 tokeny.
• Dostarczaj fakty i aktualne zasady. Wiedza małego modelu jest ograniczona, a przepisy się zmieniają.
• Zachowaj nadzór nad istotnymi decyzjami. Decyzje o poważnych skutkach dla ludzi wymagają kontroli człowieka.

Jak zacząć

Zacznij od 4.5B. Wybierz mini, gdy liczy się wolumen albo mały sprzęt, a max, gdy najważniejsza jest trafność. Do obrazów i dźwięku użyj basal-omni (instalacja w części o basal-omni). Każdy model ma własny plik kalibracji. Jeśli przechodzisz z basal-1.5, sprawdź od nowa progi pewności i udział decyzji automatycznych.

uv venv --python 3.12 ~/basal-env && source ~/basal-env/bin/activate
uv pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu128
uv pip install "basal[fp8] @ https://github.com/rkinas/basal/archive/refs/tags/v2.0.0.tar.gz"
basal-serve --model Remek/basal-2.0-4.5B --mode fast --port 8000

{
  "state": "Klient: od wczoraj nie mogę zalogować się do bankowości internetowej, system pokazuje błąd hasła.",
  "questions": {
    "dept": {
      "type": "choice",
      "instructions": "Do którego działu skierować zgłoszenie?",
      "criteria": {"cards": "Reklamacje kart", "online": "Wsparcie bankowości elektronicznej", "loans": "Kredyty"},
      "max_error": 0.05
    },
    "urgent": {"type": "noul", "instructions": "Czy klient nie może korzystać z usługi?"}
  }
}

Wyślij jako POST do /v1/systemone. Każda odpowiedź zawiera prawdopodobieństwo każdej opcji, wybrany klucz i pewność. Jeśli model nie osiąga progu, odpowiedź ma "deferred": true.

uv pip install "basal[mlx] @ https://github.com/rkinas/basal/archive/refs/tags/v2.0.0.tar.gz"
basal-serve --model Remek/basal-2.0-4.5B-MLX-8bit --mode mlx --port 8000

hf download Remek/basal-2.0-4.5B-GGUF --local-dir basal-2.0-4.5B-GGUF
cd basal-2.0-4.5B-GGUF && ollama create basal-2.0-4.5b:q8_0 -f Modelfile.Q8_0
basal-serve --model ./basal-2.0-4.5B-GGUF --mode ollama --ollama-model basal-2.0-4.5b:q8_0

Samo ollama run zwraca tylko tekst. Typowane odpowiedzi z prawdopodobieństwami zwraca basal-serve działający przed Ollama. Wiele pozycji z pliku przetworzysz poleceniem basal-run --input items.jsonl --output answers.jsonl.