basal-pico 0.8B i silnik 2.3.2: mały model, konkretne decyzje

Pierwszy dzień pico w pracy

Pico chce szybko przejść do rzeczy, a basal-omni-ultra przypomina mu o trudniejszych zadaniach. W filmie pokazujemy pomysł na najmniejszego członka rodziny, wyniki porównań i nowości silnika. Polski lektor; napisy po polsku i angielsku.

Mały model, ten sam sposób użycia

Pico czyta tekst: wiadomość, dokument, fragment znaleziony w wyszukiwarce albo stan aplikacji. Otrzymuje pytanie i dozwolone odpowiedzi, a oddaje ich prawdopodobieństwa. Możesz zmieniać klasy w każdym zapytaniu, bez trenowania osobnego klasyfikatora dla każdej listy.

Bazą jest Qwen3.5-0.8B-Base. W treningu aktualizowaliśmy wszystkie wagi modelu i wykorzystaliśmy 1 428 543 wiersze treningowe, z basal-omni-1.0-ultra (31B) jako nauczycielem. Finalne wagi powstały przez uśrednienie dwóch końcowych checkpointów. Pico jest modelem tekstowym; multimodalne zadania pozostają domeną rodziny omni.

Zachowujemy API POST /v1/systemone oraz schematy choice, noul, score, multi, act i tool. Ta sama aplikacja może zacząć od pico, a trudniejsze sprawy kierować do większego modelu lub człowieka. Wagi i silnik mają licencję Apache-2.0; po pobraniu można pracować lokalnie.

Werdykt: porównanie 26 małych modeli

Werdykt to nasz zamknięty test 5 000 decyzji. Wynik jest średnią z 20 grup: 10 kategorii w języku polskim i angielskim. Pico uzyskuje 65,98%, a kolejny model, decider-2b, 58,66%. Różnica wynosi 7,32 punktu procentowego. Pico prowadzi w tej grupie także osobno po polsku i po angielsku.

Porównanie obejmuje pico i 25 alternatyw wybranych z zestawienia qev oraz otwartego rankingu Benchmark Heaven, z klasy do około 2B parametrów. To zestaw przetestowanych systemów, nie kompletny ranking wszystkich istniejących modeli. Jevos nie podaje dokładnej liczby parametrów.

Jak porównujemy. Używamy tego samego klienta benchmarku, ale każdy model uruchamiamy w jego własnym środowisku. Ograniczenia kontekstu i nieudane wywołania liczą się jako błędne odpowiedzi. To porównanie działających systemów wraz z ich ograniczeniami, a nie samych wag w identycznym silniku. W JSON podajemy także liczbę nieudanych wywołań oraz rewizje modeli.

Jak wybraliśmy finalne pico. Znaliśmy wyniki Werdyktu obu końcowych kandydatów, zanim wybraliśmy wagi do wydania. Ich wyniki to 65,98% i 64,92%, a przedziały ufności się nakładają. Nie przedstawiamy więc Werdyktu jako nietkniętego testu, który nie uczestniczył w wyborze tego checkpointu.

Mocne strony pico w Werdykcie to routing (91,2%), wybór odpowiedniego fragmentu (88,6%) i rzeczywiste dokumenty (84,8%). Złożone reguły są wyraźnie trudniejsze: 31,6%. To dobra wskazówka, od jakich zastosowań zacząć i gdzie potrzebny będzie większy model.

Wyniki, rewizje i warunki pomiarów (JSON) ↓ · Więcej o Werdykcie →

Sześć testów publicznych: gdzie wygrywa kto inny

Jedna tabela nie wystarcza. Sprawdziliśmy także publiczne zestawy zadań; poniżej porównujemy pico z qev, krino i jiwo. Wszystkie wartości są na skali 0–100, więcej znaczy lepiej. Są to nasze lokalne przebiegi, a nie informacja o nowym miejscu w oficjalnym rankingu Benchmark Heaven.

Pico prowadzi tutaj w Rules-7. Qev ma wyższy wynik w Benchmark Heaven i JevExtra, krino w JevSpatial i spójności JevBench, a jiwo w trafności JevBench. Wybór małego modelu warto oprzeć na charakterze własnych zadań, nie tylko na jednej średniej.

47 ms na H100. Także bez GPU

Mediana opóźnienia i przepustowość mierzą różne rzeczy. Wyniku krótkiej wiadomości na CPU nie należy porównywać wprost ze średnim obciążeniem benchmarku. Na 1 700 przykładach developerskich GGUF wybiera tę samą odpowiedź co BF16 w 99,29% przypadków na CPU i 99,24% na H100. To zgodność wersji, nie trafność względem etykiet.

Nowe pico 0.8B jest wolniejsze od wcześniejszego podglądu 0.6B w jego szybkim trybie. Zyskujemy jakość, ale nowa architektura wymaga jeszcze osobnej optymalizacji. Obsługa Gated DeltaNet w silniku CUDA graphs jest planowana na 2.4; nie jest częścią 2.3.2.

Co wnosi silnik basal 2.3.2

Qwen3.5 łączy mechanizm uwagi z warstwami Gated DeltaNet, które przechowują stan rekurencyjny. Dotychczasowe współdzielenie kontekstu jako kluczy i wartości uwagi nie zachowywało tego dodatkowego stanu. W 2.3.1 wymuszenie szybkiej ścieżki mogło więc zwrócić błędną odpowiedź bez komunikatu o problemie.

• Poprawny tryb domyślny. Pico uruchamia się w eager. Nieobsługiwane tryby, m.in. fast, fp8 i nvfp4, są odrzucane przed pobraniem lub załadowaniem wag, z wyjaśnieniem, czego użyć.
• GGUF na CPU i wiele pytań. Dla modeli hybrydowych silnik dekoduje prompty pojedynczo. Usuwa to problem nieprawidłowych prawdopodobieństw przy kilku pytaniach. Kosztem jest ponowne przeliczenie stanu dla kolejnych pytań i kolejności opcji.
• Czytelny komunikat dla FP8 na starszych GPU. RTX 3090 i A100 nie spełniają wymagań tej ścieżki FP8. Silnik zatrzymuje ją przed ładowaniem modelu; BF16 pozostaje dostępne w trybie odpowiednim dla danej architektury.
• Dwie poprawki facts. Kwota „10.000,00 zł” jest poprawnie odczytywana, a słowo „roku” po dacie nie jest traktowane jak okres jednego roku.
• Kontrola pozostałych modeli. Na 200 odłożonych decyzjach Qwen3 oraz basal-omni-1.0-mini zwróciły takie same prawdopodobieństwa jak w 2.3.1. Nowe wydanie silnika nie oznacza nowych wag omni.

Pełny opis zmian, walidację i znane ograniczenia publikujemy w wydaniu v2.3.2 na GitHubie.

Dziękujemy kontrybutorom

W tym wydaniu szczególne podziękowania należą się osobom, które przysłały poprawki i sprawdziły silnik na własnym sprzęcie:

• Grzegorz Brzezinka (@agentGreg): poprawne odczytywanie kwot z kropką jako separatorem tysięcy (PR #31) oraz poprawka interpretacji „roku” po dacie (PR #32).
• Krzysztof Kaminski (@krzysztofkaminski): pierwsze pomiary na RTX 3090 i zgłoszenie #33. Dzięki nim dodaliśmy wczesną kontrolę zgodności FP8 oraz uzupełniliśmy dokumentację sprzętu i serwowania.

Takie raporty pokazują, co dzieje się poza naszym środowiskiem testowym. Konkretne zapytanie, wersja modelu, konfiguracja sprzętu i log błędu potrafią szybko zamienić problem użytkownika w poprawkę dla całej społeczności.

Trafność i pewność to dwa różne pomiary

Wyższa trafność nie oznacza automatycznie lepszej kalibracji. W przebiegu Werdyktu, wykonanym przed finalnym plikiem kalibracji, pico ma ECE 0,143. Kilku konkurentów osiąga niższy błąd kalibracji. Nie przenosimy też progu „1% błędu” z jednego zbioru na dowolne dane firmy.

Finalną kalibrację sprawdziliśmy osobno na zamrożonym teście 8 560 decyzji. Przy celu 1% model przyjmuje automatycznie 35,0% przypadków, z błędem 0,93%; przy celu 5% przyjmuje 58,2%, z błędem 4,38%. To wyniki tego testu, nie Werdyktu i nie gwarancja dla nowej dziedziny. Do własnych danych służy basal-calibrate.

Jedna wiadomość, dwa pytania do API

Przykład z karty modelu: klient nie może zalogować się do bankowości elektronicznej. W jednym żądaniu wybieramy dział i pytamy, czy usługa jest niedostępna dla klienta. Poniżej pełne body z tekstem w polu state.

{
  "state": "Klient: od wczoraj nie mogę zalogować się do bankowości internetowej, system pokazuje błąd hasła.",
  "questions": {
    "dept": {
      "type": "choice",
      "instructions": "Do którego działu skierować zgłoszenie?",
      "criteria": {
        "cards": "Reklamacje kart",
        "online": "Wsparcie bankowości elektronicznej",
        "loans": "Kredyty"
      }
    },
    "urgent": {
      "type": "noul",
      "instructions": "Czy klient nie może korzystać z usługi?"
    }
  }
}

W zapisanym pomiarze BF16 na H100 model wybrał online z prawdopodobieństwem 0,9983; odpowiedź „tak” na drugie pytanie miała prawdopodobieństwo 0,762. To wynik przykładu z karty modelu. Pokazane w filmie 90% jest osobną ilustracją. Reguły przekazania sprawy człowiekowi pozostają częścią aplikacji.

Jak zacząć

Silnik 2.3.2 jest już publiczny. Poniższe linki do wag aktywują się, gdy odpowiednie repozytorium będzie publicznie dostępne. Model możesz uruchomić po udostępnieniu i pobraniu wag.

• basal-2.0-pico · BF16 · publikacja wag w toku
• basal-2.0-pico · GGUF Q8_0 · publikacja wag w toku

W środowisku z PyTorch odpowiednim dla Twojego sprzętu zainstaluj wydanie 2.3.2. Po udostępnieniu wag uruchom serwer:

uv pip install "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.3.2.tar.gz"

basal-serve --model Remek/basal-2.0-pico --port 8000

Nie dodawaj trybu fast dla pico: w 2.3.2 silnik sam wybierze eager. Dla GGUF użyj dodatku basal[gguf], trybu --mode gguf i pliku kalibracji dołączonego do tego wariantu. Zacznij od przykładów z własnego procesu i porównaj jakość, opóźnienie oraz udział spraw wymagających człowieka.

Wydanie silnika 2.3.2 → · REST, MCP i serwer inferencji → · Zobacz zastosowania w Basal Lab →