Aion Discovery - Modelowanie biznesowe & Wywiad rynkowy
Contributor’s original text.
W Aion basal podejmuje typowane decyzje w moim pipeline wieloagentowym. W teście z 28–29 października 2026 r. (472 decyzje, zbiór testowy) basal-omni-1.0-ultra miał wyższą trafność niż Jev 1.14 w weryfikacji twierdzeń wobec źródeł (73,8% wobec 59,5%) i w klasyfikacji intencji fraz. Najmniejszy basal-omni-pico (0,8B, GGUF Q8_0, CPU) w ocenie łącznej zremisował z Jevem w granicach przedziałów ufności i ani razu nie zmienił decyzji przy powtórzeniu.
Do czego używam basala?
Mój pipeline analizuje firmy i rynki. Agenci wyciągają fakty do bazy (atomy wiedzy), weryfikują twierdzenia wobec źródeł (potwierdza / przeczy / nie rozstrzyga), klasyfikują intencję fraz z wyszukiwarki, łączą duplikaty firm i proponują kolejne kroki planu. Na końcu każdego etapu ktoś musi wybrać jedną opcję z zamkniętej listy, np. przyjmij / odłóż / odrzuć. Tekst nie jest tu potrzebny. Basal dostaje stan (propozycję z kontekstem) i pytania typu choice albo tak/nie i w jednym przebiegu zwraca rozkład prawdopodobieństwa nad opcjami. Kilka pytań o ten sam stan wysyłam w jednym zapytaniu.
Jak trafiłem na basala?
Zaczęło się od podcastu z prof. Duchem, w którym była mowa o Jevie. Od razu poczułem, że coś takiego bardzo by mi się przydało. Do dziś nie wiem, co mnie bardziej przekonało, szybkość czy cena, ale rzuciłem się do wdrażania i cały weekend sam wpinałem Jeva w pipeline. W poniedziałek dowiedziałem się o basalu. Polski model do typowanych decyzji, prawie to samo, ale nasze. Trzeba było dać mu szansę, tym bardziej że miał lepszą cenę. Zanim Jev został ze mną na dobre, porządnie sprawdziłem oba. Pipeline, test i wdrożenie robiłem sam.
Jak testowałem?
1. Zanim wywołałem jakikolwiek model, zapisałem hipotezy, metryki i progi, a plik wejściowy zahashowałem (sha256). W analizie modele miały aliasy. Klucz odpieczętowałem dopiero po zapisaniu wyników.
2. Niczego nie stroiłem. Pytania i opisy klas wziąłem z istniejącej konfiguracji Jeva i skryptów, dwa zadania dopisałem od zera i wszystko zamroziłem przed testem. Dane podzieliłem 30% dev / 70% test i raportuję tylko test.
3. Zbiór to ok. 470 decyzji z moich procesów w 9 zadaniach, m.in. intencja fraz PL i EN, weryfikacja twierdzeń, akceptacja szkiców i łączenie duplikatów. Poprawne odpowiedzi pochodziły z ręcznie przygotowanych zbiorów i z etykiet dostawcy danych (przy intencji fraz). Żaden z testowanych modeli ich nie tworzył.
4. Liczyłem trafność z przedziałami Wilsona 95%, różnice bootstrapem sparowanym, pary modeli dokładnym testem McNemara z poprawką Holma, kalibrację przez ECE i Brier oraz flip rate, czyli jak często model zmienia decyzję, gdy dostanie to samo zapytanie drugi raz.
5. Porównywałem Jeva 1.13 i 1.14, basal-omni-pico na CPU, kilka dużych modeli jako punkt odniesienia i klasę większościową jako baseline.
Jakie były wyniki?
Trafność na zbiorze testowym w procentach (Jev 1.14 / basal-omni-pico CPU / basal-omni-1.0-ultra API):
– intencja fraz PL (n=105): 59,0 / 61,0 / 63,8
– intencja fraz EN (n=105): 54,3 / 61,0 / 66,7
– weryfikacja twierdzenia wobec źródła (n=42): 59,5 / 33,3 / 73,8
– akceptacja szkiców (n=81): 87,7 / 65,4 / 81,5
W puli zadań nagłówkowych pico i Jev nie różnią się istotnie, ale w akceptacji szkiców pico był istotnie słabszy. Za to flip rate pico wyniósł 0,0%, a Jeva 1.14 6,6% (n=472). Pico chodzi na zwykłym CPU, bez karty graficznej, i kosztuje mnie zero, a gratis to uczciwa cena. Ultra przez API odpowiadał w medianie w 332 ms (p95 484 ms) i nie zwrócił ani jednego błędu na 472 zapytania. Ultra puściłem dzień po teście prerejestrowanym, na tym samym zbiorze, więc traktuję ten wynik jako eksplorację.
Czy można ufać pewności modelu?
Do pewnego stopnia. Przy progu pewności 0,8 ultra obejmuje 68% decyzji i trafia w 83% z nich (CI 78,6–86,8). Przy progu 0,9 obejmuje 54% decyzji z trafnością 87% (CI 81,9–90,3). Mam 9 bardzo różnych zadań i jeden wspólny próg nie wystarczy, żeby cokolwiek przyjmować automatycznie. Następny krok to osobny próg dla każdego zadania.
Jak to działa w praktyce?
Mój klient woła hostowany endpoint /v1/systemone i dzieli pytania na paczki po maks. 8. Gdy zapytanie przekracza limit rozmiaru albo API nie odpowiada, klient sam przełącza się na lokalnego basal-omni-pico na CPU. Po każdym błędzie (429, 5xx, timeout, brak środków) zapisuje stan dostawcy i na jakiś czas go omija, więc nie zasypuje API ponowieniami. Wyjątków nie rzuca: przy braku decyzji pipeline po prostu idzie dalej. Liczby, daty i reguły liczy zwykły kod, a basal ocenia tylko znaczenie tekstu. Zacząłem w trybie shadow: logowałem decyzje basala obok swoich i nic od nich nie zależało. Do kanonu wpuszczam ja.
Czego basal u mnie nie robi?
Nie oceniam nim jakości tekstów. W osobnym, małym teście dobrze rozpoznawał, czy zdanie ma sens, ale nie odróżniał, czy jest „za”, czy „przeciw”. Dlatego zostaje przy decyzjach. W akceptacji szkiców wyższą trafność ma Jev, więc model dobieram do zadania.
Co najbardziej doceniam?
Powtarzalność. Ta sama sprawa dostaje tę samą ocenę, więc mogę każdą decyzję sprawdzić po fakcie i porównywać w czasie. Podoba mi się też, że klasy opisuję zwykłym zdaniem w zapytaniu i nic nie muszę dotrenowywać, a gdy API leży, mam lokalny zapas na CPU.