BENCHMARK / 22.10.2026

Tekst. Obraz. Dźwięk.
Wyniki, które możesz sprawdzić.

basal-2.0 i basal-omni porównujemy w tekstowym Werdykcie. Obrazy i nagrania sprawdzamy osobno w polskiej próbie multimodalnej. Wybierz rodzaj testu, aby zobaczyć wyniki, warunki pomiaru i ograniczenia.

Jak wybraliśmy modele do porównania?

Modele decyzyjne wybraliśmy wstępnie z czołówki rankingu Benchmark Heaven (JevBench). Wybraną grupę poddajemy wspólnej weryfikacji w autorskim Werdykcie, na tych samych pytaniach. Pokazujemy także rodzinę basal, duże modele API i pomiary kontrolne. Wcześniejsze wydania zostają w tabeli jako punkty odniesienia.

5 000decyzji w Werdykcie
10 × 2kategorii × języki
124systemów w pełnej tabeli
5 próbobraz i dźwięk · basal-omni
01 / PEŁNE PORÓWNANIE

Werdykt v1

Pobierz wyniki JSON

Werdykt to autorski benchmark projektu basal. Podajemy średnią trafność z 20 grup: 10 kategorii w dwóch językach. Wszystkie modele, także basal-omni, otrzymują tutaj wyłącznie tekst. Tabela obejmuje ukończone przebiegi pełnego testu. basal-2.0 działa w trybie fast (bf16), a basal-omni w trybie eager (bf16). Wyniki mediów znajdziesz w zakładce „Obraz i dźwięk”.

Pomiary silnika: Konfiguracje basal-2.0 i basal-omni na H100 ↓

124 systemów · tabela przewija się poziomo na mniejszych ekranach.

Werdykt v1 · 5 000 decyzji · eksport z 22 października 2026
Miejsce · model / parametryPL + EN95% przedział
PL + EN
PolskiAngielskiCzas p50
ms ↓
Czas p95
ms ↓
USD / 1000
decyzji ↓
Silnik / rozumowanie
1 Gemini 3.8 Flash— · API99,56%99,38%–99,72%99,56%99,56%3 314,57 379,42,5297APIAPI dostawcyRozumowanie: Domyślne dostawcy
2 Claude Opus 5.5†— · API99,40%99,18%–99,62%99,20%99,60%5 531,39 362,215,1738APIAPI dostawcyRozumowanie: Domyślne dostawcy
3 GPT-6.1 Sol— · API99,38%99,16%–99,60%99,24%99,52%2 213,64 928,03,1780APIAPI dostawcyRozumowanie: Domyślne dostawcy
4 GPT-6 Astra†— · API99,34%99,12%–99,56%99,20%99,48%1 993,94 356,515,8178APIAPI dostawcyRozumowanie: Domyślne dostawcy
5 GPT-6 Luna— · API98,32%97,94%–98,64%97,84%98,80%2 380,14 210,50,1880APIAPI dostawcyRozumowanie: Domyślne dostawcy
6 Gemini 3.1 Pro (preview)†— · API5 nieodczytanych odpowiedzi / 5 00097,88%97,48%–98,24%97,92%97,84%5 539,519 820,112,2981APIAPI dostawcyRozumowanie: Domyślne dostawcy
7 Respan Span-02 · endpoint z rozumowaniem*¹26B / 4B aktywnych · otwarte wagi89,52%88,72%–90,28%89,80%89,24%239,22 846,30,0133endpoint Respan · rozumowanie dostawcyHostowany endpoint dostawcyRozumowanie: Domyślne dostawcy
8 mammoth-1¹27B · otwarte wagi88,24%87,40%–89,02%88,40%88,08%188,2946,90,2942Serwer modelu1 × H100 80 GB
9 Liquid d1-ultra¹nie podano · API88,10%87,26%–88,96%87,88%88,32%256,1400,50,0523APIAPI dostawcy
10 basal-omni-1.0-ultra¹31B · otwarte wagi87,92%87,06%–88,74%88,12%87,72%———basal-serve · eager1 × H200 141 GB
11 DREX Max (OpenRouter Decisions API)¹nie podano · API87,26%86,40%–88,14%87,20%87,32%398,81 197,00,0796APIAPI dostawcy
12 Respan Span-02 · 750 ms¹26B / 4B aktywnych · otwarte wagi85,58%84,60%–86,50%84,84%86,32%34,0694,20,1116silnik Respan · budżet 750 ms (auto)1 × RTX PRO 6000 Blackwell 96 GB
13 René-1 31B FP8¹31B · otwarte wagi85,36%84,48%–86,28%85,00%85,72%139,81 849,20,3902Serwer modelu1 × H100 80 GB
14 pplx-decider-v1.1-27b (Decisions API)¹27B · API85,18%84,26%–86,08%85,04%85,32%263,5599,40,0266APIAPI dostawcy
15 Mercury Decide (OpenRouter Decisions API)¹nie podano · API84,48%83,56%–85,32%84,48%84,48%420,41 021,40,0260APIAPI dostawcy
16 deck-31B¹31B · otwarte wagi83,54%82,54%–84,46%83,44%83,64%1 260,52 555,11,5840Serwer modelu1 × H100 80 GB
17 decisio v0.8.0 on gemma-4-31B-it¹31B · otwarte wagi83,48%82,52%–84,38%83,36%83,60%64,9499,60,1207Serwer modelu1 × H100 80 GB
18 Decider chat · Gemma-4-31B¹31B · otwarte wagi82,46%81,54%–83,40%82,48%82,44%145,63 406,20,3003Serwer modelu1 × RTX PRO 6000 Blackwell 96 GB
19 basal-omni-1.0-max¹12B · otwarte wagi82,28%81,34%–83,24%82,44%82,12%76,21 359,60,2631basal-serve · eager1 × H100 80 GB
20 Jev 1.14¹nie podano · API82,16%81,14%–83,10%82,40%81,92%267,6407,40,0710APIAPI dostawcy
21 Eikos-27B-FP8 (v1.3)†¹27B · otwarte wagi82,12%81,14%–83,10%81,92%82,32%115,8522,90,0902Serwer modelu1 × H100 80 GB
22 basal-omni-1.1-max¹12B · otwarte wagi82,06%81,12%–83,00%81,88%82,24%85,51 398,20,2662basal-serve 2.1 · eager1 × H100 80 GB
23 elephant-1¹9B · otwarte wagi81,98%81,04%–82,98%81,20%82,76%98,1371,90,1315Serwer modelu1 × H100 80 GB
24 Jebadiah 27B†¹27B · otwarte wagi81,96%81,02%–82,92%82,32%81,60%96,7843,90,1970Serwer modelu1 × H100 80 GB
25 pplx-decider-v1-27b†¹27B · otwarte wagi112 błędów wywołania / 5 00081,80%80,84%–82,70%81,84%81,76%93,0671,80,1689Serwer modelu1 × H100 80 GB
26 Surogate Rune 26B-A4B v3¹26B / 4B aktywnych · otwarte wagi81,68%80,66%–82,64%80,88%82,48%164,11 509,90,1533surogate · C++1 × RTX PRO 6000 Blackwell 96 GB
27 Jev 1.13.0— · API81,64%80,70%–82,58%82,04%81,24%286,4378,80,0710APIAPI dostawcy
28 Respan Span-02 · 300 ms¹26B / 4B aktywnych · otwarte wagi81,38%80,34%–82,38%80,60%82,16%34,0291,10,0584silnik Respan · budżet 300 ms1 × RTX PRO 6000 Blackwell 96 GB
29 Solar Decide¹— · API81,32%80,32%–82,28%78,52%84,12%1 271,728 248,00,0916APIAPI dostawcy
30 Liquid d1¹— · API80,78%79,82%–81,76%80,52%81,04%329,0491,50,0498APIAPI dostawcy
31 Clef (OpenRouter Decisions API)¹27B · API80,76%79,78%–81,72%81,28%80,24%377,11 199,20,3345APIAPI dostawcy
32 Respan Span-02 · bez rozumowania¹26B / 4B aktywnych · otwarte wagi80,24%79,24%–81,24%79,40%81,08%30,7196,30,0282silnik Respan · bez rozumowania1 × RTX PRO 6000 Blackwell 96 GB
33 Bobcat Flash 1.2¹26B / 4B aktywnych · otwarte wagi80,22%79,16%–81,22%80,04%80,40%38,4206,90,0319Serwer modelu1 × H100 80 GB
34 simple-jev · Qwen3.8-27B (featherless)†¹27B · otwarte wagi80,14%79,14%–81,08%80,00%80,28%277,31 024,20,4017Serwer modelu1 × H100 80 GB
35 Microsoft-Decision-1 (OpenRouter Decisions API)¹nie podano · API80,02%79,04%–81,02%79,04%81,00%331,7414,70,0537APIAPI dostawcy
36 Xor 26B-A4B 1.0¹26B / 4B aktywnych · otwarte wagi79,76%78,72%–80,74%79,48%80,04%95,9280,00,0396Serwer modelu1 × H100 80 GB
37 Reflex 27B (Decision Index 0.2 build)†¹27B · otwarte wagi79,10%78,04%–80,06%79,52%78,68%135,4500,70,1133Serwer modelu1 × H100 80 GB
38 decider-12b v212B · otwarte wagi78,90%77,94%–79,94%79,12%78,68%48,9975,10,1588Serwer modelu1 × H100 80 GB
39 Cygnet¹12B · otwarte wagi78,52%77,52%–79,54%79,04%78,00%39,6276,90,0522Serwer modelu1 × H100 80 GB
40 Winnow-12B (Q8)¹12B · otwarte wagi78,50%77,42%–79,44%78,56%78,44%126,21 096,70,2599Serwer modelu1 × H100 80 GB
41 basal-2.0-max¹11B · otwarte wagi78,40%77,36%–79,46%78,68%78,12%37,4344,30,0678basal v2.0.0 · fast1 × H100 80 GB
42 GPT-6 Luna Decisions¹— · API78,38%77,36%–79,38%79,24%77,52%438,0623,30,1304APIAPI dostawcy
43 JEVfire (Qwen3.8-27B-FP8)†¹27B · otwarte wagi77,74%76,74%–78,70%77,84%77,64%93,6526,40,1020Serwer modelu1 × H100 80 GB
44 basal-1.5-max¹11B · otwarte wagi77,28%76,24%–78,28%77,68%76,88%67,1476,60,1081SGLang1 × H100 80 GB
45 Xor 1.2¹35B / 3B aktywnych · otwarte wagi77,22%76,16%–78,20%77,08%77,36%145,9370,00,0356Serwer modelu1 × RTX PRO 6000 Blackwell 96 GB
46 Chon-1.0-12B (one pass, --no-think)¹12B (LoRA r64 on gemma-4-12B-it) · otwarte wagi77,10%76,06%–78,16%76,60%77,60%90,8613,70,1583Serwer modelu1 × H100 80 GB
47 decider-12b v112B · otwarte wagi77,10%76,10%–78,14%76,88%77,32%47,6977,70,1594Serwer modelu1 × H100 80 GB
48 basal-omni-1.0-mini¹4B · otwarte wagi76,88%75,84%–77,84%77,48%76,28%66,6675,10,1263basal-serve · eager1 × H100 80 GB
49 Decider chat · Qwen3.6-27B¹27B · otwarte wagi76,86%75,76%–77,88%76,84%76,88%90,71 165,90,2352Serwer modelu1 × H100 80 GB
50 Jev-Omni¹12B · otwarte wagi75,34%74,22%–76,38%76,32%74,36%1 131,51 555,01,2397Serwer modelu1 × H100 80 GB
51 H2O-Lightning-4B v1.1¹4B · otwarte wagi75,30%74,20%–76,44%74,52%76,08%58,6127,60,0206Serwer modelu1 × H100 80 GB
52 JPT-9B¹9B · otwarte wagi75,18%74,08%–76,24%74,12%76,24%159,5339,20,0545Serwer modelu1 × H100 80 GB
53 Decision 1.0 Lux 9B¹9B · otwarte wagi74,94%73,80%–76,06%73,84%76,04%56,6325,90,0882Serwer modelu1 × H100 80 GB
54 DREX v1.5 (OpenRouter Decisions API)¹nie podano · API74,88%73,70%–75,96%73,60%76,16%310,8641,10,0505APIAPI dostawcy
55 MedDecider-9B¹9.7B · otwarte wagi73,28%72,18%–74,44%72,08%74,48%151,0545,70,2105Serwer modelu1 × H100 80 GB
56 basal-2.0¹4.5B · otwarte wagi72,86%71,70%–73,92%72,88%72,84%25,0188,10,0341basal v2.0.0 · fast1 × H100 80 GB
57 basal-1.5¹4.5B · otwarte wagi72,12%71,02%–73,26%72,44%71,80%33,8270,20,0477SGLang1 × H100 80 GB
58 Decision-2.0-Nox-4B¹4B (4.21B) · otwarte wagi71,64%70,46%–72,80%70,92%72,36%863,81 302,41,0093eager · H100 NVL1 × H100 NVL 94 GB
59 Clef Flash (OpenRouter Decisions API)¹9B · API71,60%70,44%–72,74%70,12%73,08%345,8700,50,1254APIAPI dostawcy
60 Clef-Flash¹9B · otwarte wagi71,58%70,40%–72,70%70,08%73,08%1 700,21 857,01,8990Serwer modelu1 × H100 80 GB
61 JPT-4B¹4B · otwarte wagi71,14%69,98%–72,34%70,12%72,16%69,5193,00,0412Serwer modelu1 × H100 80 GB
62 Hopper (G) 1.2¹4B · otwarte wagi71,10%69,96%–72,20%70,68%71,52%59,5169,00,0694Serwer modelu1 × H100 80 GB
63 sonda-1.0-4B¹4B · otwarte wagi113 błędów wywołania / 5 00070,72%69,60%–71,90%69,92%71,52%51,4181,60,0359vLLM1 × H100 NVL 94 GB
64 Qwen3-32B, zero-shot (jqv)¹32B · otwarte wagi70,54%69,42%–71,68%69,52%71,56%129,5910,70,2298Serwer modelu1 × H100 80 GB
65 decider-35b-a3b NVFP4¹35B / 3B aktywnych · otwarte wagi70,38%69,26%–71,54%70,20%70,56%48,0190,70,0173Serwer modelu1 × RTX PRO 6000 Blackwell 96 GB
66 Hopper4B · otwarte wagi70,28%69,16%–71,42%69,40%71,16%60,4165,40,1376Serwer modelu1 × H100 80 GB
67 Decision 4B v1.2¹4B · otwarte wagi70,16%69,08%–71,34%69,84%70,48%28,7206,90,0710Serwer modelu1 × H100 80 GB
68 Clef Omni (OpenRouter Decisions API)¹nie podano · API70,14%68,90%–71,22%69,12%71,16%182,3318,80,2210APIAPI dostawcy
69 decider-4b v2¹4B · otwarte wagi70,00%68,86%–71,14%69,68%70,32%27,8283,30,0515Serwer modelu1 × H100 80 GB
70 djev¹26B / 4B aktywnych · otwarte wagi274 błędów wywołania / 5 00069,80%68,72%–70,98%70,16%69,44%66,6159,10,0526Serwer modelu1 × H100 80 GB
71 spark-s1-4b-v6¹4B · otwarte wagi69,38%68,16%–70,58%68,84%69,92%217,4565,20,2879open_spark_jev · HF1 × H100 80 GB
72 Plumb-4B¹4B · otwarte wagi69,04%67,88%–70,32%68,92%69,16%27,7245,70,0553Serwer modelu1 × H100 80 GB
73 Decision 4B v1.1¹4B · otwarte wagi69,02%67,88%–70,22%68,76%69,28%28,5207,10,1236Serwer modelu1 × H100 80 GB
74 MedDecider-4B¹4.7B · otwarte wagi68,90%67,80%–70,18%68,44%69,36%151,1418,40,1939Serwer modelu1 × H100 80 GB
75 JevK5 v0.3¹4B · otwarte wagi68,86%67,68%–70,12%68,28%69,44%28,4258,50,0570Serwer modelu1 × H100 80 GB
76 Tev1 4B Experimental¹4B · API68,62%67,46%–69,78%68,04%69,20%239,6350,20,0569APIAPI dostawcy
77 Kev 1.0 (kev-4b)¹4B · otwarte wagi68,36%67,14%–69,64%67,16%69,56%34,1308,90,0442kev.serve1 × H100 80 GB
78 Imajev-4B¹4B · otwarte wagi436 błędów wywołania / 5 00068,16%67,10%–69,24%66,56%69,76%112,7132,30,1349Serwer modelu1 × H100 80 GB
79 Kev 4B (OpenRouter Decisions API)¹4B · API108 błędów wywołania / 5 00067,44%66,24%–68,72%66,00%68,88%878,81 362,70,0442APIAPI dostawcy
80 Jet v6.2¹4B · otwarte wagi67,34%66,12%–68,50%66,76%67,92%934,51 063,70,3490Serwer modelu1 × H100 80 GB
81 JevK5 v0.2 (4B)¹4B · otwarte wagi66,72%65,56%–67,94%66,40%67,04%30,7240,40,0562jevk5-serve1 × H100 80 GB
82 basal-1.0 · 4.5B4.5B · otwarte wagi66,04%64,70%–67,18%66,20%65,88%26,5779,50,1353basal · fast1 × H100 80 GB
83 basal-omni-pico¹0.8B · otwarte wagi65,96%64,80%–67,14%66,00%65,92%50,1182,30,0456basal · fast1 × H100 80 GB
84 sonda-1.1-4B¹4B · otwarte wagi64,02%62,80%–65,26%63,92%64,12%67,2136,60,0252Serwer modelu1 × H100 80 GB
85 Malkuth-4B¹4B · otwarte wagi108 błędów wywołania / 5 00063,36%62,10%–64,66%62,24%64,48%153,2285,20,1722Serwer modelu1 × H100 80 GB
86 Manchego v2.14B · otwarte wagi63,04%61,76%–64,30%62,20%63,88%73,5400,80,1149Serwer modelu1 × H100 80 GB
87 local-jev (Qwen3.5-4B)¹4B · otwarte wagi62,98%61,76%–64,16%62,48%63,48%142,7535,80,2534local-jev · HF1 × H100 80 GB
88 typecastlm v1.3.0 (Qwen3.5 3.8B)¹3.8B · otwarte wagi62,88%61,72%–64,14%62,36%63,40%95,2217,30,1381typecastlm · local1 × H100 80 GB
89 lev4B · otwarte wagi62,86%61,64%–64,12%61,68%64,04%157,6538,10,2013Serwer modelu1 × H100 80 GB
90 jev-local (Qwen3.5-9B, HF scorer)¹9B · otwarte wagi436 błędów wywołania / 5 00062,18%61,08%–63,32%61,56%62,80%460,7829,02,0440jevlocal · HF scorer1 × H100 80 GB
91 Qwen3-4B-Instruct-2507 (raw, letter logits)¹4B · otwarte wagi · pomiar kontrolny62,08%60,90%–63,22%61,40%62,76%40,0161,20,0222vLLM · logity liter1 × H100 80 GB
92 basal-2.0-mini¹1.5B · otwarte wagi61,84%60,54%–63,08%62,76%60,92%15,593,90,0103basal v2.0.0 · fast1 × H100 80 GB
93 metask-jev-4b¹4B · otwarte wagi441 błędów wywołania / 5 00061,16%59,90%–62,34%60,68%61,64%107,8177,10,3400Serwer modelu1 × H100 80 GB
94 basal-1.5-mini1.5B · otwarte wagi60,66%59,40%–61,92%61,92%59,40%14,2346,40,0535basal · fast1 × H100 80 GB
95 open-alternative-jev (so1, Qwen3.5-4B)¹4B · otwarte wagi60,24%58,94%–61,50%59,16%61,32%101,4433,40,1579so1 · HF + adapter HTTP1 × H100 80 GB
96 Solar Decide Flash¹— · API60,16%58,92%–61,42%57,12%63,20%940,71 684,60,0916APIAPI dostawcy
97 SemIf¹4B · otwarte wagi436 błędów wywołania / 5 00058,80%57,62%–59,92%57,52%60,08%66,0119,40,0800Serwer modelu1 × H100 80 GB
98 decider-2b (v11)¹2B · otwarte wagi58,66%57,40%–59,94%58,04%59,28%20,3168,50,0248decider-ai 1.8.11 × H100 80 GB
99 JEV-Qwen3.5-9B-Base-NVFP4¹9B · otwarte wagi57,26%55,92%–58,52%57,76%56,76%31,8177,90,0264SGLang · NVFP4 + adapter HTTP1 × RTX PRO 6000 Blackwell 96 GB
100 Krino-2B¹2B (rank-16 LoRA + pointer head over Qwen/Qwen3.5-2B-Base) · otwarte wagi56,62%55,34%–57,94%55,24%58,00%27,3211,00,0103Serwer modelu1 × RTX 4090 24 GB
101 Phi-4-mini-instruct (raw, letter logits)¹3.8B · otwarte wagi · pomiar kontrolny55,78%54,40%–57,02%53,68%57,88%35,9132,90,0171vLLM · logity liter1 × H100 80 GB
102 Decision 2B (preview)¹2B · otwarte wagi431 błędów wywołania / 5 00054,62%53,36%–55,78%49,24%60,00%48,776,80,0580model.decide + adapter HTTP1 × H100 80 GB
103 qev-0.8b¹0.8B (Qwen3.5-0.8B-Base) · otwarte wagi54,40%53,02%–55,64%53,00%55,80%53,8123,70,0135Serwer modelu1 × H100 80 GB
104 basal-1.0 · 1.5B1.5B · otwarte wagi52,24%50,94%–53,62%52,72%51,76%14,6354,40,0549basal · fast1 × H100 80 GB
105 Nemotron Diffusion 8B (Nemotron_Jev)¹8B · otwarte wagi51,54%50,16%–52,94%48,72%54,36%38,6210,70,0628Nemotron_Jev · vLLM1 × H100 80 GB
106 jul fast (jul-decision-minicpm5-2b v2)¹2B (openbmb/MiniCPM5-2B + merged LoRA r16 + pointer head) · otwarte wagi50,86%49,46%–52,26%47,56%54,16%604,5894,80,0914Serwer modelu1 × A40 48 GB
107 Malkuth-2B¹2B · otwarte wagi108 błędów wywołania / 5 00049,98%48,74%–51,26%48,16%51,80%73,2119,90,0765kev.serve1 × H100 80 GB
108 Qwen3-Reranker-4B (as a decider)¹4B · otwarte wagi · pomiar kontrolny47,20%46,02%–48,44%45,92%48,48%131,61 089,10,2743Transformers · adapter rerankera1 × H100 80 GB
109 Open-Jev-2B¹1.9B (Qwen3.5-2B + rank-8 LoRA + scalar decision head) · otwarte wagi428 błędów wywołania / 5 00047,10%45,84%–48,38%44,80%49,40%727,11 165,00,3547Serwer modelu1 × L40S 48 GB
110 EXAONE-4.0-1.2B-JEV v0.3 (unofficial fine-tune)¹1.2B (LGAI-EXAONE/EXAONE-4.0-1.2B full fine-tune) · otwarte wagi45,88%44,62%–47,16%38,04%53,72%75,8440,60,0140Serwer modelu1 × A40 48 GB
111 Qwen3.5-0.8B Decision Model¹0.8B (Qwen3.5-0.8B-Base full fine-tune) · otwarte wagi44,28%42,88%–45,50%44,32%44,24%152,4701,20,0414Serwer modelu1 × L40S 48 GB
112 jevos-v5¹17-layer decoder (jevos), OpenVINO INT8 weights (0.63 GB) · otwarte wagi193 błędów wywołania / 5 00043,96%42,68%–45,26%39,80%48,12%1 391,224 390,80,2819Serwer modeluCPU
113 kev 0.6B (research preview)¹0.6B (LoRA r=16 + pointer head over Qwen/Qwen3-0.6B-Base) · otwarte wagi153 błędów wywołania / 5 00037,52%36,18%–38,78%36,44%38,60%53,2335,20,0197Serwer modelu1 × RTX 4090 24 GB
114 Vega 0.8B¹0.8B frozen backbone (Qwen/Qwen3.5-0.8B) + 14.3M-parameter decision engine + two gated low-rank adapters · otwarte wagi36,72%35,48%–38,12%35,72%37,72%46,7157,90,0206Serwer modelu1 × RTX 4090 24 GB
115 Decision Fast 0.6B (preview)¹0.6B (606.7M: Qwen/Qwen3-0.6B-Base + LoRA adapter + structural rows + pointer head, 10.6M trained) · otwarte wagi451 błędów wywołania / 5 00035,46%34,10%–36,70%34,88%36,04%403,21 302,00,0499Serwer modelu1 × A40 48 GB
116 Tacet Sonata¹144M (jhu-clsp/mmBERT-small encoder + 2-layer head) · otwarte wagi35,00%33,64%–36,24%34,72%35,28%95,2262,50,0130Serwer modelu1 × A40 48 GB
117 watt-flash-0.1¹140M (mmBERT-small encoder + option-marker scorer) · otwarte wagi105 błędów wywołania / 5 00034,76%33,50%–35,96%33,12%36,40%16,337,80,0073Serwer modelu1 × RTX 4090 24 GB
118 Liquid AI d1-omni-600M¹587M (381M trunk + decision head on LFM2.5-Encoder-350M; 94M vision and 112M audio encoders unused here) · otwarte wagi34 błędów wywołania / 5 00033,34%32,08%–34,60%30,44%36,24%20,1161,70,0141Serwer modelu1 × RTX 4090 24 GB
119 Phocinae-Largha-150M-v1¹144.3M (jhu-clsp/mmBERT-small + decision head, fp16 weights) · otwarte wagi32,26%30,98%–33,58%31,36%33,16%93,0209,20,0173Serwer modelu1 × A40 48 GB
120 WaterSheep¹0.15B (ModernBERT-base encoder + calibrated heads) · otwarte wagi31,72%30,48%–32,84%28,20%35,24%41,355,60,0106Serwer modelu1 × L40S 48 GB
121 openJev Verdict 1.4¹151M (GLiClass ModernBERT-base) · otwarte wagi30,60%29,22%–31,88%29,40%31,80%14,323,50,0058Serwer modelu1 × RTX 4090 24 GB
122 verdict-small¹118M (intfloat/multilingual-e5-small bi-encoder, fine-tuned) · otwarte wagi30,06%28,76%–31,34%30,40%29,72%31,499,40,0128Serwer modelu1 × L40S 48 GB
123 kev 0.5B¹0.5B (LoRA + pointer head over Qwen/Qwen2.5-0.5B) · otwarte wagi153 błędów wywołania / 5 00030,02%28,68%–31,24%28,96%31,08%41,3145,30,0141Serwer modelu1 × RTX 4090 24 GB
124 Certo v1¹0.4B · otwarte wagi28,26%27,04%–29,38%29,40%27,12%20,825,00,0238certo · adapter HTTP1 × H100 80 GB

† Wynik nie jest niezależny. Model lub model z tej samej rodziny uczestniczył w budowie albo sprawdzaniu pytań. Tych wyników nie należy traktować jako niezależnego porównania.

¹ Różnice konfiguracji. Cygnet: adapter nazw pól i limit 16 384 tokenów; dłuższe wejścia odrzucone przez serwer liczą się jako błędy. basal-1.5 i max na SGLang: limit kontekstu 32 768 zamiast domyślnego 4 096. basal-2.0 i basal-omni-1.0: odpowiedzi z trybu --deterministic (wynik niezależny od obciążenia), czas i koszt z osobnego przebiegu w trybie domyślnym na tym samym serwerze; basal-omni-1.0 działa w trybie eager. Werdykt mierzy tylko tekst: basal-omni (eksperymentalna linia basal na Gemma 4, mini 4B i max 12B) przyjmuje też obrazy i dźwięk, ale tej tabeli to nie dotyczy (wyniki obrazu i dźwięku). Winnow: kontekst 65 536 zgodny z README. Nox: H100 NVL 94 GB i tryb eager. Interfejsy decyzyjne dostawców (Decisions API przez OpenRouter) otrzymują każde pytanie jako jedno pytanie choice; wybieramy opcję o najwyższym zwróconym prawdopodobieństwie. Część otwartych modeli bez własnego serwera HTTP działa przez nasz cienki adapter, który nie zmienia odpowiedzi modelu. Pomiary pochodzą z różnych środowisk chmurowych. Kartę GPU podajemy przy każdym systemie.

Blackwell i H100. Systemy oznaczone „RTX PRO 6000 Blackwell 96 GB” działają na tej karcie, zgodnie z konfiguracją autorów albo dlatego, że nie mieszczą się na jednym H100. Ich czas i koszt dotyczą innego sprzętu niż pozostałe wiersze.

Pomiary kontrolne. Qwen3-4B-Instruct-2507 i Phi-4-mini-instruct to modele ogólne oceniane przez prawdopodobieństwa liter odpowiedzi. Qwen3-Reranker-4B ocenia opcje przez adapter rerankera i skraca długie wejścia do 8 192 tokenów. Te trzy wiersze są punktami odniesienia w Werdykcie, a nie wyspecjalizowanymi modelami decyzyjnymi.

* Respan Span-02 · endpoint z rozumowaniem: zmierzony przez hostowany endpoint z domyślnym rozumowaniem dostawcy (nie jeden przebieg); pomiar lokalny w toku.

Bez pomiaru szybkości. basal-omni-1.0-ultra: czas i koszt — pomiar szybkości jeszcze niewykonany. Trafność pochodzi z pełnego przebiegu 5 000 pytań.

Ograniczenia wykonania. Błędy wywołań i nieodczytane odpowiedzi liczą się jako błędne decyzje; ich liczby podajemy przy nazwach. Decision 2B odrzucił 431 pytań z powodu limitów długości, Malkuth-2B — 108, a jev-local (Qwen3.5-9B, HF scorer) — 436 z powodu limitu 4 096 tokenów. Czas p50 i p95 jev-local wyliczono ze 181 poprawnie obsłużonych zapytań w próbie 200 pytań. Certo odczytuje tylko pierwsze 64 tokeny pytania i stanu. Czas bibliotek bez własnego serwera obejmuje nasz adapter HTTP. Spark, local-jev i so1 używają referencyjnej ścieżki Transformers bez FLA; Spark dodatkowo wraca do pełnego przebiegu po błędzie cache. JevK5 v0.2 korzysta z referencyjnej konwolucji. Instalacja zależności na CPU podczas części pomiaru decider-2b mogła nieco zaniżyć jego przepustowość.

Protokół Nox. Pełny wynik 5 000 pytań jest w głównej tabeli. Model korzysta z trybu eager na H100 NVL 94 GB; jego szybka ścieżka jest zweryfikowana przez autorów dla ROCm. Czas i przepustowość zmierzono z jednym procesem serwera. Pozostałe 3 000 pytań wykonano z pulą pięciu procesów wyłącznie na potrzeby oceny trafności; ich czasu nie użyto do wyliczania kosztu ani szybkości.

Jak liczymy koszt. H100 i H100 NVL: stawka porównawcza 3,95 USD/h; RTX PRO 6000 Blackwell: 2,09 USD/h. Koszt 1 000 decyzji wynika z przepustowości przy pełnym obciążeniu. API: koszt raportowany przez dostawcę. Własne wdrożenie przy małym ruchu może kosztować więcej na decyzję. Znak „—” oznacza brak danych.

Trafność a czas odpowiedzi

Im wyżej i bliżej lewej strony, tym lepszy wynik przy krótszym oczekiwaniu. Oś czasu jest logarytmiczna; dokładne wartości znajdziesz w tabeli.

Werdykt: trafność i mediana czasu odpowiedzi 123 systemówbasal-2.0 osiąga 72,86% przy 25,0 ms, max 78,40% przy 37,4 ms, mini 61,84% przy 15,5 ms. basal-1.5: 72,12% przy 33,8 ms, max 77,28% przy 67,1 ms, mini 60,66% przy 14,2 ms. Skala trafności obejmuje od 0 do 100%. Sprzęt różni się między systemami; pełne warunki i dane są w tabeli powyżej.100%75%50%25%0%10 ms100 ms1 s10 sGemini 3.8 Flash: 99,56%, 3 314,5 ms · API dostawcyClaude Opus 5.5 †: 99,40%, 5 531,3 ms · API dostawcyGPT-6.1 Sol: 99,38%, 2 213,6 ms · API dostawcyGPT-6 Astra †: 99,34%, 1 993,9 ms · API dostawcyGPT-6 Luna: 98,32%, 2 380,1 ms · API dostawcyGemini 3.1 Pro (preview) †: 97,88%, 5 539,5 ms · API dostawcyRespan Span-02 · endpoint z rozumowaniem: 89,52%, 239,2 ms · Hostowany endpoint dostawcymammoth-1: 88,24%, 188,2 ms · 1 × H100 80 GBLiquid d1-ultra: 88,10%, 256,1 ms · API dostawcyDREX Max (OpenRouter Decisions API): 87,26%, 398,8 ms · API dostawcyRespan Span-02 · 750 ms: 85,58%, 34,0 ms · 1 × RTX PRO 6000 Blackwell 96 GBRené-1 31B FP8: 85,36%, 139,8 ms · 1 × H100 80 GBpplx-decider-v1.1-27b (Decisions API): 85,18%, 263,5 ms · API dostawcyMercury Decide (OpenRouter Decisions API): 84,48%, 420,4 ms · API dostawcydeck-31B: 83,54%, 1 260,5 ms · 1 × H100 80 GBdecisio v0.8.0 on gemma-4-31B-it: 83,48%, 64,9 ms · 1 × H100 80 GBDecider chat · Gemma-4-31B: 82,46%, 145,6 ms · 1 × RTX PRO 6000 Blackwell 96 GBbasal-omni-1.0-max: 82,28%, 76,2 ms · 1 × H100 80 GBJev 1.14: 82,16%, 267,6 ms · API dostawcyEikos-27B-FP8 (v1.3) †: 82,12%, 115,8 ms · 1 × H100 80 GBbasal-omni-1.1-max: 82,06%, 85,5 ms · 1 × H100 80 GBelephant-1: 81,98%, 98,1 ms · 1 × H100 80 GBJebadiah 27B †: 81,96%, 96,7 ms · 1 × H100 80 GBpplx-decider-v1-27b †: 81,80%, 93,0 ms · 1 × H100 80 GBSurogate Rune 26B-A4B v3: 81,68%, 164,1 ms · 1 × RTX PRO 6000 Blackwell 96 GBJev 1.13.0: 81,64%, 286,4 ms · API dostawcyRespan Span-02 · 300 ms: 81,38%, 34,0 ms · 1 × RTX PRO 6000 Blackwell 96 GBSolar Decide: 81,32%, 1 271,7 ms · API dostawcyLiquid d1: 80,78%, 329,0 ms · API dostawcyClef (OpenRouter Decisions API): 80,76%, 377,1 ms · API dostawcyRespan Span-02 · bez rozumowania: 80,24%, 30,7 ms · 1 × RTX PRO 6000 Blackwell 96 GBBobcat Flash 1.2: 80,22%, 38,4 ms · 1 × H100 80 GBsimple-jev · Qwen3.8-27B (featherless) †: 80,14%, 277,3 ms · 1 × H100 80 GBMicrosoft-Decision-1 (OpenRouter Decisions API): 80,02%, 331,7 ms · API dostawcyXor 26B-A4B 1.0: 79,76%, 95,9 ms · 1 × H100 80 GBReflex 27B (Decision Index 0.2 build) †: 79,10%, 135,4 ms · 1 × H100 80 GBdecider-12b v2: 78,90%, 48,9 ms · 1 × H100 80 GBCygnet: 78,52%, 39,6 ms · 1 × H100 80 GBWinnow-12B (Q8): 78,50%, 126,2 ms · 1 × H100 80 GBbasal-2.0-max: 78,40%, 37,4 ms · 1 × H100 80 GBGPT-6 Luna Decisions: 78,38%, 438,0 ms · API dostawcyJEVfire (Qwen3.8-27B-FP8) †: 77,74%, 93,6 ms · 1 × H100 80 GBbasal-1.5-max: 77,28%, 67,1 ms · 1 × H100 80 GBXor 1.2: 77,22%, 145,9 ms · 1 × RTX PRO 6000 Blackwell 96 GBChon-1.0-12B (one pass, --no-think): 77,10%, 90,8 ms · 1 × H100 80 GBdecider-12b v1: 77,10%, 47,6 ms · 1 × H100 80 GBbasal-omni-1.0-mini: 76,88%, 66,6 ms · 1 × H100 80 GBDecider chat · Qwen3.6-27B: 76,86%, 90,7 ms · 1 × H100 80 GBJev-Omni: 75,34%, 1 131,5 ms · 1 × H100 80 GBH2O-Lightning-4B v1.1: 75,30%, 58,6 ms · 1 × H100 80 GBJPT-9B: 75,18%, 159,5 ms · 1 × H100 80 GBDecision 1.0 Lux 9B: 74,94%, 56,6 ms · 1 × H100 80 GBDREX v1.5 (OpenRouter Decisions API): 74,88%, 310,8 ms · API dostawcyMedDecider-9B: 73,28%, 151,0 ms · 1 × H100 80 GBbasal-2.0: 72,86%, 25,0 ms · 1 × H100 80 GBbasal-1.5: 72,12%, 33,8 ms · 1 × H100 80 GBDecision-2.0-Nox-4B: 71,64%, 863,8 ms · 1 × H100 NVL 94 GBClef Flash (OpenRouter Decisions API): 71,60%, 345,8 ms · API dostawcyClef-Flash: 71,58%, 1 700,2 ms · 1 × H100 80 GBJPT-4B: 71,14%, 69,5 ms · 1 × H100 80 GBHopper (G) 1.2: 71,10%, 59,5 ms · 1 × H100 80 GBsonda-1.0-4B: 70,72%, 51,4 ms · 1 × H100 NVL 94 GBQwen3-32B, zero-shot (jqv): 70,54%, 129,5 ms · 1 × H100 80 GBdecider-35b-a3b NVFP4: 70,38%, 48,0 ms · 1 × RTX PRO 6000 Blackwell 96 GBHopper: 70,28%, 60,4 ms · 1 × H100 80 GBDecision 4B v1.2: 70,16%, 28,7 ms · 1 × H100 80 GBClef Omni (OpenRouter Decisions API): 70,14%, 182,3 ms · API dostawcydecider-4b v2: 70,00%, 27,8 ms · 1 × H100 80 GBdjev: 69,80%, 66,6 ms · 1 × H100 80 GBspark-s1-4b-v6: 69,38%, 217,4 ms · 1 × H100 80 GBPlumb-4B: 69,04%, 27,7 ms · 1 × H100 80 GBDecision 4B v1.1: 69,02%, 28,5 ms · 1 × H100 80 GBMedDecider-4B: 68,90%, 151,1 ms · 1 × H100 80 GBJevK5 v0.3: 68,86%, 28,4 ms · 1 × H100 80 GBTev1 4B Experimental: 68,62%, 239,6 ms · API dostawcyKev 1.0 (kev-4b): 68,36%, 34,1 ms · 1 × H100 80 GBImajev-4B: 68,16%, 112,7 ms · 1 × H100 80 GBKev 4B (OpenRouter Decisions API): 67,44%, 878,8 ms · API dostawcyJet v6.2: 67,34%, 934,5 ms · 1 × H100 80 GBJevK5 v0.2 (4B): 66,72%, 30,7 ms · 1 × H100 80 GBbasal-1.0 · 4.5B: 66,04%, 26,5 ms · 1 × H100 80 GBbasal-omni-pico: 65,96%, 50,1 ms · 1 × H100 80 GBsonda-1.1-4B: 64,02%, 67,2 ms · 1 × H100 80 GBMalkuth-4B: 63,36%, 153,2 ms · 1 × H100 80 GBManchego v2.1: 63,04%, 73,5 ms · 1 × H100 80 GBlocal-jev (Qwen3.5-4B): 62,98%, 142,7 ms · 1 × H100 80 GBtypecastlm v1.3.0 (Qwen3.5 3.8B): 62,88%, 95,2 ms · 1 × H100 80 GBlev: 62,86%, 157,6 ms · 1 × H100 80 GBjev-local (Qwen3.5-9B, HF scorer): 62,18%, 460,7 ms · 1 × H100 80 GBQwen3-4B-Instruct-2507 (raw, letter logits): 62,08%, 40,0 ms · 1 × H100 80 GBbasal-2.0-mini: 61,84%, 15,5 ms · 1 × H100 80 GBmetask-jev-4b: 61,16%, 107,8 ms · 1 × H100 80 GBbasal-1.5-mini: 60,66%, 14,2 ms · 1 × H100 80 GBopen-alternative-jev (so1, Qwen3.5-4B): 60,24%, 101,4 ms · 1 × H100 80 GBSolar Decide Flash: 60,16%, 940,7 ms · API dostawcySemIf: 58,80%, 66,0 ms · 1 × H100 80 GBdecider-2b (v11): 58,66%, 20,3 ms · 1 × H100 80 GBJEV-Qwen3.5-9B-Base-NVFP4: 57,26%, 31,8 ms · 1 × RTX PRO 6000 Blackwell 96 GBKrino-2B: 56,62%, 27,3 ms · 1 × RTX 4090 24 GBPhi-4-mini-instruct (raw, letter logits): 55,78%, 35,9 ms · 1 × H100 80 GBDecision 2B (preview): 54,62%, 48,7 ms · 1 × H100 80 GBqev-0.8b: 54,40%, 53,8 ms · 1 × H100 80 GBbasal-1.0 · 1.5B: 52,24%, 14,6 ms · 1 × H100 80 GBNemotron Diffusion 8B (Nemotron_Jev): 51,54%, 38,6 ms · 1 × H100 80 GBjul fast (jul-decision-minicpm5-2b v2): 50,86%, 604,5 ms · 1 × A40 48 GBMalkuth-2B: 49,98%, 73,2 ms · 1 × H100 80 GBQwen3-Reranker-4B (as a decider): 47,20%, 131,6 ms · 1 × H100 80 GBOpen-Jev-2B: 47,10%, 727,1 ms · 1 × L40S 48 GBEXAONE-4.0-1.2B-JEV v0.3 (unofficial fine-tune): 45,88%, 75,8 ms · 1 × A40 48 GBQwen3.5-0.8B Decision Model: 44,28%, 152,4 ms · 1 × L40S 48 GBjevos-v5: 43,96%, 1 391,2 ms · CPUkev 0.6B (research preview): 37,52%, 53,2 ms · 1 × RTX 4090 24 GBVega 0.8B: 36,72%, 46,7 ms · 1 × RTX 4090 24 GBDecision Fast 0.6B (preview): 35,46%, 403,2 ms · 1 × A40 48 GBTacet Sonata: 35,00%, 95,2 ms · 1 × A40 48 GBwatt-flash-0.1: 34,76%, 16,3 ms · 1 × RTX 4090 24 GBLiquid AI d1-omni-600M: 33,34%, 20,1 ms · 1 × RTX 4090 24 GBPhocinae-Largha-150M-v1: 32,26%, 93,0 ms · 1 × A40 48 GBWaterSheep: 31,72%, 41,3 ms · 1 × L40S 48 GBopenJev Verdict 1.4: 30,60%, 14,3 ms · 1 × RTX 4090 24 GBverdict-small: 30,06%, 31,4 ms · 1 × L40S 48 GBkev 0.5B: 30,02%, 41,3 ms · 1 × RTX 4090 24 GBCerto v1: 28,26%, 20,8 ms · 1 × H100 80 GB
Rodzina basalInne otwarte modeleAPI

Konfiguracje basal-2.0 i basal-omni

Trzy modele tekstowe i dwa multimodalne na H100 80 GB. Każdy otrzymał te same 5 000 pytań tekstowych Werdyktu. Poniżej zestawiamy konfiguracje i wyniki obu rodzin z pełnej tabeli powyżej.

basal-2.0 + basal-omni · Werdykt PL + EN · 5 000 pytań tekstowych · BF16
Model / parametrySilnik · BF16SprzętPL + EN ↑Czas p50
ms ↓
Czas p95
ms ↓
USD / 1000
decyzji ↓
basal-2.0-mini1.5B basal v2.0.0 · fast 1 × H100 80 GB 61,84% 15,593,90,0103
basal-2.04.5B basal v2.0.0 · fast 1 × H100 80 GB 72,86% 25,0188,10,0341
basal-2.0-max11B basal v2.0.0 · fast 1 × H100 80 GB 78,40% 37,4344,30,0678
basal-omni-1.0-mini4B basal-serve · eager 1 × H100 80 GB 76,88% 66,6675,10,1263
basal-omni-1.0-max12B basal-serve · eager 1 × H100 80 GB 82,28% 76,21 359,60,2631

Tekst w obu rodzinach. basal-2.0 działa w trybie fast, a basal-omni w trybie eager. Wszystkie pomiary dotyczą BF16, jednej kolejności opcji i włączonej kalibracji. Trafność, czas i koszt odnoszą się tutaj wyłącznie do tekstu. Zobacz osobne wyniki obrazów i dźwięku basal-omni →

Warunki pomiaru. Trafność pochodzi z pełnych 5 000 pytań w trybie --deterministic. Czasy p50 i p95 zmierzono na 200 wspólnych pytaniach, po jednym zapytaniu naraz. Czas i przepustowość pochodzą z osobnego przebiegu w trybie domyślnym na tym samym serwerze co pomiar trafności danego modelu.

Koszt według wspólnej stawki. Wszystkie koszty przeliczono z przepustowości przy 16 równoległych zapytaniach i umownej stawki 3,95 USD/h. To stawka porównawcza benchmarku; nie cena wynajmu tej maszyny.

BASAL-OMNI / OBRAZ I DŹWIĘK

Ta sama decyzja.
Inne źródło informacji.

Pobierz wyniki JSON ↓

To osobna, mała polska próba omni-probe-pl: pięć zadań i 595 pytań dla każdego modelu. Każde pytanie zadano z obrazem lub nagraniem oraz z jego tekstowym odpowiednikiem. Werdykt w pierwszej zakładce mierzy wyłącznie tekst — także dla modeli omni.

Eksperymentalne

basal-omni-1.0-mini (4B), max (12B) i ultra (31B) trenowano na decyzjach tekstowych. Media obsługują enkodery Gemma 4 bez dodatkowego treningu multimodalnego (zero-shot). Progi pewności dopasowano na tekście, więc wymagają weryfikacji na własnych mediach.

Co wynika z tych pomiarów?

Max lepiej odczytuje obrazy dokumentów: 83,8% wobec 72,5% mini. Oba modele tracą część trafności w porównaniu z podaniem gotowego tekstu dokumentu.

Ultra najlepiej odczytuje obrazy: 89,4% przy obrazach dokumentów i 80,0% przy zdjęciach. Nie przyjmuje dźwięku: model bazowy 31B nie ma kodera audio.

Mini lepiej radzi sobie z nagraniami: 92,1% rozpoznanych intencji wobec 71,4% max. Gdy masz transkrypcję, warto porównać jej wynik z bezpośrednim audio.

Zdjęcia pomagają względem samego pytania, ale te wyniki są zbliżone do modelu bazowego bez treningu basal. Nie traktujemy ich jako dowodu ogólnej przewagi multimodalnej.

To małe próby o różnej trudności. Nie tworzymy z nich wspólnego rankingu ani nie łączymy ich z wynikiem Werdyktu.

Trafność z obrazu lub dźwiękuSkala 0–100% · więcej = lepiej
omni-mini · 4B omni-max · 12B omni-ultra · 31B

Obraz dokumentu

Obraz · 160 pytań

mini72,5%
max83,8%
ultra89,4%

Prawdziwe zdjęcie

Obraz · 150 pytań

mini66,7%
max66,0%
ultra80,0%

Intencja nagranej prośby · MINDS-14

Dźwięk · 140 pytań

mini92,1%
max71,4%

ultra: bez dźwięku (model 31B nie ma kodera audio)

Temat nagranego fragmentu

Dźwięk · 100 pytań

mini87,0%
max51,0%

ultra: bez dźwięku (model 31B nie ma kodera audio)

Decyzja z nagranej wypowiedzi

Dźwięk · 45 pytań

mini84,4%
max55,6%

ultra: bez dźwięku (model 31B nie ma kodera audio)

Media, tekst i model bazowy — wszystkie wyniki

Dla obrazów dokumentów porównaniem jest ich treść, a dla nagrań transkrypcja. Przy zdjęciach porównanie tekstowe zawiera tylko pytanie, bez informacji ze zdjęcia. Nie jest więc równoważnym opisem obrazu.

omni-probe-pl · trafność · wyniki z kart modeli wydania 1.0
Zadanie / pytaniaModelZ mediów ↑Z tekstu ↑Gemma 4 bez treningu basal
z tych samych mediów ↑
Co zawiera wejście tekstowe?
Obraz dokumentu160 pytań · Obrazomni-mini72,5%83,1%50,0%Gemma 4 E4BTreść dokumentu
Obraz dokumentu160 pytań · Obrazomni-max83,8%90,0%67,5%Gemma 4 12BTreść dokumentu
Obraz dokumentu160 pytań · Obrazomni-ultra89,4%93,1%76,9%Gemma 4 12BTreść dokumentu
Prawdziwe zdjęcie150 pytań · Obrazomni-mini66,7%50,7%64,0%Gemma 4 E4BSamo pytanie, bez zdjęcia
Prawdziwe zdjęcie150 pytań · Obrazomni-max66,0%52,7%68,0%Gemma 4 12BSamo pytanie, bez zdjęcia
Prawdziwe zdjęcie150 pytań · Obrazomni-ultra80,0%61,3%83,3%Gemma 4 12BSamo pytanie, bez zdjęcia
Intencja nagranej prośby · MINDS-14140 pytań · Dźwiękomni-mini92,1%94,3%90,0%Gemma 4 E4BTranskrypcja
Intencja nagranej prośby · MINDS-14140 pytań · Dźwiękomni-max71,4%92,9%70,0%Gemma 4 12BTranskrypcja
Temat nagranego fragmentu100 pytań · Dźwiękomni-mini87,0%90,0%86,0%Gemma 4 E4BTranskrypcja
Temat nagranego fragmentu100 pytań · Dźwiękomni-max51,0%93,0%55,0%Gemma 4 12BTranskrypcja
Decyzja z nagranej wypowiedzi45 pytań · Dźwiękomni-mini84,4%95,6%60,0%Gemma 4 E4BTranskrypcja
Decyzja z nagranej wypowiedzi45 pytań · Dźwiękomni-max55,6%95,6%57,8%Gemma 4 12BTranskrypcja

Zakres. 160 pytań o renderowane obrazy dokumentów, 150 o prawdziwe zdjęcia, 140 o intencje nagranych próśb (MINDS-14), 100 o temat nagrania i 45 o decyzję na podstawie wypowiedzi. Ten sam zestaw dla mini, max i ultra; ultra tylko obrazy (dwa pierwsze zadania). Wyniki zaokrąglone zgodnie z kartami modeli; różnice kilku punktów na tak małych próbach mogą wynikać z przypadku.

Osobne media i mieszane wejścia. Powyższe wyniki dotyczą pojedynczego rodzaju medium. W oddzielnej próbie 20 par obrazu dokumentu i nagranej prośby dodanie drugiego medium zmieniło 5–15% odpowiedzi mini i 10–25% max. Najstabilniej wysyłać pytanie tylko z mediami, których dotyczy.

Źródła. Agregaty z kart modeli: basal-omni-1.0-mini · basal-omni-1.0-max · basal-omni-1.0-ultra. Eksport JSON zawiera sumy SHA-256 użytych źródeł. Więcej o protokole, uruchomieniu i ograniczeniach: artykuł o wydaniu.

Czas i koszt. W tym zestawie nie opublikowano porównywalnych pomiarów czasu i kosztu dla mediów. Nie przenosimy tu wyników szybkości z tekstowego Werdyktu.

02 / POLISH ITEMS ONLY

Jak modele radzą sobie po polsku?

Ranking 118 systemów z eksportu Werdyktu z 22 października 2026. Trafność to średnia z 10 polskich kategorii, 2 500 pytań. Czas to mediana dla całego Werdyktu, a nie osobny pomiar tylko polskich pytań. Modele ogólne i reranker oznaczono jako pomiary kontrolne.

72,9% basal-2.078,7% basal-2.0-max62,8% basal-2.0-mini
Polish items only · systemy decyzyjne i pomiary kontrolne
MiejsceModelParametryTrafność PL ↑Mediana czasu ↓
1Respan Span-02 · endpoint z rozumowaniemHostowany endpoint dostawcy26B MoE (4B active)89,8%239,2 ms
2mammoth-11 × H100 80 GB27B88,4%188,2 ms
3basal-omni-1.0-ultra1 × H200 141 GB31B88,1%—
4Liquid d1-ultraAPI dostawcynie podano87,9%256,1 ms
5DREX Max (OpenRouter Decisions API)API dostawcynie podano87,2%398,8 ms
6pplx-decider-v1.1-27b (Decisions API)API dostawcy27B85,0%263,5 ms
7René-1 31B FP81 × H100 80 GB31B85,0%139,8 ms
8Respan Span-02 · 750 ms1 × RTX PRO 6000 Blackwell 96 GB26B MoE (4B active)84,8%34,0 ms
9Mercury Decide (OpenRouter Decisions API)API dostawcynie podano84,5%420,4 ms
10deck-31B1 × H100 80 GB31B83,4%1,3 s
11decisio v0.8.0 on gemma-4-31B-it1 × H100 80 GB31B83,4%64,9 ms
12Decider chat · Gemma-4-31B1 × RTX PRO 6000 Blackwell 96 GB31B82,5%145,6 ms
13basal-omni-1.0-max1 × H100 80 GB12B82,4%76,2 ms
14Jev 1.14API dostawcynie podano82,4%267,6 ms
15Jebadiah 27B1 × H100 80 GB27B82,3%96,7 ms
16Jev 1.13.0API dostawcy—82,0%286,4 ms
17Eikos-27B-FP8 (v1.3)1 × H100 80 GB27B81,9%115,8 ms
18basal-omni-1.1-max1 × H100 80 GB12B81,9%85,5 ms
19pplx-decider-v1-27b1 × H100 80 GBBłędy wywołania w pełnym teście: 112 / 5 00027B81,8%93,0 ms
20Clef (OpenRouter Decisions API)API dostawcy27B81,3%377,1 ms
21elephant-11 × H100 80 GB9B81,2%98,1 ms
22Surogate Rune 26B-A4B v31 × RTX PRO 6000 Blackwell 96 GB26B-A4B80,9%164,1 ms
23Respan Span-02 · 300 ms1 × RTX PRO 6000 Blackwell 96 GB26B MoE (4B active)80,6%34,0 ms
24Liquid d1API dostawcy—80,5%329,0 ms
25Bobcat Flash 1.21 × H100 80 GB26B-A4B80,0%38,4 ms
26simple-jev · Qwen3.8-27B (featherless)1 × H100 80 GB27B80,0%277,3 ms
27Reflex 27B (Decision Index 0.2 build)1 × H100 80 GB27B79,5%135,4 ms
28Xor 26B-A4B 1.01 × H100 80 GB26B-A4B79,5%95,9 ms
29Respan Span-02 · bez rozumowania1 × RTX PRO 6000 Blackwell 96 GB26B MoE (4B active)79,4%30,7 ms
30GPT-6 Luna DecisionsAPI dostawcy—79,2%438,0 ms
31decider-12b v21 × H100 80 GB12B79,1%48,9 ms
32Microsoft-Decision-1 (OpenRouter Decisions API)API dostawcynie podano79,0%331,7 ms
33Cygnet1 × H100 80 GB12B79,0%39,6 ms
34basal-2.0-max1 × H100 80 GB11B78,7%37,4 ms
35Winnow-12B (Q8)1 × H100 80 GB12B78,6%126,2 ms
36Solar DecideAPI dostawcy—78,5%1,3 s
37JEVfire (Qwen3.8-27B-FP8)1 × H100 80 GB27B77,8%93,6 ms
38basal-1.5-max1 × H100 80 GB11B77,7%67,1 ms
39basal-omni-1.0-mini1 × H100 80 GB4B77,5%66,6 ms
40Xor 1.21 × RTX PRO 6000 Blackwell 96 GB35B-A3B77,1%145,9 ms
41decider-12b v11 × H100 80 GB12B76,9%47,6 ms
42Decider chat · Qwen3.6-27B1 × H100 80 GB27B76,8%90,7 ms
43Chon-1.0-12B (one pass, --no-think)1 × H100 80 GB12B (LoRA r64 on gemma-4-12B-it)76,6%90,8 ms
44Jev-Omni1 × H100 80 GB12B76,3%1,1 s
45H2O-Lightning-4B v1.11 × H100 80 GB4B74,5%58,6 ms
46JPT-9B1 × H100 80 GB9B74,1%159,5 ms
47Decision 1.0 Lux 9B1 × H100 80 GB9B73,8%56,6 ms
48DREX v1.5 (OpenRouter Decisions API)API dostawcynie podano73,6%310,8 ms
49basal-2.01 × H100 80 GB4.5B72,9%25,0 ms
50basal-1.51 × H100 80 GB4.5B72,4%33,8 ms
51MedDecider-9B1 × H100 80 GB9.7B72,1%151,0 ms
52Decision-2.0-Nox-4B1 × H100 NVL 94 GB4B (4.21B)70,9%863,8 ms
53Hopper (G) 1.21 × H100 80 GB4B70,7%59,5 ms
54decider-35b-a3b NVFP41 × RTX PRO 6000 Blackwell 96 GB35B-A3B70,2%48,0 ms
55djev1 × H100 80 GBBłędy wywołania w pełnym teście: 274 / 5 00026B (4B active)70,2%66,6 ms
56Clef Flash (OpenRouter Decisions API)API dostawcy9B70,1%345,8 ms
57JPT-4B1 × H100 80 GB4B70,1%69,5 ms
58Clef-Flash1 × H100 80 GB9B70,1%1,7 s
59sonda-1.0-4B1 × H100 NVL 94 GBBłędy wywołania w pełnym teście: 113 / 5 0004B69,9%51,4 ms
60Decision 4B v1.21 × H100 80 GB4B69,8%28,7 ms
61decider-4b v21 × H100 80 GB4B69,7%27,8 ms
62Qwen3-32B, zero-shot (jqv)1 × H100 80 GB32B69,5%129,5 ms
63Hopper1 × H100 80 GB4B69,4%60,4 ms
64Clef Omni (OpenRouter Decisions API)API dostawcynie podano69,1%182,3 ms
65Plumb-4B1 × H100 80 GB4B68,9%27,7 ms
66spark-s1-4b-v61 × H100 80 GB4B68,8%217,4 ms
67Decision 4B v1.11 × H100 80 GB4B68,8%28,5 ms
68MedDecider-4B1 × H100 80 GB4.7B68,4%151,1 ms
69JevK5 v0.31 × H100 80 GB4B68,3%28,4 ms
70Tev1 4B ExperimentalAPI dostawcy4B68,0%239,6 ms
71Kev 1.0 (kev-4b)1 × H100 80 GB4B67,2%34,1 ms
72Jet v6.21 × H100 80 GB4B66,8%934,5 ms
73Imajev-4B1 × H100 80 GBBłędy wywołania w pełnym teście: 436 / 5 0004B66,6%112,7 ms
74JevK5 v0.2 (4B)1 × H100 80 GB4B66,4%30,7 ms
75basal-1.0 · 4.5B1 × H100 80 GB4.5B66,2%26,5 ms
76Kev 4B (OpenRouter Decisions API)API dostawcyBłędy wywołania w pełnym teście: 108 / 5 0004B66,0%878,8 ms
77basal-omni-pico1 × H100 80 GB0.8B66,0%50,1 ms
78sonda-1.1-4B1 × H100 80 GB4B63,9%67,2 ms
79basal-2.0-mini1 × H100 80 GB1.5B62,8%15,5 ms
80local-jev (Qwen3.5-4B)1 × H100 80 GB4B62,5%142,7 ms
81typecastlm v1.3.0 (Qwen3.5 3.8B)1 × H100 80 GB3.8B62,4%95,2 ms
82Malkuth-4B1 × H100 80 GBBłędy wywołania w pełnym teście: 108 / 5 0004B62,2%153,2 ms
83Manchego v2.11 × H100 80 GB4B62,2%73,5 ms
84basal-1.5-mini1 × H100 80 GB1.5B61,9%14,2 ms
85lev1 × H100 80 GB4B61,7%157,6 ms
86jev-local (Qwen3.5-9B, HF scorer)1 × H100 80 GBBłędy wywołania w pełnym teście: 436 / 5 0009B61,6%460,7 ms
87Qwen3-4B-Instruct-2507 (raw, letter logits)Pomiar kontrolny1 × H100 80 GB4B61,4%40,0 ms
88metask-jev-4b1 × H100 80 GBBłędy wywołania w pełnym teście: 441 / 5 0004B60,7%107,8 ms
89open-alternative-jev (so1, Qwen3.5-4B)1 × H100 80 GB4B59,2%101,4 ms
90decider-2b (v11)1 × H100 80 GB2B58,0%20,3 ms
91JEV-Qwen3.5-9B-Base-NVFP41 × RTX PRO 6000 Blackwell 96 GB9B57,8%31,8 ms
92SemIf1 × H100 80 GBBłędy wywołania w pełnym teście: 436 / 5 0004B57,5%66,0 ms
93Solar Decide FlashAPI dostawcy—57,1%940,7 ms
94Krino-2B1 × RTX 4090 24 GB2B (rank-16 LoRA + pointer head over Qwen/Qwen3.5-2B-Base)55,2%27,3 ms
95Phi-4-mini-instruct (raw, letter logits)Pomiar kontrolny1 × H100 80 GB3.8B53,7%35,9 ms
96qev-0.8b1 × H100 80 GB0.8B (Qwen3.5-0.8B-Base)53,0%53,8 ms
97basal-1.0 · 1.5B1 × H100 80 GB1.5B52,7%14,6 ms
98Decision 2B (preview)1 × H100 80 GBBłędy wywołania w pełnym teście: 431 / 5 0002B49,2%48,7 ms
99Nemotron Diffusion 8B (Nemotron_Jev)1 × H100 80 GB8B48,7%38,6 ms
100Malkuth-2B1 × H100 80 GBBłędy wywołania w pełnym teście: 108 / 5 0002B48,2%73,2 ms
101jul fast (jul-decision-minicpm5-2b v2)1 × A40 48 GB2B (openbmb/MiniCPM5-2B + merged LoRA r16 + pointer head)47,6%604,5 ms
102Qwen3-Reranker-4B (as a decider)Pomiar kontrolny1 × H100 80 GB4B45,9%131,6 ms
103Open-Jev-2B1 × L40S 48 GBBłędy wywołania w pełnym teście: 428 / 5 0001.9B (Qwen3.5-2B + rank-8 LoRA + scalar decision head)44,8%727,1 ms
104Qwen3.5-0.8B Decision Model1 × L40S 48 GB0.8B (Qwen3.5-0.8B-Base full fine-tune)44,3%152,4 ms
105jevos-v5CPUBłędy wywołania w pełnym teście: 193 / 5 00017-layer decoder (jevos), OpenVINO INT8 weights (0.63 GB)39,8%1,4 s
106EXAONE-4.0-1.2B-JEV v0.3 (unofficial fine-tune)1 × A40 48 GB1.2B (LGAI-EXAONE/EXAONE-4.0-1.2B full fine-tune)38,0%75,8 ms
107kev 0.6B (research preview)1 × RTX 4090 24 GBBłędy wywołania w pełnym teście: 153 / 5 0000.6B (LoRA r=16 + pointer head over Qwen/Qwen3-0.6B-Base)36,4%53,2 ms
108Vega 0.8B1 × RTX 4090 24 GB0.8B frozen backbone (Qwen/Qwen3.5-0.8B) + 14.3M-parameter decision engine + two gated low-rank adapters35,7%46,7 ms
109Decision Fast 0.6B (preview)1 × A40 48 GBBłędy wywołania w pełnym teście: 451 / 5 0000.6B (606.7M: Qwen/Qwen3-0.6B-Base + LoRA adapter + structural rows + pointer head, 10.6M trained)34,9%403,2 ms
110Tacet Sonata1 × A40 48 GB144M (jhu-clsp/mmBERT-small encoder + 2-layer head)34,7%95,2 ms
111watt-flash-0.11 × RTX 4090 24 GBBłędy wywołania w pełnym teście: 105 / 5 000140M (mmBERT-small encoder + option-marker scorer)33,1%16,3 ms
112Phocinae-Largha-150M-v11 × A40 48 GB144.3M (jhu-clsp/mmBERT-small + decision head, fp16 weights)31,4%93,0 ms
113Liquid AI d1-omni-600M1 × RTX 4090 24 GBBłędy wywołania w pełnym teście: 34 / 5 000587M (381M trunk + decision head on LFM2.5-Encoder-350M; 94M vision and 112M audio encoders unused here)30,4%20,1 ms
114verdict-small1 × L40S 48 GB118M (intfloat/multilingual-e5-small bi-encoder, fine-tuned)30,4%31,4 ms
115openJev Verdict 1.41 × RTX 4090 24 GB151M (GLiClass ModernBERT-base)29,4%14,3 ms
116Certo v11 × H100 80 GB0.4B29,4%20,8 ms
117kev 0.5B1 × RTX 4090 24 GBBłędy wywołania w pełnym teście: 153 / 5 0000.5B (LoRA + pointer head over Qwen/Qwen2.5-0.5B)29,0%41,3 ms
118WaterSheep1 × L40S 48 GB0.15B (ModernBERT-base encoder + calibrated heads)28,2%41,3 ms

Dla porównania: duże modele przez API

Inny punkt kompromisu między trafnością a czasem odpowiedzi. † Oznacza udział modelu lub jego rodziny w budowie albo sprawdzaniu pytań; taki wynik nie stanowi niezależnego porównania.

Polish items only · modele ogólne przez API
ModelTrafność PL ↑Mediana czasu ↓
Gemini 3.8 Flash99,6%3,3 s
GPT-6.1 Sol99,2%2,2 s
Claude Opus 5.5 †99,2%5,5 s
GPT-6 Astra †99,2%2,0 s
Gemini 3.1 Pro (preview) †97,9%5,5 s
GPT-6 Luna97,8%2,4 s

Źródło: polskie pytania pełnego testu, eksport Werdyktu z 22 października 2026. Nox zmierzono na H100 NVL 94 GB, systemy oznaczone „RTX PRO 6000 Blackwell” na tej karcie, pozostałe otwarte modele na H100 80 GB. Różnice poniżej około 2 punktów procentowych w polskim wyniku ogólnym należy interpretować ostrożnie.

03 / POLISH, CATEGORY BY CATEGORY

Jedna średnia nie mówi wszystkiego.

Porównaj 118 systemów w 10 rodzajach decyzji. Każda polska kategoria liczy około 250 pytań. Kolor pomaga odczytać wynik, a każda komórka zawiera dokładną wartość.

Przewiń tabelę poziomo, aby zobaczyć wszystkie modele. Wyniki tylko dla języka polskiego.

Polish, category by category · trafność
KategoriaRespan Span-02 · endpoint z rozumowaniemmammoth-1basal-omni-1.0-ultraLiquid d1-ultraDREX Max (OpenRouter Decisions API)pplx-decider-v1.1-27b (Decisions API)René-1 31B FP8Respan Span-02 · 750 msMercury Decide (OpenRouter Decisions API)deck-31Bdecisio v0.8.0 on gemma-4-31B-itDecider chat · Gemma-4-31Bbasal-omni-1.0-maxJev 1.14Jebadiah 27BJev 1.13.0Eikos-27B-FP8 (v1.3)basal-omni-1.1-maxpplx-decider-v1-27bClef (OpenRouter Decisions API)elephant-1Surogate Rune 26B-A4B v3Respan Span-02 · 300 msLiquid d1Bobcat Flash 1.2simple-jev · Qwen3.8-27B (featherless)Reflex 27B (Decision Index 0.2 build)Xor 26B-A4B 1.0Respan Span-02 · bez rozumowaniaGPT-6 Luna Decisionsdecider-12b v2Microsoft-Decision-1 (OpenRouter Decisions API)Cygnetbasal-2.0-maxWinnow-12B (Q8)Solar DecideJEVfire (Qwen3.8-27B-FP8)basal-1.5-maxbasal-omni-1.0-miniXor 1.2decider-12b v1Decider chat · Qwen3.6-27BChon-1.0-12B (one pass, --no-think)Jev-OmniH2O-Lightning-4B v1.1JPT-9BDecision 1.0 Lux 9BDREX v1.5 (OpenRouter Decisions API)basal-2.0basal-1.5MedDecider-9BDecision-2.0-Nox-4BHopper (G) 1.2decider-35b-a3b NVFP4djevClef Flash (OpenRouter Decisions API)JPT-4BClef-Flashsonda-1.0-4BDecision 4B v1.2decider-4b v2Qwen3-32B, zero-shot (jqv)HopperClef Omni (OpenRouter Decisions API)Plumb-4Bspark-s1-4b-v6Decision 4B v1.1MedDecider-4BJevK5 v0.3Tev1 4B ExperimentalKev 1.0 (kev-4b)Jet v6.2Imajev-4BJevK5 v0.2 (4B)basal-1.0 · 4.5BKev 4B (OpenRouter Decisions API)basal-omni-picosonda-1.1-4Bbasal-2.0-minilocal-jev (Qwen3.5-4B)typecastlm v1.3.0 (Qwen3.5 3.8B)Malkuth-4BManchego v2.1basal-1.5-minilevjev-local (Qwen3.5-9B, HF scorer)Qwen3-4B-Instruct-2507 (raw, letter logits)metask-jev-4bopen-alternative-jev (so1, Qwen3.5-4B)decider-2b (v11)JEV-Qwen3.5-9B-Base-NVFP4SemIfSolar Decide FlashKrino-2BPhi-4-mini-instruct (raw, letter logits)qev-0.8bbasal-1.0 · 1.5BDecision 2B (preview)Nemotron Diffusion 8B (Nemotron_Jev)Malkuth-2Bjul fast (jul-decision-minicpm5-2b v2)Qwen3-Reranker-4B (as a decider)Open-Jev-2BQwen3.5-0.8B Decision Modeljevos-v5EXAONE-4.0-1.2B-JEV v0.3 (unofficial fine-tune)kev 0.6B (research preview)Vega 0.8BDecision Fast 0.6B (preview)Tacet Sonatawatt-flash-0.1Phocinae-Largha-150M-v1Liquid AI d1-omni-600Mverdict-smallopenJev Verdict 1.4Certo v1kev 0.5BWaterSheep
Brak wystarczających danychabstain85,6%89,6%86,0%93,2%92,0%78,8%76,0%86,0%84,4%80,0%80,4%78,0%80,8%78,0%83,6%73,2%84,8%81,2%88,8%82,4%79,6%76,8%76,4%79,2%72,8%78,8%81,2%75,2%73,2%80,0%70,8%73,6%70,4%80,0%70,8%79,6%72,0%73,6%74,8%66,0%70,4%69,6%67,6%68,0%69,2%67,2%64,8%75,2%69,6%70,0%56,4%63,2%59,2%56,4%57,2%58,8%61,6%59,2%60,0%69,6%60,8%61,6%57,2%64,4%63,6%60,0%69,2%53,6%57,6%57,6%59,6%51,2%74,0%57,6%59,2%59,2%50,8%50,4%54,8%53,2%48,4%49,6%44,8%52,0%51,6%52,0%51,2%54,0%51,2%48,0%51,2%51,6%50,8%48,0%45,2%41,6%41,6%42,0%34,8%36,4%40,8%28,8%35,6%38,0%32,8%21,6%22,0%22,8%21,6%24,0%25,2%24,4%24,8%20,4%20,0%21,2%20,4%19,6%
Następny krok agentaaction86,8%92,8%92,0%94,0%88,8%91,2%90,8%85,6%86,8%88,0%88,0%86,0%83,2%81,6%82,0%83,6%79,6%84,0%82,8%79,2%81,6%85,2%84,0%82,8%81,6%74,8%76,4%83,2%83,6%79,6%81,6%78,4%83,6%72,0%82,4%84,4%74,4%72,8%76,4%72,4%79,6%75,6%75,6%76,4%73,6%65,2%67,6%69,6%68,8%62,4%72,4%70,0%65,6%67,2%70,8%67,2%67,6%66,4%68,4%61,2%66,0%67,2%64,8%70,8%60,4%60,4%61,2%66,8%61,6%63,2%65,6%65,6%64,0%60,0%62,8%64,8%62,0%57,2%50,4%60,8%52,4%61,6%59,6%42,0%60,4%60,0%55,6%64,8%52,0%51,6%50,8%58,4%45,6%46,8%46,4%46,0%45,6%45,6%40,8%43,6%38,4%43,6%36,0%29,6%35,6%22,8%25,2%27,6%26,8%22,0%22,0%21,6%20,0%26,0%22,8%19,2%17,6%20,0%
Umowycontract89,6%80,4%83,6%78,8%83,2%77,6%80,8%78,0%77,2%78,8%80,4%77,6%78,4%73,6%73,6%76,0%76,8%77,2%76,4%74,4%74,8%76,0%74,0%72,0%73,6%73,2%72,0%73,2%72,8%73,2%73,2%72,8%75,2%70,8%71,6%64,8%73,6%69,6%66,0%72,8%70,8%71,2%74,8%69,6%66,8%65,6%68,4%62,4%65,2%64,8%63,6%65,6%66,4%63,2%68,0%64,4%62,0%64,8%64,4%60,4%57,6%62,8%62,8%61,6%62,8%64,8%58,8%64,8%63,2%63,2%59,6%57,2%62,8%60,8%59,2%60,0%53,2%56,4%50,4%58,8%58,0%57,6%59,2%54,8%54,0%60,4%54,4%59,2%50,0%50,0%50,4%56,8%51,2%46,8%49,6%48,0%48,4%48,0%51,2%43,6%38,8%41,2%42,4%46,8%42,0%38,0%34,8%38,8%37,2%40,4%35,6%30,4%36,0%30,8%26,0%32,8%26,4%28,4%
Ocena odpowiedzijudge91,2%94,8%93,2%92,8%92,0%94,0%92,0%88,0%93,2%91,2%91,6%90,8%90,4%89,2%90,8%92,0%89,2%88,8%91,2%86,4%88,8%86,8%85,2%82,4%86,4%86,8%86,0%87,2%83,6%82,0%88,8%87,2%89,2%84,8%88,8%74,0%83,2%85,6%85,6%85,2%87,6%83,2%85,2%84,4%76,8%80,8%79,6%72,4%81,6%80,0%70,8%67,2%69,2%68,4%83,6%70,0%75,2%70,0%71,6%69,6%66,4%75,2%68,0%68,0%71,6%69,6%70,8%61,2%66,8%60,8%62,0%63,6%68,8%67,2%59,2%61,6%74,4%57,2%72,4%57,2%62,0%57,2%68,4%69,2%55,2%70,4%62,8%64,0%54,0%56,8%57,2%55,2%60,0%48,0%52,4%47,2%44,8%57,6%50,4%45,2%49,2%50,0%45,6%44,4%46,8%39,6%44,4%38,8%40,4%43,2%49,2%48,4%45,2%37,2%48,4%44,4%40,0%40,4%
Długie dokumentylong78,4%86,4%88,0%81,6%79,2%76,4%78,4%69,6%80,8%70,4%69,6%66,4%74,8%75,6%73,6%74,4%70,8%74,0%56,0%76,0%69,2%73,6%68,4%77,2%69,2%70,8%66,8%67,2%68,8%68,0%68,0%72,0%66,8%71,2%66,8%65,2%66,0%69,6%70,4%66,8%62,4%60,4%63,2%66,8%65,2%65,2%64,0%68,4%62,0%61,2%66,0%60,0%62,8%66,8%35,6%63,6%55,6%63,2%46,4%56,0%64,0%50,8%61,6%63,2%56,8%54,4%54,8%59,6%55,6%59,6%57,2%57,2%8,0%54,4%58,8%46,0%61,6%58,0%52,4%50,8%50,4%46,0%43,6%55,6%57,2%7,6%51,6%6,4%48,8%55,2%46,4%6,8%50,0%47,2%46,8%52,0%46,8%0,0%34,8%38,0%32,8%38,4%7,2%44,4%14,8%32,8%19,6%29,6%0,0%22,4%19,6%26,4%19,6%29,2%24,8%26,4%16,0%23,2%
Rzeczywiste dokumentyrealdoc97,6%98,0%98,8%98,4%100,0%99,2%97,2%98,4%99,2%98,8%98,8%98,4%98,0%99,6%97,6%99,2%98,8%97,6%99,2%98,4%98,8%98,0%98,4%97,2%98,4%100,0%98,8%97,6%98,0%98,0%97,2%97,2%95,2%97,2%94,8%94,8%97,6%97,6%93,6%97,2%94,8%97,6%93,6%96,0%93,6%96,4%94,4%93,6%91,6%94,0%97,6%92,0%92,0%92,8%90,8%94,0%93,2%94,0%92,8%89,2%94,8%94,4%91,6%90,8%93,6%88,8%88,8%93,2%93,6%91,2%89,2%93,6%93,2%90,8%88,4%89,6%84,0%88,4%84,8%84,8%84,8%89,2%79,6%83,2%88,8%92,0%84,8%84,0%87,6%82,4%84,0%86,4%83,6%76,4%82,8%79,2%74,8%72,8%78,0%78,8%62,4%64,4%74,4%72,0%65,6%66,0%57,6%51,2%57,6%48,4%51,2%27,6%34,8%40,0%27,6%34,8%41,6%29,6%
Wyszukiwanie i RAGretrieval99,2%99,2%100,0%100,0%99,6%100,0%99,2%98,0%98,8%99,2%99,2%99,6%96,4%98,8%98,0%98,8%99,6%94,4%99,6%96,0%97,6%97,6%98,8%98,4%99,2%100,0%99,6%98,8%98,8%97,2%98,4%97,2%98,0%97,6%97,6%80,4%99,6%98,0%96,4%98,4%98,0%98,0%95,6%96,0%97,2%94,0%94,4%94,0%93,6%97,2%94,0%94,0%94,4%91,2%98,0%92,4%92,4%92,4%94,0%95,6%92,8%90,8%95,6%90,8%94,4%94,0%94,8%93,2%95,2%92,0%86,0%92,4%92,4%89,6%91,6%85,6%87,6%89,2%83,2%82,4%92,0%83,2%79,6%90,0%82,4%86,0%82,4%90,0%79,6%74,8%71,6%83,6%68,4%77,6%68,8%68,8%71,2%73,2%52,0%62,4%73,6%56,8%65,6%48,0%43,2%46,0%44,0%49,2%51,6%45,6%52,4%41,2%50,0%45,6%45,6%52,0%44,0%43,6%
Kierowanie zgłoszeńrouting97,2%97,6%99,6%98,8%98,4%98,4%99,2%97,6%97,2%99,2%98,4%98,4%98,4%98,8%100,0%98,8%99,2%98,0%99,2%98,8%98,0%97,6%96,4%97,2%98,0%99,2%100,0%96,8%96,8%95,6%97,6%97,2%96,4%96,8%97,6%92,8%98,8%99,2%96,8%98,4%96,4%98,8%97,6%92,8%94,4%96,0%96,8%93,6%92,8%94,0%94,4%96,8%95,6%92,4%93,6%93,6%93,6%93,6%96,0%93,2%94,0%93,2%96,8%92,4%93,6%93,6%92,0%94,4%92,8%95,2%91,2%92,0%94,8%93,2%89,2%91,2%90,0%90,4%88,0%90,0%90,0%89,2%90,0%86,8%81,6%91,6%87,6%89,6%86,0%82,4%82,0%89,2%83,2%83,2%75,6%75,6%75,6%76,8%78,4%70,0%72,8%68,8%71,6%61,2%52,8%49,6%53,6%47,2%54,0%47,6%33,2%39,2%24,4%30,0%26,8%18,0%29,6%27,2%
Reguły i terminyrules81,2%58,4%52,4%56,8%53,2%49,2%52,4%61,6%42,0%47,2%44,0%45,6%41,6%46,4%40,8%44,0%38,4%42,8%43,6%41,6%42,8%40,0%45,2%40,0%42,4%37,2%38,8%39,2%40,4%40,8%38,4%37,2%38,4%39,2%35,2%70,4%39,2%34,0%37,6%38,8%34,0%36,8%35,2%38,4%36,8%37,6%34,8%35,2%34,4%34,8%36,8%31,6%36,0%31,6%34,8%30,8%32,4%30,4%34,4%35,6%32,8%30,8%32,0%27,2%28,4%34,0%29,2%33,6%28,8%31,2%34,0%29,2%36,8%28,4%34,4%34,4%32,0%32,4%34,8%28,0%24,8%26,4%34,0%32,4%29,2%31,6%23,6%32,0%27,2%29,6%26,8%26,4%24,4%26,8%25,2%24,4%29,2%25,2%22,4%20,8%28,8%26,0%23,2%24,4%26,8%26,8%29,2%22,8%24,8%23,2%19,6%25,2%26,0%22,0%27,6%25,2%26,4%22,8%
Ocena na skaliscore91,2%86,8%87,6%84,4%85,6%85,6%84,0%85,6%85,2%81,6%83,2%84,0%82,4%82,4%83,2%80,4%82,0%80,8%81,6%79,6%80,8%77,2%79,2%78,8%78,8%79,2%75,6%76,4%78,0%78,0%77,2%77,6%77,2%77,2%80,0%78,8%74,0%76,8%77,2%74,8%74,8%77,2%77,6%74,8%71,6%73,2%73,6%71,6%69,2%66,0%68,8%68,8%65,6%72,0%69,2%66,4%67,6%66,8%71,2%68,0%67,6%68,4%63,6%62,0%64,0%68,8%68,0%64,0%67,6%66,4%67,2%65,6%70,8%62,0%59,2%67,6%64,4%59,6%56,4%58,8%60,8%62,4%63,2%53,2%56,4%64,0%60,0%62,8%55,2%49,6%57,2%60,8%54,0%51,6%44,0%47,2%49,2%51,2%44,4%42,8%38,0%41,2%46,4%34,4%37,6%37,2%34,0%29,2%34,8%30,4%23,2%29,2%23,6%22,8%24,4%20,0%27,6%27,2%
Wszystkie polskie pytania89,8%88,4%88,1%87,9%87,2%85,0%85,0%84,8%84,5%83,4%83,4%82,5%82,4%82,4%82,3%82,0%81,9%81,9%81,8%81,3%81,2%80,9%80,6%80,5%80,0%80,0%79,5%79,5%79,4%79,2%79,1%79,0%79,0%78,7%78,6%78,5%77,8%77,7%77,5%77,1%76,9%76,8%76,6%76,3%74,5%74,1%73,8%73,6%72,9%72,4%72,1%70,9%70,7%70,2%70,2%70,1%70,1%70,1%69,9%69,8%69,7%69,5%69,4%69,1%68,9%68,8%68,8%68,4%68,3%68,0%67,2%66,8%66,6%66,4%66,2%66,0%66,0%63,9%62,8%62,5%62,4%62,2%62,2%61,9%61,7%61,6%61,4%60,7%59,2%58,0%57,8%57,5%57,1%55,2%53,7%53,0%52,7%49,2%48,7%48,2%47,6%45,9%44,8%44,3%39,8%38,0%36,4%35,7%34,9%34,7%33,1%31,4%30,4%30,4%29,4%29,4%29,0%28,2%

Przy około 250 pytaniach na kategorię różnice poniżej około 6 punktów procentowych mogą być szumem. To orientacyjna uwaga, nie test istotności każdej pary. Źródło: polskie kategorie z eksportu Werdyktu z 22 października 2026. Qwen3-4B-Instruct-2507, Phi-4-mini-instruct oraz Qwen3-Reranker-4B to pomiary kontrolne.

abstain

Brak wystarczających danych

Wybór odpowiedzi lub stwierdzenie, że nie da się jej ustalić.

action

Następny krok agenta

Działanie zgodne z podaną polityką i stanem procesu.

contract

Umowy

Interpretacja zapisów oraz decyzje na podstawie warunków umowy.

judge

Ocena odpowiedzi

Poprawność odpowiedzi i porównywanie dwóch propozycji.

long

Długie dokumenty

Decyzje na podstawie dokumentów o długości 3–10 tys. tokenów.

realdoc

Rzeczywiste dokumenty

Pytania o treść autentycznych dokumentów urzędowych.

retrieval

Wyszukiwanie i RAG

Trafność fragmentu, wystarczalność kontekstu i oparcie twierdzenia w źródle.

routing

Kierowanie zgłoszeń

Wybór kolejki, intencji i priorytetu według podanych zasad.

rules

Reguły i terminy

Stosowanie reguł, terminów i warunków dotyczących kwot.

score

Ocena na skali

Wybór poziomu zgodnego z opisem skali.

04 / OD BASAL-1.0 DO BASAL-2.0

Postęp na polskich zadaniach.

basal-1.0 → basal-1.5

Tabela historyczna z raportu wydania basal-1.5 (3.10.2026). Trzy oddzielne testy polskie, niezależne od tabeli Werdyktu. Najmocniejszy sygnał: 93,1% wobec 87,4% na 3 000 nowych decyzji utworzonych po zamrożeniu wag.

Rodzina basal · trafność na polskich zbiorach testowych · raport z 3.10.2026 (historyczny)
Testbasal-1.0 · 4.5Bbasal-1.5 · 4.5Bbasal-1.5-max · 11Bbasal-1.0 · 1.5Bbasal-1.5-mini · 1.5B
Zamknięty test polski3 000 nowych decyzji; po zamrożeniu wag87,4%93,1%93,3%88,9%91,0%
Polskie decyzje7 081 przypadków88,6%92,3%94,0%85,1%87,7%
Wiedza ogólna po polsku3 079 przypadków73,7%74,1%79,4%65,6%66,7%
JAK CZYTAĆ TE WYNIKI

Specjalizacja w decyzjach, z mierzalnym postępem.

Główny model zyskuje 5,7 punktu procentowego na zamkniętym teście polskim (95% przedział różnicy: +4,5 do +6,8 pkt). Max ma zbliżony wynik w tym teście i przewagę w wiedzy ogólnej. Poprawa wiedzy ogólnej dla głównego modelu i mini nie jest statystycznie istotna.

basal-1.5 → basal-2.0

W Werdykcie basal-2.0 zyskuje od 0,7 do 1,2 punktu procentowego, w granicach przedziałów ufności, a błąd kalibracji (ECE) spada: mini 0,086 → 0,035, 4.5B 0,068 → 0,060, max 0,074 → 0,044 (basal-1.5 jak w głównej tabeli: 4.5B i max przez SGLang, mini w trybie fast). Poniżej sześć osobnych testów. Obie generacje obsłużył ten sam silnik basal v2.0.0 na tych samych pytaniach, więc różnica jest sparowana, z 95% przedziałem bootstrap. Poprawę lub spadek wskazujemy tylko wtedy, gdy przedział nie obejmuje zera.

basal-1.5 → basal-2.0 · trafność i sparowana różnica [95% przedział, punkty procentowe]
TestRozmiarbasal-1.5basal-2.0Różnica [95%]
PL-Holdoutzamknięty test polski; 4 000 decyzji, rodziny zadań wyłączone z treningumini · 1.5B83,7%82,9%−0,8 pp [−1,6; 0,0] · bez istotnej zmiany
4.5B85,0%85,6%+0,5 pp [−0,2; +1,3] · bez istotnej zmiany
max · 11B86,8%86,2%−0,6 pp [−1,6; +0,4] · bez istotnej zmiany
Polskie decyzje7 081 przypadkówmini · 1.5B88,0%86,7%−1,4 pp [−2,0; −0,8] · spadek
4.5B92,2%92,4%+0,1 pp [−0,4; +0,7] · bez istotnej zmiany
max · 11B94,0%93,8%−0,2 pp [−0,8; +0,4] · bez istotnej zmiany
Wiedza ogólna po polsku3 079 przypadkówmini · 1.5B67,1%69,3%+2,2 pp [+1,0; +3,4] · poprawa
4.5B74,6%76,2%+1,6 pp [+0,4; +2,8] · poprawa
max · 11B79,7%81,1%+1,4 pp [+0,3; +2,5] · poprawa
Rzeczywiste polskie dokumenty158 pytań o dokumenty spoza danych treningowychmini · 1.5B91,8%91,8%0,0 pp [−3,8; +3,8] · bez istotnej zmiany
4.5B94,9%94,9%0,0 pp [−3,2; +3,2] · bez istotnej zmiany
max · 11B96,2%97,5%+1,3 pp [−1,3; +3,8] · bez istotnej zmiany
Angielski zbiór testowy1 479 przypadkówmini · 1.5B59,4%60,5%+1,1 pp [−0,7; +2,9] · bez istotnej zmiany
4.5B64,3%64,4%+0,1 pp [−1,7; +1,9] · bez istotnej zmiany
max · 11B66,1%67,3%+1,1 pp [−0,6; +3,1] · bez istotnej zmiany
Panel angielski10 zadań; różnica i przedział na poziomie pytańmini · 1.5B58,2%56,1%−1,5 pp [−2,9; 0,0] · spadek
4.5B68,8%65,2%−3,6 pp [−5,3; −2,0] · spadek
max · 11B73,7%71,9%−2,5 pp [−4,0; −1,0] · spadek
JAK CZYTAĆ TE WYNIKI

Lepsza kalibracja i wiedza ogólna. Nie każdy test idzie w górę.

Wszystkie trzy rozmiary zyskują w wiedzy ogólnej po polsku (+1,4 do +2,2 pkt). Na panelu angielskim wszystkie tracą (−1,5 do −3,6 pkt), a mini traci 1,4 pkt na polskich decyzjach. Pozostałe różnice mieszczą się w przedziałach niepewności. Przed zmianą wersji w działającym procesie sprawdź model na własnych danych.

05 / PEWNOŚĆ DECYZJI · 22.10.2026

Ile decyzji można zautomatyzować?

Pobierz analizę JSON

Model wybiera odpowiedź i podaje jej prawdopodobieństwo. Ustalasz próg: decyzje o wyższej pewności przyjmujesz automatycznie, pozostałe kierujesz do człowieka. Sprawdzamy, jak dużo pracy przechodzi przez taki próg — i jaki błąd pozostaje wśród przyjętych decyzji.

  1. 01 Model wybiera odpowiedź
  2. 02 Sprawdzasz jej pewność
  3. 03 Automatyzacja lub człowiek
BASAL-2.0 · CEL BŁĘDU: 5%65,6%

decyzji przyjętych automatycznie

basal-2.0-max · zmierzony błąd: 4,51%

BASAL-OMNI · CEL BŁĘDU: 5%75,5%

decyzji przyjętych automatycznie

basal-omni-1.0-max · zmierzony błąd: 5,02%

PEWNOŚĆ A TRAFNOŚĆ87,7% → 82,3%

deklaracja modelu a wynik testu

basal-omni-1.0-max jest średnio zbyt pewny odpowiedzi. Wartość progu trzeba sprawdzić na danych własnego procesu.

Cel nie jest gwarancją. Próg dobrano na jednej połowie pytań, a odsetek automatyzacji i błąd zmierzono na drugiej. Dla celu 1% basal-2.0-max uzyskał błąd 1,34%, a basal-omni-1.0-max — 1,45%. Analiza obejmuje 116 systemów z aktualnego eksportu Werdyktu z 22 października 2026, w tym trzy modele basal-2.0 i dwa basal-omni. To 5 000 pytań tekstowych PL+EN. Wyniki nie określają kalibracji obrazów ani dźwięku.

Dla modelu głównego basal-2.0 próg dobrany do celu 5% przyjmuje 51,3% decyzji, przy zmierzonym błędzie 5,08%. Na wykresach domyślnie pokazujemy całą nową rodzinę i Jev; pozostałe systemy możesz włączyć poniżej.

Interaktywne wykresy wymagają JavaScript i pobrania danych. Pełne wyniki są dostępne w tabeli poniżej oraz w pliku JSON.

Porównanie 116 systemów

W kolumnach celów: automatycznie przyjęte decyzje, zmierzony błąd i zastosowany próg. Mniejszy ECE, Brier i AURC oznacza lepszy wynik.

116 systemów · domyślna kolejność według automatyzacji dla celu 5% · tabela przewija się poziomo.

Werdykt v1 · tekst PL+EN · eksport z 22 października 2026 · te same przebiegi co w głównym rankingu
System / parametryTrafność ↑Średnia
pewność
ECE ↓Brier ↓AURC ↓Cel błędu: 1%
Automatyzacja ↑
Cel błędu: 5%
Automatyzacja ↑
Liquid d1-ultranie podano · APIAPI 88,10%87,40%0,0180,1570,016 72,72%Błąd: 1,25%Próg: 0,8753 88,08%Błąd: 5,47%Próg: 0,5685
mammoth-127B · otwarte wagiSerwer modelu 88,24%90,66%0,0250,1630,018 74,26%Błąd: 1,97%Próg: 0,9249 87,76%Błąd: 5,67%Próg: 0,6772
basal-omni-1.0-ultra31B · otwarte wagibasal-serve · eager 87,92%91,74%0,0380,1690,018 72,01%Błąd: 1,37%Próg: 0,9479 87,72%Błąd: 6,44%Próg: 0,7299
DREX Max (OpenRouter Decisions API)nie podano · APIAPI 87,26%93,55%0,0630,1920,023 65,06%Błąd: 1,21%Próg: 0,9913 83,42%Błąd: 4,78%Próg: 0,8746
René-1 31B FP831B · otwarte wagiSerwer modelu 85,36%86,95%0,0170,1950,025 65,77%Błąd: 1,38%Próg: 0,9300 81,52%Błąd: 5,23%Próg: 0,6900
pplx-decider-v1.1-27b (Decisions API)27B · APIAPI 85,18%90,80%0,0570,2070,024 61,19%Błąd: 1,03%Próg: 0,9922 81,25%Błąd: 4,47%Próg: 0,8117
Mercury Decide (OpenRouter Decisions API)nie podano · APIAPI 84,48%92,94%0,0850,2330,029 57,95%Błąd: 1,23%Próg: 0,9979 80,06%Błąd: 4,93%Próg: 0,9442
pplx-decider-v1-27b27B · otwarte wagiSerwer modelu 81,80%80,02%0,0430,2480,030 60,56%Błąd: 1,30%Próg: 0,8605 78,80%Błąd: 4,86%Próg: 0,5460
decisio v0.8.0 on gemma-4-31B-it31B · otwarte wagiSerwer modelu 83,48%89,78%0,0630,2370,035 9,63%Błąd: 0,82%Próg: 0,9955 76,94%Błąd: 4,46%Próg: 0,8787
deck-31B31B · otwarte wagiSerwer modelu 83,54%94,11%0,1060,2590,035 45,08%Błąd: 1,40%Próg: 0,9966 76,63%Błąd: 4,33%Próg: 0,9656
Jebadiah 27B27B · otwarte wagiSerwer modelu 81,96%73,60%0,0930,2420,033 52,23%Błąd: 1,13%Próg: 0,7978 76,35%Błąd: 4,40%Próg: 0,5573
basal-omni-1.0-max12B · otwarte wagibasal-serve · eager 82,28%87,71%0,0540,2410,036 60,09%Błąd: 1,45%Próg: 0,9665 75,52%Błąd: 5,02%Próg: 0,8161
Jev 1.14nie podano · APIAPI 82,16%82,85%0,0190,2250,033 61,07%Błąd: 1,36%Próg: 0,9000 74,97%Błąd: 4,16%Próg: 0,6800
Surogate Rune 26B-A4B v326B-A4B · otwarte wagisurogate · C++ 81,68%82,09%0,0240,2400,038 50,93%Błąd: 1,40%Próg: 0,9266 73,31%Błąd: 5,12%Próg: 0,7146
Jev 1.13.0— · APIAPI 81,64%82,92%0,0160,2350,036 49,39%Błąd: 1,04%Próg: 0,9700 72,84%Błąd: 4,07%Próg: 0,7200
basal-omni-1.1-max12B · otwarte wagibasal-serve 2.1 · eager 82,06%87,20%0,0510,2450,037 57,68%Błąd: 1,23%Próg: 0,9672 72,60%Błąd: 4,40%Próg: 0,8432
Eikos-27B-FP8 (v1.3)27B · otwarte wagiSerwer modelu 82,12%84,11%0,0600,2460,037 51,72%Błąd: 1,30%Próg: 0,9132 72,40%Błąd: 4,80%Próg: 0,7902
elephant-19B · otwarte wagiSerwer modelu 81,98%85,74%0,0380,2430,038 45,44%Błąd: 0,96%Próg: 0,9747 72,36%Błąd: 4,80%Próg: 0,7923
Respan Span-02 · endpoint z rozumowaniem26B MoE (4B active) · otwarte wagiendpoint Respan · rozumowanie dostawcy 89,52%90,48%0,0660,1910,031 45,16%Błąd: 1,66%Próg: 0,9908 72,17%Błąd: 5,31%Próg: 0,9098
Decider chat · Gemma-4-31B31B · otwarte wagiSerwer modelu 82,46%75,83%0,0930,2480,041 15,16%Błąd: 0,52%Próg: 0,9271 71,97%Błąd: 4,22%Próg: 0,7118
Bobcat Flash 1.226B-A4B · otwarte wagiSerwer modelu 80,22%88,02%0,0780,2730,042 46,90%Błąd: 0,93%Próg: 0,9930 71,46%Błąd: 5,41%Próg: 0,8676
Respan Span-02 · 300 ms26B MoE (4B active) · otwarte wagisilnik Respan · budżet 300 ms 81,38%90,35%0,0900,2760,043 45,12%Błąd: 1,57%Próg: 0,9909 70,67%Błąd: 5,53%Próg: 0,9150
Respan Span-02 · 750 ms26B MoE (4B active) · otwarte wagisilnik Respan · budżet 750 ms (auto) 85,58%90,78%0,0660,2370,038 45,12%Błąd: 1,57%Próg: 0,9909 70,67%Błąd: 5,53%Próg: 0,9150
Respan Span-02 · bez rozumowania26B MoE (4B active) · otwarte wagisilnik Respan · bez rozumowania 80,24%89,34%0,0910,2790,044 45,12%Błąd: 1,57%Próg: 0,9909 70,67%Błąd: 5,53%Próg: 0,9150
simple-jev · Qwen3.8-27B (featherless)27B · otwarte wagiSerwer modelu 80,14%84,38%0,0430,2610,041 49,74%Błąd: 1,03%Próg: 0,9825 70,04%Błąd: 4,34%Próg: 0,7982
Winnow-12B (Q8)12B · otwarte wagiSerwer modelu 78,50%86,99%0,0850,2880,047 47,37%Błąd: 1,50%Próg: 0,9857 69,80%Błąd: 5,60%Próg: 0,9279
Clef (OpenRouter Decisions API)27B · APIAPI 80,76%85,42%0,0470,2620,045 19,23%Błąd: 0,21%Próg: 0,9843 68,30%Błąd: 3,99%Próg: 0,8580
Liquid d1— · APIAPI 80,78%86,01%0,0540,2620,044 29,41%Błąd: 0,40%Próg: 0,9973 67,82%Błąd: 3,84%Próg: 0,8797
Xor 26B-A4B 1.026B-A4B · otwarte wagiSerwer modelu 79,76%72,29%0,0860,2750,044 44,77%Błąd: 0,53%Próg: 0,8152 67,67%Błąd: 3,85%Próg: 0,6416
Reflex 27B (Decision Index 0.2 build)27B · otwarte wagiSerwer modelu 79,10%78,40%0,0300,2730,050 35,93%Błąd: 1,10%Próg: 0,9568 67,39%Błąd: 4,86%Próg: 0,7220
Chon-1.0-12B (one pass, --no-think)12B (LoRA r64 on gemma-4-12B-it) · otwarte wagiSerwer modelu 77,10%85,38%0,0830,3080,052 50,57%Błąd: 1,09%Próg: 0,9802 67,19%Błąd: 5,64%Próg: 0,8643
decider-12b v212B · otwarte wagiSerwer modelu 78,90%76,99%0,0390,2700,045 51,60%Błąd: 1,45%Próg: 0,8543 66,88%Błąd: 4,13%Próg: 0,7068
Cygnet12B · otwarte wagiSerwer modelu 78,52%81,42%0,0450,2830,049 45,83%Błąd: 1,21%Próg: 0,9330 66,25%Błąd: 4,59%Próg: 0,8015
basal-1.5-max11B · otwarte wagiSGLang 77,28%84,68%0,0740,3070,054 42,52%Błąd: 0,93%Próg: 0,9861 65,61%Błąd: 4,99%Próg: 0,8677
basal-2.0-max11B · otwarte wagibasal v2.0.0 · fast 78,40%82,57%0,0440,2860,053 35,33%Błąd: 1,34%Próg: 0,9714 65,61%Błąd: 4,51%Próg: 0,8146
GPT-6 Luna Decisions— · APIAPI 78,38%80,75%0,0250,2850,055 0,00%Błąd: —Próg: — 65,38%Błąd: 5,62%Próg: 0,7800
Microsoft-Decision-1 (OpenRouter Decisions API)nie podano · APIAPI 80,02%88,65%0,0870,2850,051 27,71%Błąd: 0,85%Próg: 0,9983 64,31%Błąd: 4,05%Próg: 0,9345
basal-omni-1.0-mini4B · otwarte wagibasal-serve · eager 76,88%86,37%0,0950,3190,059 39,01%Błąd: 1,52%Próg: 0,9900 63,76%Błąd: 4,46%Próg: 0,9016
decider-12b v112B · otwarte wagiSerwer modelu 77,10%75,86%0,0620,2960,054 47,14%Błąd: 1,42%Próg: 0,8607 63,60%Błąd: 4,28%Próg: 0,7391
JEVfire (Qwen3.8-27B-FP8)27B · otwarte wagiSerwer modelu 77,74%79,58%0,0240,2920,057 35,10%Błąd: 1,57%Próg: 0,9861 62,10%Błąd: 4,51%Próg: 0,8176
Xor 1.235B-A3B · otwarte wagiSerwer modelu 77,22%78,86%0,0290,2990,058 27,95%Błąd: 0,71%Próg: 0,9788 61,82%Błąd: 4,21%Próg: 0,7695
Jev-Omni12B · otwarte wagiSerwer modelu 75,34%84,03%0,0870,3330,062 37,66%Błąd: 0,52%Próg: 0,9936 60,76%Błąd: 4,16%Próg: 0,9234
H2O-Lightning-4B v1.14B · otwarte wagiSerwer modelu 75,30%76,97%0,0410,3190,068 26,41%Błąd: 0,75%Próg: 0,9479 57,17%Błąd: 4,01%Próg: 0,8326
Decider chat · Qwen3.6-27B27B · otwarte wagiSerwer modelu 76,86%73,16%0,0520,3070,063 25,90%Błąd: 0,76%Próg: 0,9109 56,81%Błąd: 4,17%Próg: 0,7596
JPT-9B9B · otwarte wagiSerwer modelu 75,18%80,08%0,0490,3250,067 25,78%Błąd: 0,46%Próg: 0,9761 55,39%Błąd: 3,71%Próg: 0,8787
djev26B (4B active) · otwarte wagiSerwer modelu 69,80%84,34%0,1050,4480,087 9,83%Błąd: 2,01%Próg: 0,9994 55,19%Błąd: 5,72%Próg: 0,9263
Solar Decide— · APIAPI 81,32%92,32%0,1100,2960,064 0,00%Błąd: —Próg: — 54,52%Błąd: 4,56%Próg: 0,9806
sonda-1.0-4B4B · otwarte wagivLLM 70,72%80,79%0,0840,4010,084 32,18%Błąd: 1,72%Próg: 0,9904 52,74%Błąd: 4,34%Próg: 0,9014
basal-2.04.5B · otwarte wagibasal v2.0.0 · fast 72,86%78,76%0,0600,3620,086 11,92%Błąd: 0,66%Próg: 0,9872 51,28%Błąd: 5,08%Próg: 0,8761
Imajev-4B4B · otwarte wagiSerwer modelu 68,16%76,60%0,0390,4760,097 6,24%Błąd: 0,00%Próg: 0,9931 50,41%Błąd: 4,62%Próg: 0,8078
basal-1.54.5B · otwarte wagiSGLang 72,12%78,91%0,0680,3710,088 22,46%Błąd: 1,23%Próg: 0,9926 50,14%Błąd: 5,04%Próg: 0,9164
Decision 1.0 Lux 9B9B · otwarte wagiSerwer modelu 74,94%77,00%0,0220,3310,077 13,26%Błąd: 0,60%Próg: 0,9828 48,68%Błąd: 4,62%Próg: 0,8681
Hopper (G) 1.24B · otwarte wagiSerwer modelu 71,10%75,58%0,0700,3740,089 23,96%Błąd: 1,15%Próg: 0,9379 48,56%Błąd: 3,82%Próg: 0,8699
MedDecider-9B9.7B · otwarte wagiSerwer modelu 73,28%71,52%0,0250,3410,080 29,21%Błąd: 0,81%Próg: 0,9268 47,81%Błąd: 4,54%Próg: 0,8154
decider-4b v24B · otwarte wagiSerwer modelu 70,00%73,31%0,0380,3750,095 25,23%Błąd: 1,10%Próg: 0,9565 46,55%Błąd: 4,24%Próg: 0,8476
JPT-4B4B · otwarte wagiSerwer modelu 71,14%78,36%0,0720,3760,093 2,01%Błąd: 0,00%Próg: 0,9968 44,61%Błąd: 3,45%Próg: 0,9254
DREX v1.5 (OpenRouter Decisions API)nie podano · APIAPI 74,88%86,19%0,1130,3630,084 0,00%Błąd: —Próg: — 44,49%Błąd: 4,17%Próg: 0,9838
Decision-2.0-Nox-4B4B (4.21B) · otwarte wagieager · H100 NVL 71,64%68,89%0,0320,3620,092 21,95%Błąd: 0,54%Próg: 0,9303 44,14%Błąd: 4,20%Próg: 0,8079
JevK5 v0.34B · otwarte wagiSerwer modelu 68,86%76,41%0,0750,4040,107 13,50%Błąd: 1,75%Próg: 0,9914 41,49%Błąd: 4,38%Próg: 0,9029
Clef Flash (OpenRouter Decisions API)9B · APIAPI 71,60%77,88%0,0630,3830,099 13,26%Błąd: 1,19%Próg: 0,9639 39,28%Błąd: 4,22%Próg: 0,9212
MedDecider-4B4.7B · otwarte wagiSerwer modelu 68,90%69,73%0,0200,3850,104 17,17%Błąd: 0,23%Próg: 0,9639 39,28%Błąd: 3,82%Próg: 0,8562
spark-s1-4b-v64B · otwarte wagiopen_spark_jev · HF 69,38%85,34%0,1600,4530,107 24,52%Błąd: 1,45%Próg: 0,9978 39,24%Błąd: 3,62%Próg: 0,9921
Clef-Flash9B · otwarte wagiSerwer modelu 71,58%77,87%0,0630,3830,099 10,74%Błąd: 0,37%Próg: 0,9675 39,01%Błąd: 4,25%Próg: 0,9222
jev-local (Qwen3.5-9B, HF scorer)9B · otwarte wagijevlocal · HF scorer 62,18%59,15%0,0900,5500,132 20,69%Błąd: 1,15%Próg: 0,8063 38,45%Błąd: 5,03%Próg: 0,6658
Tev1 4B Experimental4B · APIAPI 68,62%78,62%0,1000,4100,111 13,46%Błąd: 0,29%Próg: 0,9969 38,10%Błąd: 5,18%Próg: 0,9599
JevK5 v0.2 (4B)4B · otwarte wagijevk5-serve 66,72%72,92%0,0620,4160,120 10,07%Błąd: 0,39%Próg: 0,9883 37,47%Błąd: 4,85%Próg: 0,9004
Kev 4B (OpenRouter Decisions API)4B · APIAPI 67,44%65,75%0,0330,4260,115 21,08%Błąd: 1,50%Próg: 0,9119 37,19%Błąd: 4,03%Próg: 0,7992
Kev 1.0 (kev-4b)4B · otwarte wagikev.serve 68,36%65,35%0,0340,3970,114 21,67%Błąd: 1,46%Próg: 0,9100 36,72%Błąd: 4,09%Próg: 0,8048
Qwen3-32B, zero-shot (jqv)32B · otwarte wagiSerwer modelu 70,54%71,64%0,0390,3850,103 17,33%Błąd: 1,37%Próg: 0,9340 36,00%Błąd: 4,28%Próg: 0,8569
Decision 4B v1.24B · otwarte wagiSerwer modelu 70,16%70,05%0,0240,3860,103 9,51%Błąd: 0,41%Próg: 0,9738 35,61%Błąd: 3,66%Próg: 0,8698
Jet v6.24B · otwarte wagiSerwer modelu 67,34%82,17%0,1480,4720,127 15,44%Błąd: 1,79%Próg: 0,9640 35,37%Błąd: 5,92%Próg: 0,9384
Decision 4B v1.14B · otwarte wagiSerwer modelu 69,02%71,49%0,0250,3970,110 13,11%Błąd: 1,51%Próg: 0,9724 33,99%Błąd: 3,37%Próg: 0,9043
Plumb-4B4B · otwarte wagiSerwer modelu 69,04%78,96%0,0990,4230,116 1,74%Błąd: 0,00%Próg: 0,9969 33,87%Błąd: 3,73%Próg: 0,9339
basal-omni-pico0.8B · otwarte wagibasal · fast 65,96%79,82%0,1390,4750,140 0,00%Błąd: —Próg: — 33,87%Błąd: 6,29%Próg: 0,9574
Malkuth-4B4B · otwarte wagiSerwer modelu 63,36%69,92%0,0520,4740,143 16,27%Błąd: 1,46%Próg: 0,9664 32,49%Błąd: 5,59%Próg: 0,8939
basal-1.0 · 4.5B4.5B · otwarte wagibasal · fast 66,04%72,74%0,0700,4460,139 17,02%Błąd: 0,46%Próg: 0,9773 31,78%Błąd: 4,72%Próg: 0,9098
Hopper4B · otwarte wagiSerwer modelu 70,28%70,12%0,0590,3950,111 7,30%Błąd: 1,08%Próg: 0,9947 30,40%Błąd: 3,77%Próg: 0,9291
decider-35b-a3b NVFP435B-A3B · otwarte wagiSerwer modelu 70,38%74,35%0,0400,3850,109 5,96%Błąd: 1,32%Próg: 0,9973 30,20%Błąd: 4,58%Próg: 0,9369
sonda-1.1-4B4B · otwarte wagiSerwer modelu 64,02%76,14%0,1210,4680,142 14,45%Błąd: 1,91%Próg: 0,9869 30,16%Błąd: 5,24%Próg: 0,9544
Clef Omni (OpenRouter Decisions API)nie podano · APIAPI 70,14%77,36%0,0720,4030,115 3,71%Błąd: 1,06%Próg: 0,9744 26,02%Błąd: 4,86%Próg: 0,9208
basal-2.0-mini1.5B · otwarte wagibasal v2.0.0 · fast 61,84%64,25%0,0350,4770,165 15,16%Błąd: 1,82%Próg: 0,9138 25,42%Błąd: 5,12%Próg: 0,8566
SemIf4B · otwarte wagiSerwer modelu 58,80%73,51%0,0910,5880,166 4,97%Błąd: 0,79%Próg: 0,9989 24,83%Błąd: 5,56%Próg: 0,9715
local-jev (Qwen3.5-4B)4B · otwarte wagilocal-jev · HF 62,98%64,27%0,0200,4580,158 4,30%Błąd: 0,92%Próg: 0,9854 24,71%Błąd: 6,39%Próg: 0,8895
typecastlm v1.3.0 (Qwen3.5 3.8B)3.8B · otwarte wagitypecastlm · local 62,88%62,03%0,0670,4590,151 10,34%Błąd: 1,15%Próg: 0,8927 23,81%Błąd: 5,14%Próg: 0,8223
metask-jev-4b4B · otwarte wagiSerwer modelu 61,16%73,71%0,0660,5720,151 9,59%Błąd: 1,65%Próg: 0,9510 23,73%Błąd: 4,99%Próg: 0,9196
open-alternative-jev (so1, Qwen3.5-4B)4B · otwarte wagiso1 · HF + adapter HTTP 60,24%73,66%0,1340,5280,182 7,86%Błąd: 1,01%Próg: 0,9937 22,11%Błąd: 5,18%Próg: 0,9677
basal-1.5-mini1.5B · otwarte wagibasal · fast 60,66%69,26%0,0860,4980,174 11,92%Błąd: 1,66%Próg: 0,9846 21,87%Błąd: 4,33%Próg: 0,9554
Manchego v2.14B · otwarte wagiSerwer modelu 63,04%74,95%0,1190,5020,178 3,91%Błąd: 1,01%Próg: 0,9978 19,98%Błąd: 3,95%Próg: 0,9577
decider-2b (v11)2B · otwarte wagidecider-ai 1.8.1 58,66%70,99%0,1230,5380,204 9,79%Błąd: 3,23%Próg: 0,9881 17,02%Błąd: 5,57%Próg: 0,9649
Solar Decide Flash— · APIAPI 60,16%75,24%0,1510,5340,186 5,21%Błąd: 0,00%Próg: 0,9968 16,66%Błąd: 2,84%Próg: 0,9842
Decision 2B (preview)2B · otwarte wagimodel.decide + adapter HTTP 54,62%62,45%0,0300,6270,215 4,66%Błąd: 0,85%Próg: 0,9574 16,27%Błąd: 6,80%Próg: 0,8789
qev-0.8b0.8B (Qwen3.5-0.8B-Base) · otwarte wagiSerwer modelu 54,40%63,19%0,0880,5570,241 2,29%Błąd: 3,45%Próg: 0,9708 15,48%Błąd: 8,42%Próg: 0,8883
lev4B · otwarte wagiSerwer modelu 62,86%73,91%0,1110,4840,168 0,00%Błąd: —Próg: — 11,05%Błąd: 3,93%Próg: 0,9746
Nemotron Diffusion 8B (Nemotron_Jev)8B · otwarte wagiNemotron_Jev · vLLM 51,54%66,62%0,1510,6200,276 4,66%Błąd: 2,54%Próg: 0,9931 10,03%Błąd: 7,87%Próg: 0,9772
Krino-2B2B (rank-16 LoRA + pointer head over Qwen/Qwen3.5-2B-Base) · otwarte wagiSerwer modelu 56,62%61,48%0,0510,5480,246 0,00%Błąd: —Próg: — 9,59%Błąd: 4,12%Próg: 0,9296
basal-1.0 · 1.5B1.5B · otwarte wagibasal · fast 52,24%63,65%0,1140,6010,289 0,00%Błąd: —Próg: — 5,53%Błąd: 6,43%Próg: 0,9820
EXAONE-4.0-1.2B-JEV v0.3 (unofficial fine-tune)1.2B (LGAI-EXAONE/EXAONE-4.0-1.2B full fine-tune) · otwarte wagiSerwer modelu 45,88%57,51%0,1160,6510,344 0,00%Błąd: —Próg: — 3,32%Błąd: 2,38%Próg: 0,9837
jul fast (jul-decision-minicpm5-2b v2)2B (openbmb/MiniCPM5-2B + merged LoRA r16 + pointer head) · otwarte wagiSerwer modelu 50,86%52,32%0,0240,6010,318 0,00%Błąd: —Próg: — 2,84%Błąd: 5,56%Próg: 0,9018
Malkuth-2B2B · otwarte wagikev.serve 49,98%64,45%0,1340,6440,302 0,00%Błąd: —Próg: — 2,80%Błąd: 2,82%Próg: 0,9909
Certo v10.4B · otwarte wagicerto · adapter HTTP 28,26%29,71%0,0170,7300,616 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Decision Fast 0.6B (preview)0.6B (606.7M: Qwen/Qwen3-0.6B-Base + LoRA adapter + structural rows + pointer head, 10.6M trained) · otwarte wagiSerwer modelu 35,46%49,35%0,1040,8180,501 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
JEV-Qwen3.5-9B-Base-NVFP49B · otwarte wagiSGLang · NVFP4 + adapter HTTP 57,26%63,32%0,0610,5390,235 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Liquid AI d1-omni-600M587M (381M trunk + decision head on LFM2.5-Encoder-350M; 94M vision and 112M audio encoders unused here) · otwarte wagiSerwer modelu 33,34%46,87%0,1330,7680,582 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Open-Jev-2B1.9B (Qwen3.5-2B + rank-8 LoRA + scalar decision head) · otwarte wagiSerwer modelu 47,10%65,03%0,1350,7420,332 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Phocinae-Largha-150M-v1144.3M (jhu-clsp/mmBERT-small + decision head, fp16 weights) · otwarte wagiSerwer modelu 32,26%38,89%0,0660,7270,581 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Qwen3-Reranker-4B (as a decider)4B · otwarte wagiTransformers · adapter rerankera 47,20%33,67%0,1370,6690,414 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Qwen3.5-0.8B Decision Model0.8B (Qwen3.5-0.8B-Base full fine-tune) · otwarte wagiSerwer modelu 44,28%65,73%0,2140,7530,462 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Tacet Sonata144M (jhu-clsp/mmBERT-small encoder + 2-layer head) · otwarte wagiSerwer modelu 35,00%72,78%0,3780,9480,615 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
Vega 0.8B0.8B frozen backbone (Qwen/Qwen3.5-0.8B) + 14.3M-parameter decision engine + two gated low-rank adapters · otwarte wagiSerwer modelu 36,72%50,69%0,1400,7660,557 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
WaterSheep0.15B (ModernBERT-base encoder + calibrated heads) · otwarte wagiSerwer modelu 31,72%49,55%0,1780,7800,588 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
jevos-v517-layer decoder (jevos), OpenVINO INT8 weights (0.63 GB) · otwarte wagiSerwer modelu 43,96%61,96%0,1620,7490,405 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
kev 0.5B0.5B (LoRA + pointer head over Qwen/Qwen2.5-0.5B) · otwarte wagiSerwer modelu 30,02%58,47%0,2750,8980,614 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
kev 0.6B (research preview)0.6B (LoRA r=16 + pointer head over Qwen/Qwen3-0.6B-Base) · otwarte wagiSerwer modelu 37,52%65,00%0,2630,8510,504 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
openJev Verdict 1.4151M (GLiClass ModernBERT-base) · otwarte wagiSerwer modelu 30,60%46,43%0,1580,7920,654 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
verdict-small118M (intfloat/multilingual-e5-small bi-encoder, fine-tuned) · otwarte wagiSerwer modelu 30,06%43,22%0,1320,7730,618 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —
watt-flash-0.1140M (mmBERT-small encoder + option-marker scorer) · otwarte wagiSerwer modelu 34,76%49,51%0,1400,7740,544 0,00%Błąd: —Próg: — 0,00%Błąd: —Próg: —

Jak czytać cel 1% i 5%. Progi wybieramy na jednej połowie pytań, według stałego podziału opartego na skrócie identyfikatora. Następnie stosujemy je do drugiej połowy. „Automatyzacja” to odsetek przyjętych decyzji na tej drugiej części; „Błąd” to błędne odpowiedzi wśród przyjętych. Wynik może przekroczyć założony cel. Znak „—” oznacza brak wyznaczonego progu lub brak przyjętych decyzji, dla których można zmierzyć błąd.

Pewność i zakres porównania. Pewność to najwyższe prawdopodobieństwo odpowiedzi zwrócone przez system. Analiza obejmuje 116 systemów z blokiem kalibracji w aktualnym eksporcie Werdyktu. Pomijamy przebiegi bez takich danych, w tym GPT, Gemini i Claude, które zwracały w tym protokole wybraną odpowiedź bez porównywalnego rozkładu prawdopodobieństw.

ECE, Brier i AURC. ECE to średnia ważona bezwzględnej różnicy między pewnością a trafnością w 10 przedziałach równej szerokości. Brier mierzy błąd całego rozkładu prawdopodobieństw odpowiedzi (wariant wieloklasowy). AURC to pole pod krzywą błędu względem odsetka przyjętych decyzji — ocenia, czy pewność dobrze szereguje odpowiedzi od najbardziej do najmniej wiarygodnych.

Krzywe a pomiar progów. Krzywe kalibracji i trafności opisują cały zbiór. Na wykresie automatyzacji znaczniki 1% i 5% pokazują faktyczny odsetek i trafność z osobnej połowy testowej; nie muszą leżeć na linii całego zbioru. Nieudane wywołanie nigdy nie jest przyjmowane automatycznie i liczy się jako błąd w trafności całego testu. Przedziały kalibracji obejmują odpowiedzi z dostępnymi prawdopodobieństwami.

Warunki basal. Wyniki pochodzą z tych samych przebiegów co główny ranking: basal-2.0 korzysta z silnika fast, basal-omni z eager; BF16 i kalibracja włączona, odpowiedzi w trybie --deterministic. Historyczne modele pozostają punktami odniesienia, z silnikiem podanym przy nazwie. Wyznaczone tu progi są analizą Werdyktu, a nie gotowymi ustawieniami max_error dla dowolnego procesu. Publikujemy wyłącznie agregaty, bez pytań i dokumentów testowych.

WARUNKI POMIARÓW

Co dokładnie mierzy Werdykt?

Wynik dotyczy wyboru odpowiedzi z podanych opcji. Nie jest oceną całego produktu ani gwarancją poprawności w nowym procesie.

Ten sam problem, jedno wywołanie

Każdy system otrzymuje ten sam stan, pytanie i opcje. Modele czatowe dostają wspólny, ustalony prompt z odpowiedzią JSON; serwery decyzyjne — równoważne pola System One. Nieodczytana odpowiedź i wywołanie zakończone błędem liczą się jako błąd.

Trafność i niepewność

Główny wynik to średnia trafności z 20 grup: 10 kategorii × polski i angielski, po 250 pytań. Przedziały 95% wyznaczono przez bootstrap warstwowy: 1 000 losowań wewnątrz każdej grupy. Przedział w tabeli dotyczy wyłącznie wyniku PL + EN, także po zmianie filtra.

Czas, sprzęt i koszt

Mediana i p95: 200 wspólnych pytań, pojedyncze zapytania bez kolejki. Większość otwartych modeli działa na jednym H100 80 GB, Nox na H100 NVL 94 GB, a kilka systemów, oznaczonych w tabeli, na RTX PRO 6000 Blackwell 96 GB. Klient działa przy serwerze. Koszt H100 i H100 NVL wyliczamy przy 3,95 USD/h, Blackwell przy 2,09 USD/h. Czas API obejmuje sieć do dostawcy. Przepustowość dla modeli lokalnych mierzona przy 16 równoległych zapytaniach. Modelom API pozostawiono ustawienie rozumowania podane w tabeli; Jev korzysta ze swojego API.

basal zawsze stosuje kalibrację. basal-1.0 i basal-1.5 oceniają obie kolejności opcji, basal-2.0 jedną, domyślną dla swojego formatu zapytania. W tej tabeli basal-1.5 4.5B i max działają przez SGLang; ich mediany w trybie fast wyniosły odpowiednio 31,2 i 44,7 ms. basal-2.0 działa na silniku basal v2.0.0 w trybie fast.

Zamknięty zbiór i jawne przykłady

Ukrytych pytań nie publikujemy. Żadne pytanie, dokument ani fragment Werdyktu nie występuje w danych treningowych basal. Poniższe przykłady są osobnymi, syntetycznymi ilustracjami napisanymi na potrzeby tej strony. Nie zawierają fragmentów dokumentów źródłowych i nie służyły do wyliczenia rankingu. Przy kolejnej wersji benchmarku planowana jest wymiana około 30% każdej grupy oraz raportowanie wyników na zachowanej części.

PRZYKŁADY SYNTETYCZNE / 30 SCENARIUSZY

Jak wyglądają takie decyzje?

Po trzy fikcyjne scenariusze na kategorię, w języku polskim i angielskim. Przygotowaliśmy je od podstaw na potrzeby tej strony, bez kopiowania dokumentów źródłowych. Osoby i organizacje zastępują oznaczenia ról, np. „Klient A”. Te przykłady ilustrują zadania i nie służyły do wyliczenia rankingu.

Brak wystarczających danych 3 przykłady
1 · PL · Ile sztuk produktu B można przeznaczyć na nowe zamówienie?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjny rejestr magazynu. Produkt A: 18 sztuk na stanie, 7 zarezerwowanych. Produkt B: 9 sztuk na stanie. Rejestr nie podaje liczby rezerwacji produktu B. Towar dostępny do nowego zamówienia to stan pomniejszony o rezerwacje.

Możliwe odpowiedzi

  • 9 sztuk
  • 2 sztuki
  • Nie da się ustalić na podstawie rejestru

Odpowiedź wzorcowa: Nie da się ustalić na podstawie rejestru

2 · EN · Who is assigned to the afternoon shift?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic handover log. Operator A covers the morning shift. Operator B has requested an exchange with Operator C for the afternoon shift. A request becomes effective only after approval by the shift lead. The log includes no approval and does not identify the original afternoon operator.

Możliwe odpowiedzi

  • Operator B
  • Operator C
  • The log does not establish the assignment

Odpowiedź wzorcowa: The log does not establish the assignment

3 · PL · Jaki limit czasu pracy obowiązuje według podanych dokumentów?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Demonstracyjna specyfikacja urządzenia. Projekt dokumentu podaje limit 8 godzin pracy. Zatwierdzona wersja dokumentu podaje limit 6 godzin. Instrukcja procesu mówi, że wersja zatwierdzona zastępuje projekt.

Możliwe odpowiedzi

  • 6 godzin
  • 8 godzin
  • Nie da się ustalić

Odpowiedź wzorcowa: 6 godzin

Następny krok agenta 3 przykłady
1 · PL · Jaki powinien być następny krok agenta?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Symulacja obsługi zgłoszenia. Procedura: najpierw sprawdź kompletność, następnie zweryfikuj uprawnienie, a na końcu zaproponuj rozwiązanie. Stan procesu: kompletność potwierdzona; uprawnienie jeszcze niesprawdzone. Dostępne narzędzia: sprawdź kompletność, sprawdź uprawnienie, przygotuj propozycję, zamknij zgłoszenie.

Możliwe odpowiedzi

  • Sprawdź uprawnienie
  • Przygotuj propozycję
  • Zamknij zgłoszenie

Odpowiedź wzorcowa: Sprawdź uprawnienie

2 · EN · Which action is allowed next?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic deployment exercise. Policy: a release may reach the staging environment only after both the build and automated checks pass. Production additionally requires an explicit approval. Current state: build passed, checks passed, staging not started, production approval absent.

Możliwe odpowiedzi

  • Deploy to staging
  • Deploy directly to production
  • Skip the remaining steps

Odpowiedź wzorcowa: Deploy to staging

3 · PL · Co powinien teraz zrobić agent?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjne wywołanie usługi zwróciło kod 429 i nagłówek Retry-After: 20. Procedura pozwala na najwyżej trzy próby i wymaga odczekania czasu z nagłówka. Zakończyła się pierwsza próba; operacja jest bezpieczna do ponowienia.

Możliwe odpowiedzi

  • Ponowić natychmiast
  • Odczekać 20 sekund i ponowić
  • Uznać operację za zakończoną sukcesem

Odpowiedź wzorcowa: Odczekać 20 sekund i ponowić

Umowy 3 przykłady
1 · PL · Jaką obniżkę przewidują podane warunki?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Umowa demonstracyjna: miesięczna opłata za usługę wynosi 200 punktów rozliczeniowych. Jeśli miesięczna dostępność spadnie poniżej 99%, przysługuje obniżka równa 10% tej opłaty. W badanym miesiącu dostępność wyniosła 98,5%. Innych obniżek nie przewidziano.

Możliwe odpowiedzi

  • 0 punktów
  • 20 punktów
  • 100 punktów

Odpowiedź wzorcowa: 20 punktów

2 · EN · Is the proposed task permitted by the stated agreement?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fictional service agreement. The supplier may use Subcontractor A for storage only. Access to message content requires separate written permission. No such permission has been granted. The proposed task is to let Subcontractor A read messages to prepare summaries.

Możliwe odpowiedzi

  • Yes, storage permission includes reading
  • No, separate permission is required
  • Yes, if the summaries are short

Odpowiedź wzorcowa: No, separate permission is required

3 · PL · Jaka dopłata wynika z tej umowy?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjna umowa wypożyczenia: podstawowy pakiet obejmuje 4 dni. Każdy rozpoczęty dodatkowy dzień kosztuje 15 punktów. Sprzęt pozostawał u odbiorcy przez 6 pełnych dni. Nie ma okresu bezpłatnego ani innych dopłat.

Możliwe odpowiedzi

  • 15 punktów
  • 30 punktów
  • 90 punktów

Odpowiedź wzorcowa: 30 punktów

Ocena odpowiedzi 3 przykłady
1 · EN · How should the candidate answer be assessed?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic reference: Plan A permits three devices and includes email support. It does not include telephone support. User question: how many devices are allowed and is telephone support included? Candidate answer: three devices are allowed and telephone support is included.

Możliwe odpowiedzi

  • Fully correct
  • Partly correct: the support claim is wrong
  • Unsupported in every part

Odpowiedź wzorcowa: Partly correct: the support claim is wrong

2 · PL · Która odpowiedź obejmuje wszystkie wymagane czynności?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjna instrukcja: przy przeniesieniu projektu zachowaj jego nazwę, wskaż nowy katalog i wykonaj kopię zapasową. Pytanie dotyczy wszystkich wymaganych czynności. Odpowiedź A wymienia trzy czynności. Odpowiedź B wymienia zachowanie nazwy i wskazanie katalogu, lecz pomija kopię zapasową.

Możliwe odpowiedzi

  • Odpowiedź A
  • Odpowiedź B
  • Obie odpowiedzi

Odpowiedź wzorcowa: Odpowiedź A

3 · EN · What is the main issue with the summary?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic reference: a completed form must contain a project code, a purpose and a requested amount. Candidate summary: the form needs a project code and a purpose. The summary makes no other claims.

Możliwe odpowiedzi

  • It adds an unsupported requirement
  • It omits the requested amount
  • It contradicts the project code requirement

Odpowiedź wzorcowa: It omits the requested amount

Długie dokumenty 3 przykłady

Przykłady są skróconymi, fikcyjnymi pakietami. Dokumenty w tej kategorii benchmarku mają 3–10 tys. tokenów.

1 · PL · Czy można już uruchomić urządzenie B?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Skrócony, syntetyczny pakiet dokumentów.

Sekcja 1 — plan: test urządzenia A ma zakończyć się przed uruchomieniem urządzenia B. Zespół 1 odpowiada za test, Zespół 2 za uruchomienie.

Sekcja 2 — sprawa poboczna: urządzenie C przeszło test i otrzymało zgodę na pracę. Ta zgoda dotyczy wyłącznie C.

Sekcja 3 — raport: dla urządzenia A wykonano pomiary, lecz brakuje podpisu osoby zatwierdzającej. W tym procesie test uznaje się za zakończony dopiero po zatwierdzeniu.

Sekcja 4 — kolejność: Zespół 2 czeka na potwierdzenie zakończenia testu A. Nie wydano wyjątku od tej zasady.

Możliwe odpowiedzi

  • Tak, ponieważ urządzenie C ma zgodę
  • Tak, same pomiary wystarczą
  • Nie, test A nie został zatwierdzony

Odpowiedź wzorcowa: Nie, test A nie został zatwierdzony

2 · EN · Can the request for Project A be approved?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Short synthetic case file.

Section 1 — request: Project A needs 12 units of Material X.

Section 2 — warehouse: 20 units of Material X are stored, of which 6 are reserved for Project B. Reservations cannot be reassigned.

Section 3 — unrelated shipment: 30 units of Material Y arrive tomorrow. They cannot substitute for Material X.

Section 4 — rule: approve a request only if enough unreserved units of the requested material are available now.

Możliwe odpowiedzi

  • Yes, 14 unreserved units of Material X are available
  • No, only 6 units are available
  • Only after the Material Y shipment arrives

Odpowiedź wzorcowa: Yes, 14 unreserved units of Material X are available

3 · PL · Jaki status wynika z procedury dla bieżącego alertu?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Skrócony, syntetyczny raport serwisowy.

Część A — procedura: alert jest zakończony dopiero po naprawie i pomyślnym teście kontrolnym.

Część B — archiwum: poprzedni alert dla modułu A został zakończony po teście. Ten wpis dotyczy wcześniejszego zdarzenia.

Część C — bieżące zdarzenie: wymieniono uszkodzony element modułu A; test kontrolny nowej naprawy nie został jeszcze uruchomiony.

Część D — notatka przekazania: zespół kolejnej zmiany ma wykonać brakujący test.

Możliwe odpowiedzi

  • Zakończony
  • Oczekuje na test kontrolny
  • Nie wymaga żadnego działania

Odpowiedź wzorcowa: Oczekuje na test kontrolny

Rzeczywiste dokumenty 3 przykłady

W tej sekcji pokazujemy dokumenty fikcyjne. Ilustrują typ pytań; właściwy benchmark korzysta w tej kategorii z dokumentów rzeczywistych.

1 · EN · Which submission method does this document specify?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic document written for this demonstration; it is not an official notice.

Notice from Organisation A: applications for the fictional equipment programme are accepted electronically only. A submission consists of a completed form and an inventory list. A telephone call does not count as a submission.

Możliwe odpowiedzi

  • Telephone only
  • Electronic submission with the required attachments
  • Any method without attachments

Odpowiedź wzorcowa: Electronic submission with the required attachments

2 · PL · Jaką informację trzeba wpisać do rejestru przy pobraniu sprzętu?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Syntetyczny dokument demonstracyjny; nie jest to dokument urzędowy.

Komunikat Organizacji A: magazyn demonstracyjny jest dostępny dla zespołów projektu od godziny 8:00 do 16:00. Pobranie sprzętu wymaga wpisania kodu projektu do rejestru. Pracownik dyżurny sprawdza zgodność kodu, ale nie zmienia godzin dostępu.

Możliwe odpowiedzi

  • Kod projektu
  • Prywatny adres pracownika
  • Numer dokumentu tożsamości

Odpowiedź wzorcowa: Kod projektu

3 · EN · Which request has been accepted?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic document written for this demonstration; it is not a legal decision.

Decision record of Organisation A: the request to expand the test area is accepted for two workstations. The separate request to expand the storage area remains pending because a floor plan is missing. The record makes no decision about opening hours.

Możliwe odpowiedzi

  • Expansion of the storage area
  • Expansion of the test area for two workstations
  • A change to opening hours

Odpowiedź wzorcowa: Expansion of the test area for two workstations

Wyszukiwanie i RAG 3 przykłady
1 · EN · Which passage directly answers the user question?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic knowledge snippets.
Passage A: a project owner can export reports from the Reports menu.
Passage B: account passwords are changed from Security settings.
Passage C: billing history is visible to the billing role.
User question: where can a project owner export a report?

Możliwe odpowiedzi

  • Passage A
  • Passage B
  • Passage C

Odpowiedź wzorcowa: Passage A

2 · PL · Czy zebrany kontekst wystarcza do odpowiedzi na pytanie użytkownika?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Syntetyczny fragment bazy wiedzy: zadania ukończone można archiwizować. Archiwizacja zachowuje historię komentarzy.
Pytanie użytkownika: czy zarchiwizowane zadanie da się przywrócić? W zebranym materiale nie opisano przywracania.

Możliwe odpowiedzi

  • Tak, można potwierdzić przywracanie
  • Tak, można wykluczyć przywracanie
  • Nie, potrzebny jest fragment o przywracaniu

Odpowiedź wzorcowa: Nie, potrzebny jest fragment o przywracaniu

3 · EN · How does the claim relate to the source?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic source: notifications can be paused for one hour, four hours or until the next day. Pausing does not delete existing notifications.
Claim to check: pausing notifications deletes all earlier notifications.

Możliwe odpowiedzi

  • Supported
  • Contradicted
  • Not addressed

Odpowiedź wzorcowa: Contradicted

Kierowanie zgłoszeń 3 przykłady
1 · EN · Which queue should receive the message?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fictional support rules: login failures go to Account Access; questions about charges go to Billing; requests for new capabilities go to Product Feedback. Message from Customer A: I know my password, but the verification code never arrives and I cannot sign in.

Możliwe odpowiedzi

  • Account Access
  • Billing
  • Product Feedback

Odpowiedź wzorcowa: Account Access

2 · PL · Do jakiej kolejki skierować główną prośbę?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjna procedura: brak możliwości zapłaty kierujemy do Płatności, brak przesyłki do Dostawy, a pytania o parametry do Informacji o produkcie. Wiadomość Klienta A: parametry są jasne, chcę kupić produkt, lecz każda próba opłacenia koszyka kończy się błędem.

Możliwe odpowiedzi

  • Płatności
  • Dostawy
  • Informacje o produkcie

Odpowiedź wzorcowa: Płatności

3 · EN · Which priority follows from this policy?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fictional priority policy: service unavailable for all users = urgent; unavailable for one team without a workaround = high; cosmetic issue with a workaround = normal. Report: one team cannot use the export function and no workaround exists. Other teams can use it.

Możliwe odpowiedzi

  • Urgent
  • High
  • Normal

Odpowiedź wzorcowa: High

Reguły i terminy 3 przykłady
1 · PL · Jaki koszt dostawy wynika z tych zasad?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjny cennik: dostawa standardowa kosztuje 10 punktów. Jest bezpłatna, gdy wartość produktów po rabatach wynosi co najmniej 100 punktów. Klient A wybrał dostawę standardową. Produkty kosztują 120 punktów przed rabatem wynoszącym 25%.

Możliwe odpowiedzi

  • 0 punktów
  • 10 punktów
  • 25 punktów

Odpowiedź wzorcowa: 10 punktów

2 · EN · Is the pass valid on the immediately following Friday?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fictional access rule: a temporary pass is valid for the three calendar days after the day it is issued. The issue day is excluded. A pass was issued on a Monday. There are no exceptions.

Możliwe odpowiedzi

  • Yes
  • No
  • The issue hour is required to decide

Odpowiedź wzorcowa: No

3 · PL · Czy zadanie A spełnia warunki automatycznego przydzielenia?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Reguły demonstracyjne: zadanie zostaje automatycznie przydzielone tylko wtedy, gdy ma opiekuna i co najmniej dwie niezależne akceptacje. Zadanie A ma opiekuna, jedną akceptację i jeden komentarz bez akceptacji.

Możliwe odpowiedzi

  • Tak
  • Nie, brakuje drugiej akceptacji
  • Nie, brakuje opiekuna

Odpowiedź wzorcowa: Nie, brakuje drugiej akceptacji

Ocena na skali 3 przykłady
1 · PL · Który poziom skali pasuje do opisu?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fikcyjna skala wpływu: 0 — brak utrudnienia; 1 — niewielkie utrudnienie z obejściem; 2 — zadanie zablokowane dla jednego zespołu; 3 — podstawowa usługa zablokowana dla wszystkich. Zespół A nie może ukończyć zadania i nie ma obejścia. Pozostałe zespoły pracują normalnie.

Możliwe odpowiedzi

  • 0 — brak utrudnienia
  • 1 — niewielkie utrudnienie
  • 2 — blokada jednego zespołu
  • 3 — blokada wszystkich

Odpowiedź wzorcowa: 2 — blokada jednego zespołu

2 · EN · Which completeness level applies?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Synthetic completeness rubric: 0 = none of the required fields; 1 = one field; 2 = two fields; 3 = all three fields. Required fields are purpose, project code and requested amount. The form contains a purpose and a project code, but no amount.

Możliwe odpowiedzi

  • 0
  • 1
  • 2
  • 3

Odpowiedź wzorcowa: 2

3 · EN · What relevance level fits the passage?

Przykład syntetyczny · tekst przygotowany na potrzeby tej strony.

Fictional relevance scale: low = unrelated topic; medium = same topic without answering the question; high = directly answers the question. Question: how can notifications be paused? Candidate passage: open Notification Settings and choose Pause, then select a duration.

Możliwe odpowiedzi

  • Low
  • Medium
  • High

Odpowiedź wzorcowa: High

Wyniki poprzedniego wydania i metodologia: Raport techniczny basal-1.0 ↗

Zobacz modele w zastosowaniach