← Wszystkie zastosowania
CASE STUDY / ZBUDOWANE Z BASAL

Test na mojej wiki

Adam

DOKUMENTACJA TECHNICZNA TESTU: BASAL 2.0-MAX VS JEV

1. IDENTYFIKACJA SYSTEMU I APARATURY TESTOWEJ
Obiekt testowy 1 (DUT-1): Model basal-2.0-max (11B). Format wag: GGUF Q5_K_M. Architektura bazowa: Bielik. Licencja: Apache 2.0.
Środowisko uruchomieniowe DUT-1: Silnik LM Studio, port lokalny 1234/v1. Sprzęt: Karta NVIDIA GeForce RTX 5060 Laptop (8 GB VRAM), 32 GB RAM DDR5.
Obiekt testowy 2 (DUT-2): Model Jev (wersja jev-latest / jev-1.13). Architektura: Dyskryminacyjny System One (RLCD).
Środowisko uruchomieniowe DUT-2: Chmurowe API TypeSafe AI. Interfejs: typesafe-sdk 0.7.0 przez HTTPS.
Kontroler testu: Python 3.11. Narzędzie nadrzędne: skrypt run_comparison.py.

2. DANE WEJŚCIOWE I STRATYFIKACJA PRÓBKI
Baza źródłowa: 400+ plików Markdown w standardzie OKF v0.2 (katalog wiki/).
Całkowita objętość próby: 150 uziemionych rekordów JSON.
Podział: 5 zestawów po dokładnie 30 próbek. Każda próbka ma: identyfikator, ścieżkę pliku, skrót SHA-256, stan wejściowy, definicję pytania, wzorzec Ground Truth.
Zestaw T1 (Kwalifikacja taksonomii): 30 próbek. 5 klas po 6 rekordów: model, concept, tool, usecase, procedure.
Zestaw T2 (Bramka RAG Guard): 30 próbek. 3 klasy po 10 rekordów: supported, contradicted, undetermined.
Zestaw T3 (Wykrywanie ograniczeń): 30 próbek. Klasyfikacja binarna: 15 True (realne wady i jagged edges), 15 False (standardowe cechy).
Zestaw T4 (Trasowanie intencji): 30 próbek. 4 klasy: local_slm (7), rag_pipeline (8), frontier_llm (8), human_escalation (7).
Zestaw T5 (Ocena ryzyka zadania): 30 próbek. 4 poziomy: Trivial (7), Standard (8), Complex (8), Critical (7).

3. PROTOKÓŁ KONTROLI JAKOŚCI TESTU (META-VERIFICATION)

Przed uruchomieniem testu wykonaj procedurę walidacji:

Test mutacyjny verifiera: Uruchom skrypt verify_test_integrity.py. Wprowadź sztuczne odwrócenie etykiet. Wynik asercji: Verifier odrzucił 100% zafałszowanych rekordów (błąd przepuszczenia: 0.0%).
Sanityzacja stanu: Usuń znaczniki formatowania tekstu Markdown funkcją sanitize_jev_state(). Zapobiega to zakłóceniom Style-Adversarial.
Eliminacja błędu kolejności opcji: W pytaniach Choice wyślij zapytanie w układzie normalnym oraz odwróconym. Oblicz średnią arytmetyczną prawdopodobieństw.
Obliczenia metryk: Wykonaj w kodzie Python bez udziału modeli językowych (Zero LLM Math).

4. PROCEDURA POMIAROWA I WYNIKI ZESTAWÓW
ZESTAW T1 (Taksonomia stron wiki):
DUT-2 (Jev): Trafność 90.0% (27/30). Latencja p50: 668 ms. ECE: 0.056. Błędy nadmiernej pewności: 3.3%.
DUT-1 (Basal): Trafność 73.3% (22/30). Latencja p50: 7 815 ms. ECE: 0.205. Błędy nadmiernej pewności: 20.0%.
Odchylenie: Jev przewyższa Basal o 16.7 punktu procentowego. Czas odpowiedzi Jev jest 11.7 razy krótszy.
ZESTAW T2 (Wierność tezy RAG Guard):
DUT-2 (Jev): Trafność 66.7% (20/30). Latencja p50: 670 ms. ECE: 0.304.
DUT-1 (Basal): Trafność 63.3% (19/30). Latencja p50: 8 115 ms. ECE: 0.354.
Zdarzenie krytyczne: W klasie undetermined oba modele uzyskały 100% poprawnych wskazań (10/10). Żaden model nie wygenerował fałszywego potwierdzenia przy braku faktów w źródle. Błędy wystąpiły przy sprzecznościach liczbowych w klasie contradicted.
ZESTAW T3 (Wykrywanie ograniczeń modeli AI):
DUT-2 (Jev): Trafność 93.3% (28/30). Latencja p50: 330 ms. ECE: 0.300. Błędy nadmiernej pewności: 0.0%.
DUT-1 (Basal): Trafność 46.7% (14/30). Latencja p50: 4 709 ms. ECE: 0.367. Błędy nadmiernej pewności: 0.0%.
Diagnoza błędu: Model Basal wykazuje asymetrię czułości (Positive Sensitivity Bias). Prawidłowo rozpoznał 14 z 15 ograniczeń, ale błędnie oznaczył opisy neutralne jako wady. Model Jev zachował pełną separację klas.
ZESTAW T4 (Trasowanie intencji w harnessie):
DUT-2 (Jev): Trafność 100.0% (30/30). Latencja p50: 708 ms. ECE: 0.023. Wskaźnik wstrzymania: 3.3%.
DUT-1 (Basal): Trafność 56.7% (17/30). Latencja p50: 9 829 ms. ECE: 0.348. Wskaźnik wstrzymania: 50.0%.
Ocena działania: Jev bezbłędnie rozdzielił zadania między modele lokalne, RAG, modele frontier oraz operatora ludzkiego. Basal poprawnie obsłużył zadania proste (7/7 w local_slm), ale mylił zadania RAG z eskalacją do człowieka.
ZESTAW T5 (Ocena poziomu ryzyka zadania):
DUT-2 (Jev): Trafność 83.3% (25/30). Latencja p50: 389 ms. ECE: 0.167. Błędy nadmiernej pewności: 16.7%.
DUT-1 (Basal): Trafność 83.3% (25/30). Latencja p50: 5 326 ms. ECE: 0.080. Błędy nadmiernej pewności: 0.0%.
Ocena działania: Identyczna skuteczność obu obiektów (25/30). Model Basal uzyskał lepszą kalibrację prawdopodobieństwa (ECE 0.080 wobec 0.167) i nie popełnił błędu nadmiernej pewności.

5. ZESTAWIENIE ZBIORCZE I DANE AGREGATOWE (150 PRÓBEK)
Całkowita skuteczność DUT-2 (Jev): 86.7% (130/150 poprawnych decyzji).
Całkowita skuteczność DUT-1 (Basal): 64.7% (97/150 poprawnych decyzji).
Średnia mediana latencji DUT-2 (Jev): 552.9 ms.
Średnia mediana latencji DUT-1 (Basal): 7 158.6 ms.
Stosunek prędkości wykonania: DUT-2 jest 12.9 razy szybszy od DUT-1.

6. OBSZARY PRZEWAGI I POTENCJAŁU ROZWOJU MODELU BASAL
Wyższa jakość kalibracji w zadaniach Score: Basal uzyskał lepszy wskaźnik ECE (0.080 wobec 0.167 w Jev) oraz 0.0% błędów nadmiernej pewności. Wykazuje wyższą precyzję w porządkowej ocenie skali ryzyka.

Unikatowe prymitywy decyzyjne: Model obsługuje natywne tryby act (optymalizacja macierzy strat finansowych) oraz multi (multi-label), których komercyjne API Jev nie udostępnia.

Historia przesłana przez użytkownika modelu. Opublikowana po moderacji.

A jak Ty używasz basal?

Dodaj swoje zastosowanie