SemanticHub: lokalny filtr artykułów do celów tematycznych (np. „Portale medyczne”)
W SemanticHub dopasowujemy artykuły do celów tematycznych — np. „Portale medyczne” — żeby wybrać materiały pasujące do danego portalu lub kampanii. Wcześniej robiliśmy to kaskadą Jev (ok. 1,42 USD za 100 tys. ocen) oraz modelami API, m.in. Gemini 3.1 Flash Lite. BASAL pozwala wykonywać tę ocenę lokalnie, na polskich tekstach i na niewielkim sprzęcie.
Rola modelu: BASAL działa jako klasyfikator binarny. Podajemy treść artykułu i kryteria celu, a model zwraca prawdopodobieństwo dopasowania. Wynik porównujemy z progiem decyzyjnym i na tej podstawie artykuł trafia albo nie trafia do wybranego celu.
Test: 370 artykułów, w tym 105 pasujących do celu „Portale medyczne”. Te same pytania co przy wcześniejszym teście Jev. Modele 1.5B i 4.5B uruchomione na Macu z 16 GB RAM przez fork z obsługą MLX; wersja 4.5B z wagami 8-bitowymi.
Wyniki:
- BASAL 4.5B, próg 0,5: znalazł 102 ze 105 pasujących artykułów (tyle samo co Gemini 3.1 Flash Lite), ale przepuścił 28 niepasujących (Gemini: 12).
- BASAL 4.5B, próg 0,67: F1 0,917 — 12 fałszywie przepuszczonych, 6 pominiętych; wynik zbliżony do kaskady Jev.
- BASAL 1.5B: F1 0,726 — za mało do naszego filtra.
Implementacja w SemanticHub: BASAL 4.5B jako lokalny etap oceny w pipeline dopasowania treści, z progiem kalibrowanym per cel.
Efekt: za lokalne wywołania nie płacimy dostawcy API — zostaje koszt sprzętu i energii, a dane nie opuszczają naszej infrastruktury. Wersja 4.5B daje jakość porównywalną z rozwiązaniami API i uzasadnia dalsze wdrożenie przy przetwarzaniu polskich artykułów na własnych, niewielkich zasobach.