Semantyczna kategoryzacja tekstów

W moim zespole Data Science oceniamy artykuły z kilkunastu serwisów newsowych i poradnikowych. Nie generujemy tekstu, potrzebujemy decyzji: do jakiej kategorii trafia tekst, czy to news, czy ma polityczne zabarwienie, czy nadaje się pod konkretną kampanię. Do tego basal pasuje idealnie.

Mieliśmy już gotowy pipeline do oceniania artykułów. basal mówi tym samym językiem co modele, których używaliśmy wcześniej, więc dołożenie go to była kwestia jednego popołudnia. Nie ruszaliśmy ani pytań, ani formatu wyników. Model wybieramy jednym polem w zapytaniu, więc ten sam zestaw pytań możemy puścić na różne modele i od razu porównać wyniki. Do tego wystarcza jedna karta L4.

Najbardziej cieszy polski. Nasza taksonomia ma dużo wykluczeń i homonimów:
- „mandat drogowy” to Motoryzacja, a „mandat poselski” to Polityka;
- „Rak” jako znak zodiaku to Horoskopy, a nie choroba;
- świeże zdarzenie kryminalne to Wydarzenia, a proces to już Zbrodnie i śledztwa.

basal czyta te reguły tak, jak napisaliśmy je dla redakcji, bez tłumaczenia na angielski i bez fine-tuningu. Kilka przykładów z jednej paczki:
- relacja z ostrzału na froncie → Wojsko i obronność;
- wyróżnienie dla zasłużonego żużlowca → Żużel;
- wspomnienie zmarłego operatora filmowego → Film i seriale.

Na co dzień pracujemy na gpt-5.6-luna. Na tych samych artykułach i kategoriach basal zgadza się z nim w 100% przypadków!!! Godzina pracy karty kosztuje ok. 1.4 USD i w tym czasie przechodzi kilkaset artykułów z pełnym kompletem pytań. Dla nas to zmienia skalę: możemy wreszcie oceniać całą produkcję.

Dzięki Remek za otwarte wagi i porządną dokumentację. Dla polskiego mediowego use casu to dziś najlepsze, co znaleźliśmy.