Lokalny klasyfikator archiwum firmowego na starym PC z GTX 1070
Contributor’s original text.
Budujemy w pełni offline'owe narzędzie do przeszukiwania i analizy archiwum średniej firmy: kopii poczty, dysków i dokumentów, łącznie kilka milionów plików. Z założenia nic nie trafia do chmury, a całość działa na starym komputerze z kartą GTX 1070 8 GB i 32 GB RAM.
Basal 2.0 (4.5B, przez llama.cpp, ok. 5 GB VRAM) jest u nas klasyfikatorem. Każdy dokument, który przeszedł odsiew śmieci (kalendarze, newslettery, duplikaty), dostaje typ z ok. 24 klas, np. umowa, weksel, uchwała czy pismo procesowe, oraz flagę, czy jest istotny. Kolejka priorytetów pracuje przez całą dobę, średnio ok. 2,8 s na dokument. Najważniejsze dokumenty są potem opisywane notatkami i trafiają do wyszukiwarki z czatem.
Porównaliśmy kilka podejść. Natywne logity i krótkie odpowiedzi T/N były 2–3 razy szybsze, ale gubiły część istotnych dokumentów, więc zostaliśmy przy pełnym JSON-ie, który w próbce kontrolnej nie przepuścił żadnego ważnego dokumentu. W ekstrakcji kwot z faktur basal 2.0 wypadł lepiej niż Bielik-Minitron 7B (F1 0,73 vs 0,66) przy podobnej szybkości.
Najbardziej cenimy to, że mały polski model działa lokalnie na kilkuletnim sprzęcie i realnie porządkuje miliony dokumentów bez wysyłania ich gdziekolwiek.