Deqio — wspólny lokalny runtime i API dla modeli decyzyjnych, w tym Basal

Deqio to open-source'owy lokalny runtime i API dla wyspecjalizowanych modeli decyzyjnych typu System One.

Basal jest jednym z natywnie obsługiwanych silników projektu. Deqio pozwala instalować, uruchamiać i przełączać modele za pomocą jednego wspólnego API, bez uzależniania aplikacji od konkretnego runtime'u.

Na Apple Silicon Deqio wykorzystuje skwantyzowane warianty Basal 1.5B i 4.5B w MLX 8-bit, dzięki czemu modele mogą działać lokalnie przy znacznie niższym zużyciu pamięci. Projekt obsługuje również automatyczne sprawdzanie kompatybilności sprzętowej, zarządzanie modelami, readiness checks oraz benchmarki porównujące Basal z innymi modelami decyzyjnymi.

Celem Deqio jest stworzenie prostej, lokalnej warstwy decyzyjnej, w której Basal może być używany przez aplikacje poprzez stabilne API do decyzji binarnych, wyboru opcji i wielu decyzji wykonywanych na wspólnym kontekście.

Projekt jest open source:
https://github.com/ILuce/deqio