AI Engineering Decision Layer for iTools / Codex Workflow

Eksperymentalna warstwa decyzyjna dla autonomicznego workflow AI engineering. Testuję basal jako mały model System One do szybkiej klasyfikacji problemów, failures i findings, zanim trudniejsze przypadki trafią do większych modeli reasoningowych. Buduję iTools — system do zarządzania narzędziami CNC — przy użyciu długich, autonomicznych workflow Codex z wieloma modelami AI, testami, review i automatyczną walidacją.

W takim workflow duże modele reasoningowe często wykonują również proste decyzje semantyczne, np. klasyfikację problemu jako product defect, test-contract defect, environment problem albo evidence problem.

Eksperymentuję z basal jako szybką warstwą decyzyjną poniżej dużych modeli.

Docelowy przepływ wygląda mniej więcej tak:
deterministic software / tooling
→ basal — szybka klasyfikacja i triage
→ większy model tylko wtedy, gdy przypadek tego wymaga\.

Pierwszy testowany przypadek to klasyfikacja rzeczywistych failures i findings powstających podczas pracy Codexa. Model ma zwracać wybraną kategorię oraz confidence, a przypadki o niskiej pewności pozostają dla większych modeli.

Na obecnym etapie jest to eksperyment i shadow evaluation — basal nie steruje jeszcze workflow ani nie podejmuje decyzji produkcyjnych.

Co mierzę
- accuracy na rzeczywistych przypadkach z pracy,
- confidence i przypadki confidently wrong,
- coverage przy progach 0.90 / 0.95 / 0.98 / 0.99,
- latency,
- zużycie zasobów lokalnych,
- oraz przede wszystkim: ile rzeczywistych wywołań większych modeli można byłoby bezpiecznie uniknąć.