← All use cases
CASE STUDY / BUILT WITH BASAL

Routing zapytań do właściwego projektu w biurze na jednym DGX Spark

Robert, WBPI

Contributor’s original text.

W naszym biurze projektów inżynierskich każdy projekt ma unikalny kod. Żeby główny model LLM pobrał właściwe dane z RAG, zapytanie, e-mail lub dane z OpenProject muszą być szybko i poprawnie przypisane do tego kodu. Każdy folder i plik zaczyna się od kodu projektu. W każdym projekcie jest też regularnie aktualizowana "Karta projektu dla agentów SI". To pliki MD ze spisem plików i ich opisem, podstawowymi informacjami o projekcie i streszczeniami.
Cały proces: Basal przypisuje kod projektu, potem następuje pobranie danych z RAG, a główny model LLM generuje odpowiedź dla użytkownika. Całość działa lokalnie, na tym samym DGX Spark co Basal, więc dane projektowe nie opuszczają naszej infrastruktury.
Główny LLM też dobrze przypisuje kody, ale Basal robi to wielokrotnie szybciej, w czasie poniżej 1 s. Użytkownik może więc od razu zareagować, gdy kod się nie zgadza, a całkowity czas odpowiedzi spada w każdym przypadku.
Dalej testujemy i poprawiamy cały łańcuch technologiczny, a nie pojedyncze modele. Próbujemy wciągnąć do źródeł wiedzy zdjęcia z inwentaryzacji, ale to na razie nie działa więc liczymy na kolejne modele Basal-omni.
Całość zaczyna przypominać pracę produkcyjną, bo korzysta z tego coraz więcej osób, ale to jeszcze jest pomocny gadżet a nie podstawowe narzędzie.

Submitted by a model user and published after moderation.

How do you use basal?

Share your use case