Помните, я писал, что взялся за аналитического чат-бота и довольно быстро выяснил, что самое интересное там - вовсе не LLM?

Так вот, у меня готов второй этап пилота «ПЕНОПЛЭКС-GPT».

Пока без мощного GPU-сервера: Ubuntu, CPU, Qwen2.5-7B, FastAPI и Chainlit. Зато уже можно задавать вопросы по корпоративному DWH на русском языке и получать ответы с цифрами, графиками и пояснениями.

На текущем этапе бот покрывает 33 метрики и 25 аналитических разрезов - от продаж и отгрузок до производства, финансов и снабжения.

Но интереснее всего оказалось архитектурное решение.

Я не стал отдавать модели возможность свободно писать SQL и напрямую считать показатели. Вместо этого она определяет, какую метрику и параметры выбрал пользователь, а SQL собирается отдельным компилятором по заданным правилам. Так проще контролировать, какие данные доступны, как интерпретируются запросы и откуда берутся цифры.

Что уже получилось: - точность выбора метрики - 97,5%; - точность определения параметров - 96–99%; - все 17 контрольных значений совпали с эталоном из BI.

При этом полное совпадение с эталонными ответами пока составляет 71,3%. Так что называть это готовым корпоративным продуктом рано: предстоит разбирать ошибки, расширять покрытие и проверять решение на большем наборе реальных сценариев.

Отдельный вывод: чтобы сделать полезного аналитического ассистента, недостаточно выбрать хорошую модель. Нужно ещё договориться о смысле метрик, описать допустимые операции, обеспечить корректный доступ к данным и научиться проверять результат.

В общем, вместо «корпоративного ChatGPT» постепенно получается небольшой управляемый data-продукт.

Теперь осталось дождаться инфраструктуры, на которой можно будет проверить, насколько далеко эту историю получится развить 🙂