Мне тут прилетела интересная задача: сделать аналитического чат-бота. Идея простая: пишешь обычным языком что-нибудь вроде «покажи отгрузки за август по регионам» - бот идёт в базу, получает данные и возвращает ответ. В идеале ещё график, пояснение и возможность задать следующий вопрос. На бумаге звучит почти как «сделайте нам корпоративный ChatGPT». А потом начинаются интересные вопросы. Где будет жить модель? Поднять локальную - значит найти сервер с приличным железом, разобраться с ресурсами и потом ещё объяснять, почему этому серверу внезапно стало мало памяти. Попросить техподдержку подселить нас к уже развернутой модели - сильно проще. Если инфраструктура уже есть, зачем изобретать ещё одну. Можно вообще не делать отдельную историю с моделью, а взять то, что уже есть внутри компании, и сосредоточиться на нормальном веб-интерфейсе и аналитической части. Получится что-то вроде корпоративного GPT, только вместо «напиши мне письмо» он умеет ответить, сколько мы отгрузили и что происходило с продажами. Но самое интересное даже не модель. Если пользователь пишет: «А почему в августе продажи упали?»

Что именно должен сделать бот?

Найти данные?

Сам написать SQL?

Понять, какие таблицы вообще можно использовать?

Проверить, что запрос не ерунда?

Понять бизнес-термин «продажи» именно так, как его понимает компания?

И главное - как убедиться, что красивый ответ действительно следует из данных? И вот тут аналитический чат-бот внезапно превращается из «прикольной штуки с LLM» в вполне себе data-продукт. База, семантика, права доступа, SQL, проверки, качество данных, визуализация, логи, стоимость запросов, а уже сверху - модель, которая со всем этим разговаривает. Короче, похоже, предстоит ещё немного покопаться в том, как подружить LLM с нормальным DWH. А дальше посмотрим, получится ли из этого наш маленький корпоративный GPT или корпоративный генератор уверенных ответов на вопросы, которых никто не задавал 😄