Когда бот тонул в данных, не зная, что это называется RAG

Месяц спустя я понял, что переоткрыл RAG буквально. Тогда я просто называл это «разбить базу и подписать каждый кусок темой».

Суть была в фитнес-боте с большой базой знаний. Тренер прекрасно работал на маленьких наборах, но когда я запихнул в контекст всю базу целиком, начал врать. Путался во всем, отвечал мимо. Сидел над этим неделю-две, не понимая, что происходит.

Потом дошло. Проблема не в объеме, а в том, что модель тонула в нерелевантном контексте. Я взял всю базу, пробежал через LLM с инструкцией: разбить на смысловые блоки и подписать каждый. Например, «здесь про тренировку спины», «здесь про углеводы». Потом при запросе поиск доставал релевантный кусок, а не всю гору.

Бот ожил и заработал.

Через полтора года, когда узнал название RAG, понял: я уже это делал. Ту же идею, просто без названия и без фреймворка. Эти грабли я потом встречал во всех больших базах - обсуждали как диагностику, разбирали на встречах, снова наступали.

Урок прост: когда модель мелет мусор на большом контексте, решение не в добавлении данных. Дело в структуре. Бей на смысловые блоки, помечай их, доставай только релевантное. Тогда модель не тонет. Это правило прошло через контент-фабрику, голосовой диалог, системы знаний клиентов. Один раз додумался - и применяешь на целый класс задач.

#RAG #LLM #автоматизация #n8n #разработка #одна_идея_много_проектов #инженер #мой_путь