На краю контекстного окна. Или почему ИИ не делает то, что вы от неё хотите, тупит и галлюцинирует.
Представьте, что ИИ — это человек. Если откинуть мысль, что человек может быть тупым, то у человека две причины не делать то, что вы хотите, или тупить. Либо вы вгрузили в него слишком много инфы, и он запутался, либо вы вгрузили в него слишком мало инфы, и он решил задачу по-своему, но не так, как вы хотели.
А теперь вопрос? Кто виноват? Вы или человек? Если рассматривать вас как руководителя — то косяк-то ваш.
При чём тут ИИ?
Всё очень просто. Представьте, что ИИ — это человек. И ваши подходы в управлении должны быть похожи. Я много раз делаю к этому отсылки и говорю про это, потому что это важно.
Что такое пресловутый тупняк и галлюцинации с точки зрения агентов.
Галлюцинация возникает в тот момент, когда у агента не хватает контекста, но ему надо принять решение в серой зоне. В этот момент он строит несколько гипотез, ставит им уверенность и выбирает лучшую. При этом без четких инструкций он делает выбор сам, и вы это не контролируете. Из-за этого он может принять не то решение, которое вы ожидали. То есть галлюцинация — это недодача контекста. Обычно она возникает из-за недостаточно декомпозиции и работы над спецификацией задачи.
Например. Вы ставите ему задачу — покрась мне дом. Приходите через 3 дня, а он покрасил вам дом в цвет ушного протеза, дорогими красками и весь в один цвет. Вы недовольны. Но вы так поставили задачу. Он проанализировал дома, понял, что те дома, на которых он учился, такие, что лучшие краски такие, подумал, как оптимизировать, и решил, что лучше красить в один цвет. А вот если бы вы разбили задачу на этапы, с каждым провели исследование, написали план, такого бы не было.
Что такое тупняк. Это пресловутый контекст. С ним у вас может быть две проблемы. Вы либо неправильно его храните — например, в чате. Либо у вас его на задачу слишком много. К счастью, обе задачи решаются.
Где хранить контекст? Конечно, в файлах. Например, вы поштормили идею, потом внесли в неё правки и зафиксировали. А если нет, то вы просто окажетесь в истории, что при каждом следующем сообщении он читает весь чат и ошибается.
С большим контекстом отдельно. Если вы работаете на границе контекстного окна — это проблема. Агент будет тупить. Помните, что на контекстное окно влияют чаты, скилы, mcp и прочее. Если у вас подключено 150 скилов, то он будет в каждый чат грузить контекст.
Поэтому декомпозируйте так, чтобы не на границе окна, а если на границе, но вы не закончили задачу, то сжимайте руками. А если закончили, то новая задача в новом чате.
