В прошлом посте я обещал рассказать, как устроен мой подопытный ИИ-ассистент. Рассказываю.

У нас любят спорить, какая модель умнее. Но вопрос, по большому счёту, не в этом, а в том, как дешевле и на достаточном уровне выполнить задачу. ИИ ошибается не потому, что глупый, а потому, что ему дают неверные данные.

Да, контекстное окно, да, глубина рассуждений. Но, простите, зачем всё это инфузории? Ей надо питаться, выделять и размножаться. Простота задумки здесь наглядно показывает: часто достаточно направить усилия в нужное русло, чтобы компенсировать малые когнитивные способности.

Ассистент на сайте не обладает мозгом живого человека. Зато у него есть свойства, очень полезные для поддержки: он целиком сосредоточен на том, чтобы помочь пользователю, знает возможности системы и пути решения, и у него нет человеческого фактора. Длинных цепочек рассуждений, сбора данных по всему интернету, deep research и прочего, чем принято хвастаться в бенчмарках, здесь нет.

Нуштош, к делу.

Агент встраивается в сайт одной строкой скрипта. Он не только отвечает на вопросы о продукте, но и сам жмёт кнопки, заполняет формы и ходит по экранам за пользователя.

Модель в этой истории оказалась самой простой частью: я менял её несколько раз, и это было проще всего. Самые тяжёлые ошибки начинались там, где обвязка врала модели. Она отвечала «готово» на клик, который ничего не сделал, или подсовывала кнопку, которой на экране нет или вообще говорила, что данных недостаточно, потому что просто не знала, где их взять/открыть/прочитать. Модель честно рассуждала над тем, что ей показали, и уверенно шла не туда.

Поэтому почти вся работа ушла на экзоскелет, который мы для неё проектируем, и на стоп-кран, который ограничивает его сервоприводы:

— что ей показывать: список того, что на экране можно нажать или заполнить, и что каждая кнопка уже делала раньше; — как проверять её действия: каждый шаг сообщает, что на экране реально изменилось; — где ставить стоп-кран: удаление и оплату модели я не доверяю. В тесте без защиты агент удалил соседнюю запись вместо нужной, поэтому запрет зашит в код виджета.

Если вы внедряете агентов у себя, смотрите не только на то, какая модель умнее. Смотрите, что она видит и кто проверяет, что она сделала.

Разбор со схемами, логом и графом знаний: https://telegra.ph/Raz-obeshchal-kak-ustroen-moj-podopytnyj-II-assistent-10-25

А где спотыкались ваши агенты?

Мой канал в Telegram: https://t.me/ligastaev_ai