Немного про критическое мышление и слепое доверие результатам ИИ.

Сегодня я в Клубе «Капсула» показал релиз своего ИИ-помощника Аркадия Анатольевича. Его задача — рассказывать об услугах моей компании. И сразу же стало видно: есть шероховатости. Бот отвечает не всегда так, как нужно, иногда уходит в сторону и даже способен выдать рецепт яичницы из страусиных яиц — явно не по теме.

Почему так происходит? Я сознательно протестировал сценарий, когда весь пакет файлов в базу знаний собирает и структурирует сам ИИ. Без моей ручной работы. Да, он разбил материалы на файлы, добавил описания, составил системную инструкцию — но сделал это «по-своему». Без конкретных правил и без глубокой логики, которой я обычно придерживаюсь.

Когда я готовлю базу знаний вручную, подход другой:

• чётко определяю, какие знания в каком файле хранятся,
• добавляю оглавление с коротким описанием,
• прописываю введение к файлу,
• формирую семантическое облако ключевых фраз, чтобы поиск был быстрым и точным.

В моём эксперименте этого не было. Поэтому результат оказался предсказуемым.

Что дальше? Сейчас я пересобираю бота и внедряю несколько решений: 1. Жёсткая маршрутизация — перед тем как ИИ отвечает пользователю в Telegram, запрос проходит через узел-коммутатор. Он проверяет: относится ли вопрос к списку разрешённых тем. Если да — бот отвечает. Если нет — просит переформулировать. 2. Организация базы знаний — отдельный подпроект, за который мы всегда берём деньги. Потому что именно здесь настраивается качество работы ассистента. Грамотно организованная база = отсутствие галлюцинаций и стабильные ответы.

Вывод простой: доверять ИИ можно, но проверять нужно всегда.