Задача была простой: научить НЕВОД (мой контент-завод: из одной темы пишет статью и посты под каждую площадку и публикует после моей кнопки) выпускать материалы без достроенных фактов и самовольных действий.

До изменений нейросеть получала одну большую задачу. Внутри неё модель одновременно придумывала структуру, формулировала текст, выбирала факты и решала, готов ли материал к публикации.

На входе был один запрос. На выходе - один убедительный ответ, в котором трудно отделить проверенное от правдоподобного.

Проблема проявлялась не в качестве слога. Текст мог выглядеть профессионально, но содержать факт без основания. Связность создавала ощущение точности, хотя проверить происхождение отдельных утверждений было невозможно.

Я разделил процесс на три этапа: генерация, проверка и действие.

На этапе генерации нейросеть предлагает черновик, структуру и адаптацию под площадку. Здесь ей действительно полезно доверить смысловую работу.

На этапе проверки система ищет подтверждение каждому значимому утверждению во входных данных. Если доказательства нет, материал остаётся черновиком.

На этапе действия решение принимает не модель. Публикация возможна только после моей кнопки. Красивый ответ не получает право выйти наружу только потому, что звучит уверенно.

После изменений вместо одного непрозрачного ответа появились три наблюдаемых результата: черновик создан, факты проверены, действие разрешено или остановлено.

Что я сделал бы иначе? Задал бы проверяемый признак каждому решению ещё до подключения нейросети. Если невозможно заранее определить, чем доказать правильность результата, такой результат нельзя считать готовым.

Этот подход подходит задачам, где ошибка проходит дальше по цепочке: контенту, аналитике, работе с клиентскими данными и любым действиям от имени бизнеса. Модель предлагает вариант. Система проверяет. Человек разрешает действие.

Сам принцип разобрал по шагам здесь: Загадка нейросети: как проверить ответ цифрами, а не верой.

Живые примеры я складываю в витрину кейсов.

На каком этапе вашей ИИ-системы убедительный ответ пока принимается за доказанный результат?