11 ИИ-моделей поверили в выдуманную ошибку

На Habr опубликовали эксперимент: одиннадцати моделям дали задачу исправить код, где 15 из 16 проблем уже были устранены. Единственная настоящая задача была спрятана среди ложных предпосылок.

Почти все модели начали исправлять то, чего не существовало, вместо проверки исходных данных. (habr.com)

Почему это важно 🤝

В реальной разработке ИИ может не только находить баги, но и создавать лишние изменения, если задача сформулирована с ошибкой.

Особенно опасно это для legacy-кода, аудитов и автоматических рефакторингов: уверенный ответ модели ещё не означает, что проблема действительно существует.

Реальный вывод:

Перед тем как просить ИИ что-то исправить, сначала нужно заставить его проверить саму постановку задачи.

Что сделать уже сегодня 🤝

Добавьте в рабочий промпт отдельный этап:

«Сначала проверь, существуют ли заявленные проблемы. Не вноси изменения, если утверждение не подтверждается кодом или тестом. Отдельно перечисли, что удалось доказать, а что осталось предположением».

Это простое правило снижает риск получить аккуратный патч для несуществующей проблемы.

Источник: Habr