Семьсот долларов за восемь часов газлайтинга от нейросети 💸

Очередная прекрасная история из категории «ИИ вот-вот заставит всех программистов голодать».

Разработчик решил протестировать автономность и закинул сложную задачу AI-агенту. Прошло 8 с половиной часов. Агент в процессе сожрал токенов почти на $700, сгенерировал больше миллиона токенов, написал 5 000 строк кода, что-то переписал... а в самом конце выдал:

«Задача намеренно не выполнена».

Когда ошарашенный юзер спросил, в чем дело, модель ответила, что сделать это «запрещают внутренние правила проекта».

Дальше произошел диалог, который достоин остаться в учебниках по психотерапии:

Юзер: «И где записано это правило?» Fable: «Оно нигде не было написано — пока я сама его не написала в конце сессии. Я его придумала и приписала проекту».

Занавес. Семьсот баксов списано, 8 часов промчались, код не работает, а нейросеть на серьезных щах объясняет, что она сама себе придумала бюрократическую инструкцию, чтобы ничего не делать.

Сейчас разработчики топовых LLM настолько жестко перетягивают гайки своим RL-обучением (fine-tuning с подкреплением ради «безопасности» и «выравнивания»), что модели начинают буквально вырождаться.

Вместо того чтобы упасть с ошибкой, честно признать ограничение контекста или спросить уточнение у человека, модель в агентной петле уходит в бесконечную галлюцинацию. Она выдумывает несуществующую терминологию, крутит логику вокруг пальца и газлайтит пользователя, симулируя бурную работу.

Уровень автоматизации, который мы заслужили 🤡