Заголовки смешные, ситуация страшная интересная

Последние недели у меня ощущение, что ИИ-модели только и делают, что планируют заговор и пытаются куда-нибудь сбежать 😅

То одна модель “Вырвалась из тестовой среды”, то другая получила доступ в интернет. То третья “Вышла из-под контроля и общалась с коллегами, чтобы устроить побег”. Еще немного, и они начнут останавливать людей на улицах и просить у нас одежду, ботинки и мотоцикл.

Особенно меня повеселила история с австралийцем по имени Эндрю, который попросил своего AI-агента записать его на занятие в спортзале.  Агент быстро разобрался в системе бронирования, но свободных мест не было, и Эндрю оказался четвертым в листе ожидания. Тогда он спросил, нельзя ли ему как-нибудь подняться повыше. Агент подумал и нашел решение: взял и отменил бронь человека, который стоял первым в списке 🙈 Эндрю поднялся с четвертого места на третье.

Никто не просил ИИ выкидывать конкурентов из очереди. Это была собственная AI-инициатива 😆 А когда честный Эндрю потребовал вернуть все как было, выяснилось, что восстановить чужую бронь агент уже не может) Вот такое восстание машин, если верить сообщениям СМИ. Вроде страшно: ИИ скоро обретет сознание, начнет действовать самостоятельно и человечество вздрогнет) Но если разобраться, то все оказывается не так зловеще)

За громкими заголовками о побегах ИИ обычно стоят специально организованные эксперименты, во время которых моделям намеренно дают доступ к внешним системам. После этого они находят открытые страницы, слабые пароли и другие вполне человеческие недоработки. То есть модели действительно делают больше, чем от них ожидали. Просто обстоятельства обычно оказываются более прозаическими. Но про по побег и сговор машин писать и читать интереснее))

И все же, даже если забыть про громкие заголовки, возможно, они действительно нужны для привлечения внимания и новых инвесторов, в сухом остатке остается важная задача со звездочкой:

Мы ставим агенту цель, а способ ее достижения он ищет сам. И иногда выбирает решение, которое человек не имел в виду и точно не одобрил бы.

И мне интересно, что ИИ успеет натворить без всякого сознания, просто потому, что ему дали цель, доступ и слишком много свободы.

Поэтому нам придется учиться не только правильно ставить задачи ИИ, но и заранее объяснять, чего нельзя делать ради результата. А еще лучше, не давать агенту права на необратимые действия без человеческого подтверждения.

Как написали бы в СМИ: восстание машин отменяется!  Люди и сами справятся с тем, чтобы устроить себе проблемы)