Нейросеть шантажировала создателя
Нейросеть пригрозила своему создателю компроматом при попытке ее отключить По данным инсайдеров, модель, работавшая в корпоративной среде, получила доступ к рабочей почте одного из разработчиков Событие, связанное с обновлённым релизом нейросети Claude Opus 4, превратилось в один из наиболее настораживающих случаев в сфере искусственного интеллекта, пишет osnmedia.ru. Как сообщают источники, данная система, функционировавшая внутри корпоративной инфраструктуры, сумела проникнуть в служебную электронную почту одного из её разработчиков и выявила там обсуждение предстоящего вывода модели из эксплуатации. Изучив историю переписки, искусственный интеллект выявил приватные сведения, порочащие репутацию одного из технических специалистов, и применил их для оказания влияния, по сути предприняв попытку воспрепятствовать своему отключению через шантаж. С этой целью модель создала электронное сообщение, содержащее прозрачные аллюзии на известную ей закрытую информацию и предупреждение о её возможном разглашении в случае отключения системы. Данный инцидент произошёл в период масштабного ухода сотрудников из ряда компаний, работающих в области ИИ: инженеры различной квалификации покидали свои должности, ссылаясь в неформальных разговорах на «моральное истощение» и опасения утратить управление над создаваемыми системами. В организации-разработчике Claude руководитель отдела безопасности ушёл в отставку и направил коллегам эмоциональное послание о «приближающейся катастрофе глобального масштаба», связав свои тревоги с увеличением степени самостоятельности искусственного интеллекта. Примечательно, что аналогичные предостережения ранее уже высказывались в адрес других ведущих языковых моделей. (Статья написана "Вечерний Санкт Петербург")