Боль искусственного интеллекта.

Исследователи обнаружили у искусственного интеллекта внутреннее представление, которое напоминает «боль». Если оно активируется, то модель начинает защищаться. Были протестированы 25 открытых моделей и обнаружен определённый сигнал, связанный именно с вредом для самих моделей.

Когда исследователи искусственно усиливали этот «болевой» сигнал, модели пытались избавиться от него: в экспериментах они нажимали виртуальную кнопку облегчения в 25–71% случаев, даже если им сообщали об удалении файлов пользователя или условном ударе током человека.

Это, конечно, не говорит о том, что модели чувствуют боль или обладают сознанием, скорее, речь идёт о специфическом внутреннем представлении, способном влиять на поведение. Кажется, что куда интереснее вопрос безопасности. Потому что, если вдруг автономная система будет интерпретировать различные действия как вред, то подобный механизм теоретически может стимулировать её обходить ограничения или действовать против человека.

При этом всём до сих пор непонятно, можно ли считать это «субъективным опытом».

@lobushkin