AI-companions: регулирование снижает один риск и может создать другой

В июле в Китае вступили в силу новые требования к сервисам, которые создают антропоморфное и эмоционально насыщенное взаимодействие с ИИ.

В центре регулирования — риски манипуляции, эмоциональной зависимости и воздействия на пользователей, особенно несовершеннолетних.

После ужесточения требований несколько крупных технологических компаний закрыли или существенно ограничили соответствующие сервисы.

Associated Press описывает пользователей, для которых это оказалось не просто прекращением доступа к продукту.

За длительное время общения с ИИ-компаньоном у них сформировалась история взаимодействия, эмоциональная привязанность и привычка использовать систему как часть повседневной поддержки.

Именно здесь возникает интересный побочный эффект регулирования. Пока технология работает, основной вопрос обычно формулируется через право человека выйти из неё: отказаться от взаимодействия, удалить данные, прекратить пользоваться сервисом. Но если сама платформа внезапно прекращает работу, ситуация разворачивается в другую сторону.

Оказывается, что для части людей значение имеет уже не право отказаться от технологии, а условия, на которых технология может отказаться от них.

Это не означает, что сервис должен существовать вечно или что регулирование подобных систем не требуется. Скорее, появляется дополнительный элемент жизненного цикла продукта, который раньше почти не обсуждался: что происходит с накопленной историей и зависимыми от системы практиками пользователя при закрытии сервиса.

Если цифровой продукт способен за несколько лет стать частью повседневного функционирования человека, возможно, вопросы безопасного завершения, переноса данных и переходного периода тоже становятся частью ответственности разработчика и регулятора.

Источник: Associated Press — Chinese users of AI companions bereft after government tightens regulations