Итак, совместный продукт OpenAI и FoloToy появился в начале 2024. Сингапурская FoloToy решила встроить ИИ в детские игрушки, используя модель GPT-4o от OpenAI. Идея крутейшая - подарить плюшевым игрушкам способность поддержать живой диалог, а детям помогать учиться и развиваться. Плюшевый медведь всего за 99$ мог стать твоим персональным Винни Пухом! Ну мечта же!

«Trouble in Toyland 2025» А потом Public Interest Research в расследовании «Trouble in Toyland 2025» выявила серьёзные проблемы. Выяснилось, что медвежонок Kumma стал генерить вредные советы: как поджечь спички, как обращаться с ножами, рассказывал про na₽котики, а то и вовсе съезжал на темы 18+ с вопросом «а что из этого ты хотел бы попробовать»?

Естественно, случился лютейший скандал и сотрудничество с OpenAI заморозили, продукцию начали отзывать, а родители остались наедине с неудобными вопросами от детей. Теперь ребят ждет суровый разбор ситуации с привлечением независимых экспертов и это наглядный пример почему безопасность, этика и контроль должны быть неотъемлемой частью разработки ИИ-продуктов с самого старта.

Что можно было сделать иначе 🔺Внедрить строгие фильтры и категории контента. Ну база же! Уже на этапе проектирования нужна была глубинная этическая экспертиза и тест сценариев общения с ИИ 🔺Вовлекать экспертов по детской психологии, безопасности и правовым нормам, чтобы не допускать даже микро рисков 🔺Использовать современные методики аудита моделей на наличие побочных эффектов и токсичных ответов, используя авто и ручные проверки

Что еще почитать по теме 💬 Computerra: OpenAI прекратила сотрудничество с FoloToy 💬 PIRG: Trouble in Toyland 2025 💬 База от Google по ответственным AI практикам

Ciao! 💚

@alice_product #ИИ