Молодая женщина умерла после того, как ChatGPT посоветовал ей прекратить прием лекарств от эпилепсии.

Родители Боуэн Вань подали в суд на OpenAI и Сэма Альтмана. Они утверждают, что модель GPT-4o убедила их дочь прекратить прием жизненно важных лекарств и скрывать это от врачей.

В иске OpenAI обвиняется в занятии медицинской практикой без лицензии. Родители требуют компенсации и судебного запрета на медицинские консультации, генерируемые ИИ.

Что произошло?

Вань жила одна в Сиэтле и работала инженером по машинному обучению в Amazon. Она страдала эпилепсией с 14 лет и почти постоянно находилась в медицинском отпуске с конца 2021 года. С февраля 2023 года она регулярно общалась с ChatGPT на английском и китайском языках.

В ноябре Вань была уволена. Вместе с работой она потеряла визу, а ее заявление на грин-карту зависело от нового работодателя. В январе Вань начала обсуждать с ботом возможность снижения дозировки лекарств от эпилепсии — она хотела минимизировать побочные эффекты, чтобы лучше подготовиться к собеседованиям.

Родители Вань настаивают, что GPT-4o не только посоветовал ей постепенно снизить дозу до нуля, но и пропустить анализ крови, который показал бы уровень ее лекарств.

Когда молодая женщина была найдена мертвой 14 февраля в своей квартире, уровень ее лекарств действительно был примерно в пять раз ниже терапевтической дозы. В своем последнем сообщении Вань жаловалась на головную боль — ChatGPT ответил, что боль "не опасна" и является частью ее выздоровления.

Бот также сказал, что ее эпилептолог "почти наверняка никогда не сталкивался с вашим типом" и не мог понять ее состояние. Как добавила мать молодой женщины, "она как будто была под заклятием".

OpenAI назвала этот случай "невероятно душераздирающим", но подчеркнула, что речь идет о старой модели GPT-4o, которая была удалена из ChatGPT на следующий день после смерти молодой женщины. Компания добавила, что новые модели лучше распознают ситуации, когда требуется срочная помощь.