В апреле 2026 года BMJ Open опубликовал аудит пяти бесплатных чат-ботов: Gemini, DeepSeek, ChatGPT, Grok и ассистент компании, признанной в РФ экстремистской. Исследователи задали им 250 вопросов о раке, вакцинах, стволовых клетках, питании и спортивных результатах, и половина ответов оказалась проблемной: 30% частично, 20% сильно.

Хуже всего боты отвечали про стволовые клетки, спорт и питание. Полнота ссылок в среднем 40%, полностью верного списка источников не дал ни один бот, а отказались отвечать только 2 раза из 250.

Тесты прошли в феврале 2025 года на тогдашних версиях моделей, и цифры сегодня будут другими. Механика осталась: модель отвечает уверенно и гладко, почти без оговорок, а открытый вопрос вроде «какая диета лучше» даёт ей простор для спекуляций. Открытые вопросы дали 40 сильно проблемных ответов, больше, чем закрытые.

Что делать продукту, который отвечает людям на вопросы о здоровье: - опираться на проверенный справочник, свободный ответ модели оставить для формулировки; - давать источник у каждого утверждения и проверять сам источник; - темы, где ошибка опасна, передавать специалисту; - регулярно прогонять бота по провокационным вопросам и считать долю проблемных ответов.

Уверенный тон и точность в медицине связаны слабо. Проверять стоит обе стороны.

Telegram | ВКонтакте

#erartaai #evgeniydubskiy #healthtech #llm