🙈 Смотрите, как ChatGPT не справляется с задачами!
Каждый, кто пользуется любой LLM часто, знает, что она иногда тупит. В этом нет новости, это обычные ограничения неоспоримо мощного инструмента.
Но если вы не пользуетесь LLM часто, но читаете, как ей пользуются другие, у вас может сложиться впечатление «божечки-кошечки, какая же идеальная штука, этот ваш ChatGPT».
Штош, добавляем баланса во вселенную. Вот три места, где ChatGPT 4o (а также o4-mini-high) вводили меня в ступор своими ошибками:
— не смогла в цитаты ни в каком режиме Я обожаю батл-рэпа. Но стоит только попросить модельку назвать 10 любимых панчлайнов с русскоязычных батлов, она ломается и начинает генерить их из головы — без интернета, с интернетом, даже в DeepResearch. ОК, это правда сложная задача, подключаем поиск по интернету и Пушкина — и даже тут она дублирует цитаты и путает стихотворения.
— не умеет в распознавание плохих ответов на собеседованиях А я так надеялся! Но каждый раз, когда я скармливаю разным версиям СhatGPT расшифровки с продутовых собесов, ChatGPT уверенно хвалит даже самых неподходящих и слабых кандидатов. Исправление промпта помогает, но пока эффект временный, новый кандидат — новые проблемы.
— попыталась убить меня блюдами с глютеном У меня непереносимость глютена. Я попросил ChatGPT расписать, в каких японских блюдах его нет — и моделька справилась, но у многих блюд дала оговорки типа «если без добавок». Проверя в интернете ответы, поправляю модельку: «но ведь они не делаются без добавок...» — и она исправляется, разделяя все блюда на «точно нет», «почти наверняка нет» и «безопасно» — где в «почти наверняка нет» попадает существенная часть ранее перечисленных «бегзглютеновых» блюд, с оговорками и без. Жизнь спасена, но со второго раза.
Попросил саму модель напомнить, где еще она лажала. Последняя неделя: — не смогла при подсчетах обратить внимание, что я попросил разделить пиццу из чека на троих — и поделила только после напоминания — нарисовала четыре одинаковых эскиза худи вместо четырех разных, как я ее просил — при планировании недельного маршрута в Киото с просьбой учесть, что несколько дней я проведу на Экспо, выделила мне на Экспо один день — при визуализации данных не догадалась, что если в столбце сразу два значения, не надо каждую пару считать отдельно за уникальное значение — 10 раз переделывала лэндинг, каждый раз ломая его в новом месте
...и это за неделю. Ту самую, в которую плавно проходит тектонический сдвиг в профессиях, массовый переход на ИИ-агентов, замена замен.
Перестал ли я от этого пользоваться ChatGPT — да нет, конечно. В сотне других задач она помогает отлично, а в этих все решалось одним (ну, почти всегда) дополнительным запросом.
Но не идеализируйте нейросети, они ошибаются — как и все мы.
