Сколько букв е в слове длинношеее?
Разминка на выходных (а чем ещё заняться утром в субботу 😎): Сколько букв е в слове длинношеее?
Россия: ⛔ Гигачат - 2 - увы!!! ✅ Яндекс Алиса - 3
Китай: ⚠️ DeepSeek R1 - 4 (в рассуждениях было 3, а ответ развалился) ✅ Hailuo.ai - 3 ✅ Qwen 2.5 - 3
Франция: ✅ Mistral - 3
США: ⛔ Gemini 1.5 и 2.0 - 5 ✅ ChatGPT 4-o mini - 3
В чем смысл теста и почему это важно? Умение нейросетей точно считать символы в словах — важный, но неочевидный тест, который напрямую связан с их архитектурой обработки текста. Ключевая сложность здесь — токенизация, то есть принцип разбиения текста на минимальные единицы (токены). Современные языковые модели (например, GPT, Gemini) работают не с отдельными буквами, а с субсловными токенами, которые могут объединять несколько символов. Например, слово «длинношеее» может быть разбито на токены как "длинн", "ошее", "е" — и тогда модель, ориентированная на токены, легко «потеряет» буквы на стыках.
Ошибки в подсчёте букв (как у Gemini, насчитавшего 5 «е») часто возникают из-за: 1. Смещения границ токенов (например, объединение «ее» в один токен), 2. Оптимизации для частотных паттернов (модели учатся на массовых данных, где редкие слова вроде «длинношеее» обрабатываются хуже), 3. Компрессии контекста — модели «сворачивают» повторяющиеся символы для экономии вычислительных ресурсов.
Этот пример показывает, что даже простые задачи требуют от нейросети двойной компетенции:
- Точной токенизации (особенно для агглютинативных языков, как русский),
- Способности переключаться между уровнями абстракции (от токенов к символам).
Успешное выполнение (как у Mistral или ChatGPT) говорит о гибкости архитектуры: модель либо использует мелкозернистую токенизацию, либо «достраивает» логику подсчёта поверх токенов. Такие тесты критичны для оценки применимости нейросетей в задачах, где важна символьная точность: парсинг кодов, лингвистический анализ, обработка узкоспециализированных терминов. Как видно из примера, ошибки в токенизации могут каскадно влиять на надёжность модели в реальных сценариях — от генерации API-запросов до медицинской диагностики по тексту.
P.S. Интересный факт: модель Claude 3, например, в подобных тестах иногда «переключается» в режим побуквенного анализа, явно декомпозируя слово — это пример адаптации под «слепые зоны» токенизаторов.
