Глава 2: Токены, векторы и предсказания — как модель «читает» текст 🔍

Когда вы пишете запрос, модель не видит «слова» так, как мы. Для неё текст — последовательность токенов 🧩. Токен — кусочек текста: слово целиком, часть слова, знак препинания. Пробелы обычно входят в состав токена, а эмодзи могут дробиться на несколько токенов 😀. «Автоматизация» может разбиться на «авто», «мати», «зация», а «деплой» остаться одним токеном. Разбивка нужна, чтобы модель работала с любыми словами, включая редкие, новые и опечатки. Токенизатор — первый фильтр между человеком и нейросетью: он не понимает смысл, но аккуратно режет текст на кусочки, как повар, который не спрашивает, зачем вы принесли ананас, а просто шинкует 🔪.

После токенизации каждый токен получает начальный вектор — набор чисел, кодирующий его «стартовый» смысл. Но это только начало. Дальше на каждом слое вектор уточняется с учётом контекста 🧠. Поэтому один и тот же токен в разных предложениях получает разные векторы. «Ключ» в «я потерял ключ от квартиры» и «ключ к решению задачи» — уже не один и тот же вектор. Представьте многомерную квартиру 🏢, где слова живут не по прописке, а по ситуации: сегодня «кошка» рядом с «собакой», завтра — рядом с «мурлыкать». Модель знает, кто с кем рядом в конкретном контексте. А «деплой» и «пятница» иногда оказываются в одной комнате 😅 — отсюда и все проблемы.

Дальше архитектура пропускает векторы через множество слоёв 🧱. В генеративных моделях используется causal attention: модель видит все предыдущие токены, но не будущие. Это как читать слева направо: следующее слово ещё не известно. Поэтому «ключ» в «я потерял ключ от квартиры» — предмет, а в «ключ к решению задачи» — метафора. Хотя когда в два часа ночи падает прод из-за потерянного ключа от API, это и предмет, и метафора, и повод пересмотреть приоритеты 😴.

На каждом шаге модель предсказывает, какой токен вероятнее всего идёт дальше. Она делает это много раз, формируя ответ токен за токеном 🔮. Генерация похожа на поток сознания: модель не «знает» ответ целиком, а собирает его по кусочкам. Как выбрать следующий токен — тема отдельной главы про алгоритмы генерации. Там будут temperature, top-k, top-p и другие ручки 🎛️, которыми можно сделать ответ скучным, креативным или опасно уверенным.

К 2026 году контекстные окна выросли 🚀. По анонсам, Kimi K2.6 держит 256K токенов, Qwen3.6 — 262K, а Titans от Google, представленная в начале 2026 года, эффективно обрабатывает 2+ миллиона токенов без падения точности. Ранние трансформеры ограничивались 512–2048 токенами, позже — 4096; расширение требовало RoPE и ALiBi. Теперь модель может прочитать целую кодовую базу или геном — и не забыть начало к концу.

Но проблемы остаются. Даже с контекстом в миллион токенов работает «lost in the middle» 🧭: в среднем модель лучше помнит начало и конец запроса, а середина «размывается». Совет остаётся: важные инструкции ставьте в начало или конец промпта, а не в середину 📌. Как в жизни: начало и конец запоминаются лучше. Особенно конец, если это конец смены 🕔.

Наконец, предсказание следующего токена — мощная, но ограниченная механика ⚠️. Она отлично справляется с языком, но не гарантирует точность фактов. Если факт важен, попросите модель дать источник и проверьте его отдельно — это снижает риск ошибки. Поэтому ответы LLM полезно проверять 🧐, особенно в медицине, праве и точных расчётах. И если модель уверенно советует «просто перезагрузить сервер» как решение любой проблемы — не спешите 🔌. Возможно, в обучающих данных было слишком много таких советов. А возможно, она выучила, что это самый частый ответ в IT-поддержке, и повторяет его с умным видом. Этим она, кстати, ничем не отличается от реального саппорта 😂.

Итог: токены — то, что модель видит; векторы — то, как она понимает контекст; предсказание следующего токена — то, как она говорит 🗣️. Контекст — её оперативная память 🧠, а ограничения — напоминание, что даже большая модель не истина в последней инстанции 🧾. Понимание этой механики помогает писать промпты ✍️, проверять ответы ✅ и не ждать от LLM чудес там, где нужны факты, логика и чашка кофе ☕.