Модель не помнит тебя. Совсем. Каждый раз, когда ты пишешь новое сообщение, она читает весь чат с начала: от первого твоего слова до последнего. Но читает не бесконечно.

Контекстное окно: оперативная память модели Контекстное окно (context window) это максимальный объём текста, который модель видит одновременно. Как рабочий стол: что на столе, то и обрабатывается. Что не влезло, того не существует.

Размер окна измеряется в токенах (вспоминаем урок 3). У популярных сервисов сейчас обычно от 32 000 до 200 000 токенов, у флагманов миллион и выше. Для примера: 200 000 токенов это около 150 000 слов на английском или 80 000 на русском. Целая книга, но не библиотека.

Что происходит, когда чат становится длинным Представь, что контекстное окно это контейнер фиксированного размера. Ты добавляешь новые сообщения, контейнер заполняется. Когда он переполняется, с другого конца начинают «выпадать» старые сообщения.

Модель их просто не видит. Она не знает, что пропустила что-то важное, и не предупредит. Она продолжит отвечать, опираясь только на то, что сейчас у неё перед глазами.

Отсюда знакомый эффект: в длинном разговоре нейронка «забыла» имя персонажа из начала, перестала держать заданный стиль, или повторно спрашивает то, что ты уже отвечал. Это не рассеянность, это механика окна.

Важно понять: это НЕ долговременная память - Контекстное окно это оперативная память, не постоянная. Закрыл вкладку с чатом, или начал новый разговор, и всё. Модель не помнит предыдущую сессию. Каждый новый диалог начинается с чистого листа. - Некоторые сервисы добавляют сверху «память» (факты о тебе между сессиями). Но это отдельная надстройка, а не способность самой модели.

Что делать на практике Несколько простых правил: - Важные инструкции повторяй ближе к концу переписки, не рассчитывай, что модель помнит начало чата. - Большую задачу разбивай на отдельные диалоги: переполненный контекст работает хуже свежего. - Если нейронка «поплыла», запусти новый чат с кратким резюме: что сделано и что дальше.

Попробуй сейчас Проверь, как это работает вживую. Открой любую нейронку и напиши вот это:

«Моё любимое число 743. Запомни его. Теперь поговорим о чём-нибудь другом.»

Потом задай 10-15 вопросов на любую тему. После этого спроси: «Какое моё любимое число?»

В коротком чате модель назовёт 743. Если сделать то же самое в очень длинном разговоре, нейронка может «забыть» или ответить неуверенно. Ты увидишь границу памяти в действии.

Завтра урок 5: галлюцинации, почему ИИ уверенно врёт.

Ставь 🔥, если теперь понятно, почему нейронка иногда «не помнит» начало разговора. #курс #спросинейронку