Почему ИИ долго молчит, а потом печатает быстро
У ответа языковой модели есть два разных этапа. Сначала она обрабатывает весь вход: ваш вопрос, историю переписки и приложенный текст. Этот этап часто называют prefill — до появления первого слова модель уже должна «прочитать» переданный контекст.
Затем начинается генерация: ответ выходит по токену, то есть небольшими фрагментами текста. Каждый следующий фрагмент зависит от предыдущих, поэтому они создаются последовательно.
Отсюда полезное различие: длинный документ может увеличить ожидание первого токена, а просьба написать огромный отчёт — общее время ответа. Если сервис тормозит, сравнивайте эти две задержки отдельно: причина у них может быть разной.
