Три решётки могут оборвать ответ ИИ на полуслове ✂️

В некоторых API и конструкторах есть stop sequence — заданная цепочка символов. Сервис следит за генерируемым текстом и прекращает выдачу, как только встречает её; сам маркер обычно в результат не попадает.

Допустим, вы выбрали «###» как разделитель. Модель решила оформить новый подзаголовок теми же знаками — и ответ внезапно закончился, хотя лимит токенов ещё не исчерпан.

Поэтому неожиданный обрыв не всегда означает сбой модели: проверьте stop-настройки и выбирайте маркер, который почти не встретится в обычном содержимом. Стоп-сигнал должен быть уникальным, а не просто красивым.

#ИИ #LLM #API

Три решётки могут оборвать ответ ИИ на полуслове ✂️
В некоторых API и конструкторах есть stop sequence — заданная цепочка символов | Сетка — социальная сеть от hh.ru