Число вместо текста
6 октября 2026 года OpenAI открыла публичную бету Decisions API: вместо текста модель возвращает типизированный ответ, вероятность утверждения, выбор из списка или оценку по шкале, примерно в 10 раз быстрее Responses API, и стоит это $0,10 за миллион входных токенов без платы за вывод. Неделей раньше, 2 октября, SGLang 0.5.21 добавил такой же эндпоинт /v1/decisions для любой открытой модели на своих GPU: вероятность каждого варианта читается из оценок следующего токена, текст не генерируется.
Привычная схема: просим модель написать «да» или «нет», парсим строку, молимся, чтобы модель обошлась без абзаца рассуждений. Новый формат убирает парсинг и даёт число, которое можно сравнить с порогом.
Что это меняет в продукте: 1. Маршрутизация запросов, модерация, приоритизация тикетов становятся дешёвыми и быстрыми вызовами. Решение приходит числом, и порог настраивается под цену ошибки в каждую сторону. Один и тот же вопрос можно задать тысячам объектов за минуты.
Где ловушка. Документация SGLang прямо пишет: ни одно из этих значений не является откалиброванной вероятностью того, что решение верно, и ответы могут сдвигаться на несколько сотых между холодным запросом и запросом из кэша префикса. OpenAI советует выбирать пороги исходя из стоимости ложных срабатываний и пропусков.
Что проверить перед тем, как ставить такой вызов в продакшен: - есть ли размеченная выборка из вашего потока, по которой выбран порог: «0,5» из головы порогом считаться не может; - что происходит с объектом, попавшим в серую зону рядом с порогом: очередь на человека или автоматическое решение; - как часто пороги пересматриваются после смены модели.
Модель-классификатор за $0,10 за миллион токенов это датчик. Калибровка датчика остаётся на вас.
