Модель не пишет текст, а решает. Аналоги — за 2–4 недели

Стартап выпустил первую модель нового класса: она не пишет текст, а принимает решения. По описанию разработчика, она получает состояние программы и вопрос заданного вида и возвращает типизированный ответ — вариант из списка, балл по шкале или вероятность «да» — с откалиброванной вероятностью. Она заменяет шаг «спросить языковую модель узкий вопрос и разобрать ответ». Главный довод сторонников — экономика: ответ приходит за миллисекунды, выходные токены бесплатны, входные на одной из площадок (для прошлой версии) стоили около четырёх центов за миллион.

Судя по срокам, прочной защиты от повторения у первой модели не оказалось. Она вышла, по имеющимся данным, в середине сентября, а по сообщениям самих вендоров, уже в течение двух–четырёх недель похожие продукты появились у нескольких крупных вендоров: у одного публичная бета открылась 6 октября, у другого 1 октября вышла версия с открытыми весами. На техническом форуме один из участников спросил, как столько людей собрали такие модели за дни или недели и легко ли их скопировать.

О сути спорят: прорыв или откалиброванный классификатор, обёрнутый в удобный интерфейс. Один из комментаторов называет модель классификатором, который выдаёт заранее заданные ответы. Другой, обсуждая проект с рассуждением перед ответом, возражает: так пропадает главное преимущество — один прямой проход и дешёвые откалиброванные вероятности.

Со стороны ответ стартапа выглядит как скорость релизов и охват. В версии 1.14 от 14 октября изображения, рамка на изображении и длинный контекст доступны за экспериментальными флагами; блог стартапа сообщает, что предыдущая версия «всё это время была мультимодальной», а для продакшена эти функции пока «слишком неровные». Модель можно запустить на нескольких площадках. Название класса, которое ввёл стартап, по словам автора самого популярного поста по теме, никто не использует: модель называют «моделью решений».