Про систем 1 модели

Я уже какое-то время наблюдаю за тем, как мы все работаем с нейронками и как на их базе строятся продукты. Зачастую, сложная задача просто заливается токенами, а напоминаю, токены живут и вычисляются в дата-центрах, которые: а - имеют ограниченное количество и может так статься, что их мощности (и мощности производителей железа) могут не поспевать за растущим спросом б - дата-центр может быть уничтожен ;)) в - ну, токены стоят денег

Поэтому у меня вызывают тревогу такие неоптимизированные системы и поэтому я в восторге от систем 1 моделей. Самая первая из них называется Jev, а не так давно видела открытую модель Laya - еще не пробовала.

Модель Jev от компании TypeSafe AI называется System One (в честь «Системы 1» из книги Даниэля Канемана «Думай медленно… решай быстро»), потому что она создана для мгновенных, интуитивных и автоматических решений без генерации длинного текста

В чем суть: это не большие языковые модели (к которым мы все уже привыкли), которые работают как предиктор следующего токена, а маленькие модели, работающие только на трех примитивах. Человеку ответы модели нативно понятны не будут и в этом-то и кайф - эта модель не для человека. То есть это не новый смартфон с клевым дизайном, это крутые умные шестеренки. Я очень хочу попробовать интегрировать эту модельку в своего сахарного ассистента - как раз проверю что там как по оптимизации и точности работы;

Если интересен подробный технический разбор, то тут есть неплохой текст на Хабре