Алексей передаёт с места событий, наш специальный корреспондент по Jev.
Вышла Julia 1 от Supersonic Labs — такой локальный Jev. Идея та же: даёшь контекст, вопрос и варианты ответа, модель выбирает лучший и ставит оценки. Только весит 144 млн параметров, работает на CPU, а веса открыты под Apache 2.0. Обучение, говорят, обошлось в $104.
В анонсе пишут, что на Typed Decisions она даже чуть обходит Jev: 73,15% против 72,7%.
Алексей погонял её у себя на ноутбуке. Вердикт: «Юлька хороша, но Джев работает лучше».
Что мешает: — нормально держит около 1024 токенов контекста, хотя заявлено 8192. У Jev — 64к; — от 2 до 20 вариантов ответа, у Jev — до 255; — это не RLCD, как Jev; — похоже, на каждый вопрос заново читает весь контекст, даже если вопросов к одному тексту несколько.
Тест такой: 144 новости, 32 категории, которые пересекаются между собой, эталонную разметку делал отдельный ИИ. F1 у Jev — 59,1%, у Julia — 20,2%. С более сложной обработкой Julia доходит до 29%, но работает в 13 раз дольше.
Скорость мерили на M1 Pro с 16 Гб: MLX-сборка прогнала 160 материалов за 29,9 секунды, на CPU вышло 87,1. Быстрее почти втрое, но точнее не стала.
Зато у Julia есть то, чего нет у Jev: всё работает локально, данные никуда не уходят, квот нет. А Jev при прогоне корпуса отклонил 142 запроса из 1300.
Итого: если задача простая и описание влезает в 1024 токена, Julia справится. Всё остальное пока к Jev.
