Яндекс выложил в открытый доступ модель, которая отвечает в Поиске Alice AI Search Pretrain обучена с нуля и используется как основа быстрых ИИ-ответов под поисковой строкой. Модель содержит 35 млрд параметров, но при обработке одного токена активирует только около 600 млн — меньше 2% всей архитектуры. (Яндекс)

Почему это важно 🤝

Это пример, как большая модель может работать без постоянного включения всех вычислительных ресурсов.

Для бизнеса это означает более дешёвые и быстрые сценарии: поиск по внутренним документам, классификация обращений, ответы клиентам и обработка больших потоков запросов.

Реальный вывод:

Размер модели сам по себе ничего не гарантирует. Важнее, сколько вычислений требуется для конкретного ответа. Что сделать уже сегодня 🤝

Если компания использует локальные ИИ-модели, проверьте, обязательно ли запускать большую универсальную модель.

Для задач вроде поиска по базе знаний или сортировки обращений может хватить компактной модели с подходящей архитектурой.

Исходники и веса доступны на Hugging Face под лицензией Apache 2.0. (Яндекс)