Mistral Small 3.1 (24B)
Мелкий Мистраль вышел для локальной установки, технические характеристики и преимущества:
- Размер: 24B
- Контекст: 128K токенов
- Скорость: 150 токенов/сек (vLLM в батче по 16 на 4xH100)
- Мультимодальность: есть
- Лицензия: Apache 2.0
Выбор для локального инференса гигантский теперь, и китайцы, и гигачат, и Gemma 3 (27b) от Google, и Микрософт phi-4, а теперь и мистраль...
А если локальные версии не устраивают (по любым причинам) - велкам в Яндекс или Сбер API. Других легальных вариантов для предприятий на территории РФ нет...
