Короткие новости про ИИ
По простому объясняю что происходит в ИИ Если коротко: небольшие модели набирают силу
🧪 Наука: Пять копий небольшой модели обошли крупную на задачах по коду — схема Memdoor Не «одна умная», а «пять средних, работающих вместе». Идея простая: вместо одной большой модели запускают несколько экземпляров небольшой — и они вместе решают задачу. Схема называется Memdoor. Подробностей мало, но направление понятно: ансамбль из пяти «средних» обходит одного «гиганта» на коде. Почему это может работать. Большая модель сильна широтой, но на конкретной задаче — дописать функцию, найти баг — ей часто мешает лишнее знание. Небольшая модель, сфокусированная на задаче, ошибается реже. А пять таких, работающих параллельно и сверяющих результаты, компенсируют ошибки друг друга. Это не магия, а статистика: если каждая ошибается в 15% случаев, но в разных местах — ансамбль точнее. Что это меняет: если пять маленьких обходятся дешевле одной большой — экономика инференса переворачивается. Считать надо не «сколько параметров», а «сколько копий, как собрать и сколько они будут думать». Это та же история, что со свёрточной сетью, которая обошла большие модели в диагностике рака: «больше» перестаёт автоматически значить «лучше». Узкая задача и правильная организация могут дать больше, чем апгрейд модели. Если пишешь код с LLM — попробуй вместо одной большой две-три маленькие с проверкой результата. Цена эксперимента — почти ноль.
Кто уже пробовал гонять код через несколько моделей и сверять — что оказалось: быстрее, точнее, или просто дороже?
Это 🧪 Наука, рубрики: , ⚖️ Политика; 🛡 Безопасность; 🇷🇺 Россия выложу позже про бизнес - https://set.ki/post/i2VUCDJ Релизы - https://set.ki/post/PyxiUig