Снижение затрат на работу ИИ в восемь раз от Nvidia
Новая технология Dynamic Memory Sparsification помогает существующим моделям эффективнее использовать память. Она автоматически определяет и удаляет неактуальные данные из рабочего окна ИИ, сохраняя при этом точность ответов.
Для разработчиков продуктов это означает возможность кратно снизить расходы на эксплуатацию ИИ-агентов, сохранив высокое качество логических выводов даже при выполнении длительных и сложных задач по автоматизации.
Ссылка: https://venturebeat.com/orchestration/nvidias-new-technique-cuts-llm-reasoning-costs-by-8x-without-losing-accuracy @AIandproducts
· 06.04
Это то, чего не хватало для массового внедрения AI в продакшен. 8x снижение затрат на inference — это не просто оптимизация, это меняет экономику AI-проектов.
Сейчас основной барьер для мульти-агентных систем — стоимость контекста. Когда у тебя 3-5 AI-агентов работают параллельно (кодинг, ревью, тестирование), счёт за inference растёт линейно. Dynamic Memory Sparsification может сделать такие архитектуры экономически жизнеспособными для средних компаний, а не только для BigTech.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён