Buying direct (c). Nvidia пыталась на прошлой неделе убрать еще набор потенциальных прослоек между своим железом и доставкой непосредственного Value потребителю, запустив систему деплоймента моделей NIM для генеративного AI.

Что про это известно:

  • Оно может напрямую запускать модели с Hugging Face в тяжелый продакшн за 1 клик (в целом на этом можно закончить, 99% специалистов по AI могут с этим работать)

  • Основные открытые LLM настроены в комплекте

  • Enterprise их обожает, например модель сразу применили в биотехе

  • Ну и просто у них длинный смписок медленных enterprise партнёров, например Siemens которые больше умеют в инновации чем средние мастодонты их размера

  • Технологически это в целом хорошо настроенный кубернетис для LLM.

  • Оно не имеет отношения к языку nim который стал на прошлой неделе сказочно популярным

#genai #kubernetes #nvidia
repost

33

input message

напишите коммент

еще контент в этом сообществе

еще контент в этом соообществе

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь