Зачем Битрикс24 своя AI-платформа?
Сергей Нотевский — AI Lead в Битрикс24, руководит платформой, на которой работает весь AI компании: от транскрибации звонков до агента BitrixGPT. В новом выпуске обсуждаем, стоит ли компании разворачивать нейросети у себя или брать их как сервис (MaaS), как посчитать железо под открытую модель, почему бенчмаркам нельзя верить, что такое префикс-кэш, и при чём здесь четыре года работы фитнес-тренером.
Из выпуска вы узнаете:
• Чем разработка с AI похожа на менеджмент и кого из инженеров заменят первым? • Что такое MaaS (Model-as-a-Service) и за что вы на самом деле платите в цене токена? • Почему Битрикс24 развернул модели у себя и что это даёт клиентам? • Зачем писать свои тесты для моделей и почему бенчмаркам из релизов верить нельзя? • Что такое префикс-кэш и как он экономит до 95% стоимости входящих токенов? • Почему большое контекстное окно не гарантирует качество и что такое «гниение контекста»? • Какие роли нужны в команде AI-платформы и что такое Harness? • Почему модели галлюцинируют и что с этим делать разработчику? • Куда расти инженеру в эпоху AI и какой навык теперь важнее конкретных знаний? • Сколько стоит свой AI и что выгоднее — аренда GPU или закупка железа?
Рекомендую выпуск особенно тем, у кого сейчас остро стоит вопрос, разворачивать ли нейросети внутри своего контура. В этом выпуске мы собрали подробный гайд по теме self-hosted AI.
Приятного просмотра и прослушивания!
Смотреть на RUTUBE Смотреть на YouTube Слушать в Яндекс Музыке Смотреть в VK Видео Слушать в аудио
Мы с Серёжей когда-то просто стали читателями друг друга. Я уже не помню, кто на кого подписался первым, но его канал помню ещё с первой тысячи подписчиков (сейчас их почти пять, го добьем!). Из переписки в личке выросла договорённость о подкасте, а на записи я немало удивлялся. Битрикс помню со времён своей первой работы в студии, когда мы собирали на нём интернет-магазины, и по не самому приятному переезду с него на самописную платформу в МТС. То, как ребята прокачали продукт и адопшн AI сегодня, выглядит совсем иначе: даже захотелось снова попробовать Битрикс в работе и ощутить все эти фичи в каждодневном взаимодействии.
Ставьте реакции, жмите колокольчики, шерьте друзьям и коллегам, и конечно же, пишите обратную связь, потому что это все поможет мне продолжать и улучшаться. 🙏
