Запускать локальные LLM на своём железе уже давно не удел избранных с кластерами из H100. Или все же удел? 😁 🗓 1 мая в 18:00 по мск пройдет прямой эфир в «Точке Сборки». Будем разбирать установку и использование локальных моделей.

О чем пойдет речь: ▪️ Как выбрать подходящую модель под ваше железо, чтобы она не сожрала всю память системы и работала с адекватным TPS (tokens per second). ▪️ Поднятие модели в режиме чата для повседневных задач. ▪️ Подключение локальной LLM к агентной IDE (в качестве примера возьмем Kilo Code). ▪️ Маршрутизация запросов к локалке через LangChain. ▪️ Оно вообще надо?

Трансляция и запись будут доступны участникам «Точки Сборки». Оформление доступа происходит через бота: https://t.me/TScompiler_bot