Рецепт прост, нам понадобится:              Три поломанных телефона на процессоре Snapdragon 7x/8x Gen * 1 ноутбук с RTX 3060M (6 GB RAM), 32 GB RAM * Prima.cpp или свой форк с закольцовкой вычислений.             Модель с RU-корпусом, более-менее не тупая, без галлюцинаций, с возможностью рассуждать. Выбор пал на сборку от Microsoft Phi с 14 миллиардами параметров (14B) - этого достаточно для качественного инференса. Но всё очень медленно, с одним ноутом порядка 2-4 токенов в секунду на пике.              Поэтому такую тяжёлую модель для нашего самопального сервера нужно "сажать на диету":  квантуем до двух бит * пакуем 4 таких веса в 1 байт иначе не сохранить, зануляем ненужные веса, далее дистилляция на друге по умнее, чтобы не тупила на выходе…              Уже лучше - порядка 8-10 токенов, но всё ещё недостаточно плавно.       Теперь нам понадобится помощь друга точнее. друзей :)     (3 телефонова).              Запускаем модельку в телефонах и слушаем сервер, распределяя вычисления.              Вуаля! Мы добились высокого инференса - до 15 токенов в секунду, это уже юзер-френдли на домашнем ноутбуке. Далее можно для удобства Telegram-интерфейс подпитать - и не нужно платить без смс и регистрации, так сказать :)). Пользуйтесь на здоровье своим GPT!