Майкрософт представил ИИ, который работает на обычном PC.
Эпохальная новость, я считаю: На днях Microsoft открыла исходный код искусственного интеллекта, работающего на обычном CPU без дорогой видеокарты.
«Новый фреймворк BitNet.cpp позволяет запускать модели сжатого ИИ на стандартных процессорах.
1-битные LLM используют 1 бит для каждого параметра, что значительно снижает требования к памяти. Модель BitNet1.58 от Microsoft уменьшила размер модели с 26 ГБ до 0.815 ГБ для модели с 7 млрд параметров. Это делает возможным запуск таких моделей даже на смартфонах.»
Вообщем, пока вот это вот всё не началось, заказывайте у меня инстансы с GPU для работы ваших моделей!
