В своем новом посте хочу поделиться с вами простым способом взаимодействия с локальными ИИ. Представляю вам LM Studio.

Интересная вещь, позволяет запустить чатгпт прям у вас на компьютере. Конечно, очень желательно иметь много ОЗУ и хороший ГПУ с ЦПУ, но и для не самых мощных машин будет интересно.

Существует такое понятие, как квантование, в мире ИИ. Я прям с головой в тему не погружался, но если в общих чертах, то для того, чтобы запустить ИИ на маломощном компе мы отказываемся от части производительности ЛЛМ, чтобы мочь запустить ее локально.

ИИ имеет такое свойство как количество параметров. Чем их больше, тем точнее и логичнее отвечает ИИ на ваши запросы, соответственно, чем их меньше, тем больше галлюцинаций (когда ИИ отвечает несуразицу). Понятно, что у таких ребят как гугл или фейсбук очень много ресурсов, потому говорить, наверное, про количество параметров не приходится. Небо - не предел.

Но когда мы говорим про домашние компьютеры или небольшие пулы компов, то выделяют модели от 1,5 до 20 миллиардов параметров. По заявлениям знатоков в интернете, пускай мы отказываемся от некоторой части адекватности нашего ИИ, но зато мы получаем невероятный буст производительности. Запускают даже на смартфонах.

Потому, когда будете выбирать себе модель, смотрите, чтобы в названиях были какие-то из этих чисел, иначе рискуете не взлететь :)

Сам менеджер ИИшек очень удобный, встроенный поиск по моделям, можно скачать любую поковырять, потренировать. Даже можно сделать API для своего домашнего проекта, например, чат-ассистента.

#ai #gpt #deepseek #llm