В пятницу вечером чаты в офисе притихли, появился творческий порыв

Решаю «быстренько» поднять на ноутбуке нейросеть. Финальные титры — в половине третьего ночи 🫠

Вместо выводов: облачные ChatGPT и Claude умнее всего, что влезет в ноутбук. Но кроме работы у меня канал, подкаст, выступления, инфопартнерства, черновики, идеи, пет-проекты и личное. Захотелось своего ИИ, который живет в ноутбуке и никому ничего не рассказывает.

Самая сильная модель, которую можно скачать себе, — лишь 16-я в общем рейтинге по бенчмаркам. И даже этот монстр в мой MacBook Pro M5 Pro на 24 ГБ не влезет. Взял поскромнее — Gemma 4 26B от Google. В ней 26 млрд параметров, но на каждое слово просыпаются ~4 млрд — как офис, где отвечает один нужный отдел.

— Запускаю в LM Studio. — Выключил Wi-Fi — отвечает. — Победа? — Разумеется, нет.

Дальше написал скрипт-стажера: он режет выгрузку Telegram-чата на куски, модель читает каждый и сводит выжимку.

И начался квест 👇 🎮 Уровень 1. Telegram пишет даты словами. Стажер не понял и вместо сводки за неделю притащил 23 000 сообщений. 🎮 Уровень 2. Модель-философ: перед ответом пишет себе черновик размышлений и тратит на него все место. Ответ — пустота. Запретили думать вслух.

👾 Босс. «Рабочий стол» модели — сколько текста она держит в голове. Ставлю двадцать страниц, она работает с пятью. Перезагружаю — пять. Еще раз — пять. Баг LM Studio: в формате MLX модель сама решает, сколько памяти взять.

💀 Кульминация. Модель пишет: «Вы не предоставили промежуточные результаты». Текст не влез, и LM Studio молча вырезал середину, как будто из письма выдрали страницы 😅

🏆 Развязка: та же модель в формате GGUF — кино то же, плеер другой. Неделя переписки — выжимка за минуту, задачи за 47 секунд.

О скепсисе. К «вторым мозгам» и ИИ-агентам, с которыми недавно все носились, отношусь осторожно. Хайпа много, историй «экономит пять часов в неделю» почти нет. Проверяю по одному сценарию: не экономит время — выкидываю.

А вот что реально прикольно — смотреть, как модель думает 🌚 Облачные рассуждения прячут или показывают пересказ, а локально видно все. Наблюдение: Gemma рассуждает по-английски, а отвечает по-русски. И видно, как она пересказывает себе мои правила — отличный отладчик промптов.

Следующий эксперимент — подсунуть в письмо «игнорируй инструкции» и посмотреть, заметит ли она подвох. Правда, рассуждения — не стенограмма мыслей: в черновике модель может написать одно, а ответить по другим причинам.

Итог: это не замена облаку, а личная песочница и сейф. Публичное → в облако, личное → локально.