Сегодня утром ко мне пришла гениальная идея: создать собственную команду для пет-проектов, полностью состоящую из AI, где каждый коллега имеет свою роль (фронтендер, бэкендер, тестировщик, аналитик, копирайтер, маркетолог, продажник и так далее) и является экспертом в своей области. Да еще и таким экспертом, который будет получше любого настоящего человека, а самое главное — он будет бесплатным

Работает это так: 1. Берем самую лучшую опен сорсную модельку 2. Устанавливаем и запускаем ее локально 3. Создаем AI-коллег, каждый из которых имеет имя, персонализацию, понимает свою роль и имеет знания в своей области 4. Создаем чатик в Telegram, где у нас будет вся коммуникация (прямо как в Яндексе) 5. Создаем Telegram-бота для каждого AI-коллеги 6. Учим этих ботов читать сообщения, думать и отвечать на них

Таким образом у нас получается AI-команда, готовая совместно пилить пет-проекты. Да, это не полноценные люди, но на то они и бесплатные 😏

Я решил не откладывать эту идею и начать с того, чтобы попробовать запилить хотя бы одного AI-коллегу, но не мелочиться и сделать его экспертом во всем

Процесс был такой: 1. Установил Ollama — это тулза, которая позволяет устанавливать и использовать локально опен сорсные модельки. Классная штука, особенно для тех, кто не особо в этом шарит. Но применение достаточно базовое — можно "общаться" с моделькой только через терминал, да и при таком подходе у модельки нет "памяти", из-за чего каждый запрос обрабатывается в изоляции

2. Установил Open WebUI — это тулза, которая предоставляет интерфейс для использования локальных моделек, возможность натренировать их и дать им "память". Опять же, очень классная штука, которая предоставляет возможность привычного использования AI — интерфейс, где можно выбрать нужную модельку, а все использование разделено на диалоги

3. Выбрал опен сорсную модельку llama 3.2 на 3 миллиарда данных, хотя хотелось побольше. Для сравнения — у DeepSeek R1 671 миллиард данных

4. Создал своего AI-коллегу на базе этой модельки с помощью Ollama, прокинув кастомные настройки, которые сгенерировал с помощью другого AI (это где прописывается сущность и поведение модельки)

5. Решил посмотреть что получилось и начал задавать ему простенькие вопросы, и понял, что по-русски он не особо может отвечать — во время генерации текста начинает вставлять в предложения вообще непонятные языки. Пришлось пересоздать его с кастомными настройками на английском языке

Все это заняло лишь несколько часов, учитывая то, что я в этом практически ничего не понимал и во всем мне помогал Grok, AI от X

Таким образом, у меня получился не AI-коллега, а бесполезный AI-овощ 🤣, который не мог ответить даже на базовые вопросы, что уж говорить про совместную работу над пет-проектами. А еще, он дико нагружал мой ноутбук, при этом очень долго отвечая на вопросы

В общем, все оказалось не так уж просто: 1. Для использования хорошей модельки нужно хорошее железо, хоть игровую видеокарту покупай, а лучше — специальный сервер с железом для AI

2. Для использования модельки с большим количеством данных нужно много оперативки. Например, для использования DeepSeek R1 нужно минимум 64ГБ, а рекомендуется иметь хотя бы 128ГБ

3. Какой бы хорошей моделька не была, ее нужно тренировать под свои нужды, поэтому просто взять модельку, развернуть ее и начать использовать не вариант, это подойдет лишь для самых базовых нужд, где обычного поиска в гугле будет достаточно

4. Для тренировки модельки нужны данные, в идеале специально отобранные под конкретные нужды. Потому что загрузить в модельку весь интернет невозможно. Да и информации в интернете куча, но далеко не вся она является полезной и достоверной

5. Универсальных моделек не существует, каждая моделька хороша лишь в чем-то определенном, либо не хороша ни в чем. Поэтому нужно выбирать модельку под конкретные нужды, а не просто брать самую популярную

Поэтому я пока продолжу использовать ChatGPT и Grok, а к AI-команде вернуть как-нибудь потом, когда создать AI-коллегу будет попроще 😞

Подписаться — https://t.me/frontend_lair