Оригинал: https://nikitayev.livejournal.com/150432.html

Я уверен, что в 2025 году для любого студента, который желает разобраться с тематикой практического применения ИИ и умеющего как отладить программу, так и сформулировать техническое задание — шанс устроиться в приличную фирму будет гарантирован. Студент способен сделать следующие вещи, после чего он станет весьма интересным как фирмам Заказчикам, так и фирмам Исполнителям. Есть достаточно большое количество фирм, которые выполняют крупные контракты на автоматизацию деятельности нефтегазовых, энергетических, государственных органов и прочих бизнесов и направлений. Каждый их программный, либо программно-аппаратный продукт весьма дорог — суммы за одну установку исчисляются миллионами и десятками миллионов рублей. Они с удовольствием выкладывают описание своей интеллектуальной собственности на своих сайтах, считая, что это просто реклама. Но в современных реалиях, эти подробные описания превращаются в заготовку для технического задания для ИИ. Конечно, многие менеджеры фирм верят в то, что если они не будут верить (извините за тавтологию) в возможность повторения своих продуктов с помощью грамотно подготовленного пользовательского промпта — то никто их разработку не повторит. Но, легко убедиться, что сегодня повторение программного продукта по описанию — это вполне себе доступная вещь и не относится к вопросам веры. Это будет лишь результатом методичного сбора информации, оформления, составления системного промпта, пользовательского промпта, правильных настроек большой языковой модели, нескольких итераций выполнения пользовательского промпта и отладки результирующего кода.

Необходимые ссылки

В папке на Яндекс диске выложил примеры пользовательских и системных промптов: https://disk.yandex.ru/d/iP_f37VTFKm_rA Кроме промптов выложены полезные утилиты и примеры выполнения стандартной задачи.

Подготовка системного промпта

В папке системных промптов (https://disk.yandex.ru/d/skzLwgcShs6UFg) можно найти различные варианты для кодогенерации:

1. промпты рассуждений внутри тегов 10 — 22 2. промпты продвинутых рефлексий 23 3. промпты для дискуссий между экспертами 24 (шизофрения) 4. промпты для моделирования работы коллектива вместе с начальником 25 — 28

В данный момент, модели типа O1 реализуют схему типа 23. Думаю, модели O2 и старше будут реализовывать схемы типа 24 (с несколькими специалистами). Логично предположить, что модели O3 будут пытаться реализовать схемы обдумывания типа моделей с начальником и подчинёнными.

Выбор LLM

Практика показывает, что самые мощные модели, пригодные для реализации процесса сложного обдумывания задач с моделированием виртуальными командами экспертов — это модели от китайцев — Qwen 2.5 72B Instruct и особенно — Athene V2 Chat. Тут будьте готовы купить 256ГБ оперативной памяти для возможности производить кодогенерацию с максимальными возможностями, но лучше купить используемый мной сервер на базе плат Huananzhi + 2CPU Intel Xeon + 512+ГБ оперативной памяти: Статья «Лучшие практики использования локальных больших языковых моделей для программистов» https://nikitayev.livejournal.com/149977.html К сожалению, большой размер контекста не делает модели LLama 3++ лучше, чем модели Qwen и Athene.

Особенности применения

Для того, чтобы увеличить контекстное окно можно применить прямое изменение его в LM-Studio. Да — гореть будет красным, но если модель качественно преквантована в F16 — то размер контекста обычно без особых проблем можно увеличить в 4 раза. В 16 раз увеличивать уже не получится, даже если квантование будет в F32. Т.е., размер контекста для модели Qwen 72B Instruct F16, которое по умолчанию равно 32768, можно увеличить до 131072. Athene V2 Chat не нашёл лучшего квантования, чем 8bit. Вероятно, тоже можно увеличить в 4 раза, но это надо проверять.

Видеоускоритель

От используемого видеоускорителя сильно зависит скорость работы LLM. Особенно это актуально для малых LLM и чуть менее актуально для моделей 70B и больше. Размер контекста также важен. Для миниатюрных LLM скорость кодогенерации на RTX 4090 24GB памяти может составлять 47 токенов/сек даже ..