Даже малые языковые модели могут как Chat GPT
Я каждый день подбираю системные промпты. Получаю очень хорошие результаты.
Качество результата зависит от нескольких моментов: 1. Юридически точная формулировка исходного ТЗ. 2. Юридически точная формулировка промпта для изменения ТЗ. 3. Юридически точная формулировка промпта для запуска кодогенерации по модифицированному ТЗ.
Фактически, для малых LLM формирование системного промпта - это тоже программирование.
Очень важно ссылаться на другую часть промпта используя точную её формулировку. Необходимо быть внимательным в этом вопросе.
И, как сказано в статье - необходимо и системные и промпты основного задания, составлять используя формат Markdown.
Также, чаще всего, формат системного промпта - ChatML.
Все остальные настройки LM-STUDIO также важны и влияют как на качество результата, так и на скорость.
К примеру, не нужно завышать количество слоёв для разгрузки на GPU.
Статья про правила создания промпта с примерами: https://nikitayev.livejournal.com/147383.html
Просьба - распространяйте знания. Не держите в себе.
P.S. Те примеры промптов, что раскиданы по Сети - весьма просты и для разработки подходят слабо.
· 29.10.2024
Вышло PocketPal AI — приложение для локального запуска языковых моделей на смартфоне https://habr.com/ru/news/854178/
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён