В этом посте поговорим про методы эффективного промптинга, важность воспроизводимости аналитики и общем качестве нейросетевого контента. Коротко затронем уровень исследований в Сетке и как мы можем общими усилиями его повысить. Погнали!

Промпт-инжиниринг Давно хотел занырнуть в эту тему. В своих поисках наткнулся на видео от ребяток из Яндекса. Это хорошее вводное видео, плюс в нем есть ссылка на качественное исследование по составлению промптов «Principled Instructions Are All You Need for Questioning LaMDA-1/2, GPT-3.5/4». Исследование от 2024 года, и данные могли сильно устареть, поэтому я решил занырнуть и на основе схожих исследований и официальной документации составить актуальные рекомендации.

Полное описание и результаты можно глянуть у меня на гитхабе, здесь приведу лишь короткую сводку.

Топ-10 наиболее эффективных принципов: - Максимальная ясность и специфичность - Использование разделителей (###, “”, <, >) - Few-Shot промпинг (обучение на примерах) - Использование XML-тегов для структуры - Назначение экспертной роли (Persona) - Утвердительные команды (Do вместо Don’t) - Перефразирование задачи (Rephrase and Respond) - Добавление справочного контекста (Background Knowledge) - Декомпозиция (разбиение задачи на шаги) - Выходные праймеры (Output Primers)

Важные открытия: - Ceiling effect: Продвинутые модели (GPT-4o, Claude 3.5) обладают “ceiling effect” — промпинг становится менее критичным по мере роста модели - Step-by-step reasoning: Часто ведет к понижению accuracy в творческих задачах и персонализированных рекомендациях (против ожиданий) - High-performance LLMs: Простые промпты работают лучше сложных для топовых моделей - DeepSeek R1 особенности: Не использует system prompt и few-shot примеры (они деградируют performance)

Интересно, почему функционал сторонних сервисов по составлению промптов еще не включен в стандартный интерфейс LLM. Типо такого 🤔

Если дочитали до этого места — оставьте реакцию. Это удобный и быстрый способ выразить свое мнение и поддержать меня 💜

Воспроизводимость аналитики и факчекинг источников Давно ломал себе голову, как бы мне оформить полный набор данных и источников, чтобы любой желающий мог к ним обратиться и воспроизвести/проверить. Важно, чтобы доступ к платформе был открытый и возможен с любого устройства. Гитхаб — вот мое решение.

Гитхабом меня вдохновили Авито. Смотрите, какой у них сексуальный playbook.

Платформа дает просто ультимативное удобство для работы с аналитикой, поэтому я советую всем ее попробовать. Вот несколько самых важных качеств: - Гитхаб позволяет нативно просматривать файлы md (markdown) с любого устройства. Это основной текстовый формат при работе с LLM - Мне не нужно ничего конвертировать или обновлять руками. 2 команды в bash и полетели - Файл README позволяет подготовить исчерпывающее описание проекта. Он тоже в формате md, поэтому ты просто в конце своей работы просишь LLM поместить весь контекст из чата в файл README и не тратишь время на описание исследования и назначение файлов - Плюс работа с гитхабом очень простая. Вам вообще ничего не нужно знать. Достаточно прочитать любую статью, чтобы вникнуть в терминологию и принцип работы, а остальное могут делать даже отечественные нейросети - Бонус. Возможность откатиться с предыдущей версии файлов, если что-то пошло не так и вы потерли свои исходники

Главная цель, как я писал в начале, повышение общего уровня исследований в Сетке. Скажите, круто, когда ты просто переходишь по ссылке и там всё: - прямые ссылки на все источники - описание процесса подготовки исследования - полный текст рабочих документов/промптов - возможность быстро это скачать и провести собственную аналитику удобным для вас инструментом

Мое исследование из этого поста не идеально оформлено, но теперь я просто немного дополню свой процесс подготовки, и получится вообще булочка 🤤

Если у вас есть интересные материалы по теме поста обязательно делитесь в комментариях.

Всех обнял 💜