Как я на самом деле использую нейросети в работе с данными ссылка на предыдущий пост Про выбор модели

Я использую только платные облачные модели. Мой текущий топ: Claude Sonnet, Claude Opus, Gemini Pro. Если нужно обработать большой массив без глубоких вычислений — Gemini Flash: быстрая, дешёвая, с огромным контекстным окном. Всё остальное не использую. GPT — потому что блокирует доступ по API без VPN. Разные дипсики и квены — неплохи для своего уровня, но я предпочитаю заплатить и быть уверенным, что задача будет выполнена на максимум из возможного. Локальные модели пока слабые. Вернее, сильные вы на своей машине не запустите — только урезанные квантизированные версии. Про настройки

Две вещи, которые я выставляю всегда: Первое — reasoning на максимум. Это режим, в котором модель думает над задачей перед тем, как начать её решать. Разница ощутимая. Второе — температура 0.1. Это настройка, которая отвечает за «случайность» ответа. На минимуме модель выдаёт наиболее предсказуемый, детерминированный результат. Если спросить одно и то же дважды — ответы будут почти идентичны. Чем выше температура, тем больше вариабельности. Для стихов — высокая. Для анализа данных — низкая.

Про контекст

Есть исследование, что на второй ответ в одном диалоге модель теряет около 20% своей мощности, на третий — около 45%. Поэтому я рестартую беседу после каждой итерации. Один расчёт — один диалог. Если работаю над большим проектом — загружаю в модель весь контекст сразу: все данные, все вводные, всё, что есть. Это называется режим CAG. Модель лучше ориентируется, когда видит картину целиком.

Про формат данных

CSV — предпочтительный формат. Меньше риск неправильного парсинга. Числа — с точкой как разделителем, без лишних символов и пробелов.

Лайфхак: если данных немного и модель мультимодальная — иногда проще загрузить скриншот таблицы. Визуальное распознавание бывает точнее текстового парсинга. Проверяю опытным путём каждый раз.

Потому что Gemini, например, очень любит терять информацию из середины того, что в неё закидываешь — это прям прослеживается на генерации кода. Когда она тебе возвращает код, начало и конец у которого нормальные, а середина куда-то пропала. Тут я, конечно, вижу связь и с человеческим форматом мышления, мы тоже любим забывать часть информации для сохранения энергии на затратные процессы мышления, но тут же нейросеть, камон, она и сделана, чтобы таких казусов не возникало. Решается подбором другой модели под задачу.

Про промпты

Несколько инструментов, которые я использую сам:

— Роль. «Действуй как аналитик данных» — это способ сузить поиск модели до нужного контекста. Она начинает ориентироваться на аналитические паттерны, а не на всё подряд.

— Сначала скажи, как ты понял задачу. Похоже на психологический приём, когда ты пересказываешь собеседнику то, как ты воспринял информацию для того, чтобы вы были на одной волне, так как напрямую мозг в мозг мы ещё не общаемся (привет, neurolink). Так что это работает.

— Действуй пошагово и задавай вопросы, если не хватает контекста. У меня задачи почти всегда сложные, поэтому сразу сгенерированный ответ почти никогда не подходит. Лучше пусть модель спросит, чем додумает.

— И последнее, которое я добавил недавно: «Не беспокойся о моих чувствах — беспокойся о результате». Модели склонны соглашаться и приукрашивать. Это ломает аналитику.

Про промпты — главное

Я не собираю чужие промпты и не советую этого делать. Чужой промпт — это чужой контекст. Он написан под другую задачу, другие данные, другое понимание проблемы. Лучше один раз описать свою задачу своими словами. Если задача повторяется — попросите модель самой написать под неё промпт в JSON или XML. Это займёт минуту и будет точнее любого шаблона из интернета.

В следующем посте — про прогнозы. Почему просить ИИ дать прогноз — это примерно как раскинуть карты Таро. И что с этим делать.

В этом посте были ссылки, но мы их удалили по правилам Сетки