Месяц тестирую ИИ-инструменты, которые разбираются в ваших клиентах. Делюсь наблюдениями 🧠
Один из сильнейших экспертов по продукту в РФ Иван Замесин выложил в открытый доступ набор скиллов для нейронок. По сути это готовые инструкции, которые превращают нейронку в продуктового аналитика, работающего по его методологии. Задача, под которую они созданы: разобраться на ваших реальных данных, кто ваши клиенты, зачем они на самом деле покупают и что им предлагать. С упором на выводы из данных от клиентов.
Я почти месяц применяю их на двух клиентских проектах и своём продукте. За это время полноценных кастдевов мы не проводили. Но получилось применить их к анализу данных из переписок и звонков с клиентами.
Под какие задачи подходят прямо классно: Сегментировать клиентов по тому, зачем они покупают. На одном проекте инструменты разобрали 125 сделок из CRM и звонков и собрали карту таких групп с цитатами клиентов. На другом переварили 732 обращения из чатов на сайте. Сравнивал с результатами реальных кастдевов. Точность получилась высокая. Причем нейронка честно выдала, что не смогла выявить личные работы.
Сформулировать, что предлагать каждой группе. С разбором, по каким критериям эта группа выбирает поставщика и чем её цеплять. Привязка идёт к данным из сегментации. Единственное — для хорошего результата надо выдать хорошую фактуру о компании.
Подсказать следующий шаг. В наборе есть режим советника: обсуждаешь с ним ситуацию, он говорит, что делать дальше. Подсказывает, куда идти, а что пока делать не надо. Например, не делать дорогое исследование рынка, потому что оно продублирует уже собранное. Или что вместо создания продукта гипотезу можно быстро проверить через интервью.
Пройти первые шаги в стартапе или новом продукте. Прогнал с этими скиллами идею для нового продукта. Тут скиллы раскрываются лучше всего. Прямо по шагам ведут, что лучше делать в конкретный момент времени. Огонь!
Нюансы, которые стоит учитывать: Сегментацию клиентов нельзя принимать как есть. Обязательно проверяйте через своё понимание рынка. У меня стабильно 1-2 сегмента из выдачи требуют корректировки. Пример: нейронка выделила «тендерные закупки» в отдельную группу, а тендер не группа клиентов, а способ закупки. Через него покупают совершенно разные компании с разными целями.
Плохо сохраняют источники фактов. В готовых файлах нет ссылок, откуда взята информация. Спустя пару недель захотел скорректировать выводы и упёрся: непонятно, какие клиенты к какому сегменту относились и на какие цитаты опирались. Пришлось прогонять анализ повторно, а это время и деньги. Теперь требую сохранять источники прямо в результатах.
Единичный случай раздувается до системного вывода. Один клиент что-то сказал, и вот это уже «главная проблема всей группы». Но это принципиальная проблема работы с нейронками. Есть правило, что должно быть 3+ случаев. Но нейронка регулярно на него забивает. Приходится ловить самому.
Проверка другой нейронкой решает. Основной анализ у меня делают модели Anthropic, а результат отдаю на ревизию нейронке от OpenAI. Они отлично контролируют друг друга. Был показательный случай: проверка через Opus сказала «ошибок нет», GPT нашел 14 недоказанных утверждений.
Есть порог входа. Внутри своя терминология и своя методология, тем, кто не в теме, будет тяжело. Лайфхак: тот же режим советника умеет объяснять логику методологии простым языком. Базу рассказывает неплохо, дальше можно задавать уточняющие вопросы.
Главный вывод: это сильный помощник, но он не заменяет вашу экспертизу. Насмотренность и понимание рынка нужны, чтобы отличить рабочую группу клиентов от красивой галлюцинации. Если полениться и не отловить косяки на старте, то потом вся работа пойдёт насмарку. Проверено на личном опыте 🙈
Кому интересно посмотреть сам набор: https://github.com/zamesin/Next-Move-Theory-Canon-and-Skills
· 22.07
Два года тестирую разные ИИ на предмет маркетинговых исследований. Вопреки дифирамбам, которыми полна сеть, ни разу не получил удовлетворительного результата. Проверял на маркетинговых исследованиях, которые делал сам вручную. На небольших рынках. Западные ИИ неспособны выдать точную информацию по российской экономике вообще. Плюс транслируют на нее проблемы, специфику западных экономик, которых в России просто не существует. Российские ИИ с задачей не справляются - в лучшем случае охватывают 30% рынка. Достаточно попросить просто составить список конкурентов. Пока что максимум, что можно поручить ИИ - распознавание речи, первичный сбор информации, легкий код. То есть, полуфабрикаты, из которых дальше самому нужно готовить блюдо. При этом замечу, на Западе есть интересные продукты, где ИИ является лишь частью цепочки, выдающие неплохой результат. Но в России они бесполезны, поскольку у нас нет LinkedIn, а market intelligence крайне дорог.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 23.07
отмечу еще как они путаются в узких сферах и могут создать кашу полную. Отчасти тоже вопрос и русской терминологии.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 23.07
Однако не согласна с вашими поручениями - ИИ хорошо делают презентации, визуализацию данных, быстро собирают таблицы сравнений, если ты дал им точную базу для анализа. Могут делать саммари, выводы из собранных текстов/расшифровок звонков.
Эти функции 100% нужно использовать в работе. А еще руководству нравится, когда приносишь ИИ-презы или ИИ-визуализации данных/борды, ибо ты сразу сотрудник продвинутый и экономящий бюджеты компании 😄
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 23.07
По поводу саммари я бы согласился, но только вот в чем загвоздка: Ветхий Завет один, а из него три религии получилось. Как так могло произойти? Так и с саммари. С чего вы решили, что ИИ "правильные" выводы из стенограммы сделал? Почему вы ему вообще доверяете?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 23.07
Религия и трактовка святых писаний это прямое следствие мотивированного человеческого намерения и действия. У ИИ нет мотивации, он глух к ней. Да, у ИИ может быть сложно с пониманием контекста в части звонков в очень узкой области и когда сами люди бы три раза запутались, но делать оценку звонков продаж он может. Не раз делала через него расшифровку и саммари - очень ускоряет работу мою, нужны минимум корректировок было + прикладываешь документ со всей в почту для подтверждения своих слов, всегда доступный исторический артефакт.
ИИ хороший помощник все таки. Но надо его настроить под свой бизнес и оттестировать. ИИ прекрасно могут описывать всю свою логическую цепочку.
При этом никто не говорит о 100% приема на веру решения, но анализ ИИ может дать очень полезный вектор для начала анализа, сигнализировать о проблемах раньше, чем они отразятся на результатах.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 17.08
Подтянулись у меня новые данные. Поэтому могу сказать так. Если пользоваться обычным чатом, то действительно получается пересечение ≈30% с данными реальных кастдевов. Т.е. ≈70% это галюцинации.
Но если добавлять им инструменты и давать алгоритмы, то данные сильно меняются. В рознице, где много отзывов, можно массово подтягивать данные из них, то можно уже получать весьма неплохие перечини факторов выбора и болей. Главное ставить задачу — сначала собрать данные, а потому уже делать выводы.
По B2B хорошо работает только связка с источником данных (записи разговоров менеджеров, переписок или реальных кастдевов) и четкой механикой как это обрабатывать.
Для сборов данных по конкурентам еще важно дать нейронке доступ к поиску в Яндексе и логику сбора конкурентов.
Ну и без экспертизы ошибки всё равно будут копиться и уводить не туда. Если не контролировать промежуточный результат, то через 7-10 шагов получается булшит.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 17.08
Так самому можно и задавать логику создания саммари. Тогда оно будет подходить под твои задачи.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 17.08
Хорошо настроенный ИИ это куча освобождённого времени по анализу отзывов, тестовых переписок, звонков😋 Со звонками вообще хорошо - ИИ и голос в текст переведет и анализ потом сделает.
Раньше звонки приходилось слушать именно, сейчас кайф просто читать, ибо даже самому это в разы быстрее
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 17.08
Часто это кучу времени, которое потрачено на другую работу. Освобождения времени как то не получается 😭
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 17.08
А этом и смысл новой реальности с ИИ - ты просто больше работаешь за те же человеко-часов🤣 на этом акценты делают на разных вебинарах и мероприятиях🥲
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён