Коллеги, привет! Ещё один саммари с продуктовых воркшопов из американской Product School - на этот раз про то, как создавать ИИ-продукты, заслуживающие доверие пользователей, спикер Stephanie Neill, CPO в Stripe.

Очень прикольно посмотреть воркшоп )) У Стефани типичный vocal fry (это когда намеренно произносишь слова со скрипом), так говорит все семейство Кардашьян 😀

Ну а если серьезно, то главный тезис: enterprise - это не consumer. В потребительских продуктах на первый план выходят вовлечённость и вау-эффект, а в корпоративной среде - точность и подотчётность. Стефани разбирала это на примере ИИ-персоны Сары, CFO компании со стомиллионным оборотом, для неё критичны certainty и accountability, потому что решения на её столе это решения на миллионы долларов. И тут работает жёсткий принцип - если продукт не отвечает 100% правильно, для такой бизнес-персоны он считается нерабочим вообще.

Отсюда и главная проблема обычного ChatGPT в бизнес-контексте, он прекрасно знает мир, но не знает вашу компанию. Спросите его про НДС - получите общее определение, а не то, как это применяется именно в вашей организации. Тут и выходит на сцену RAG, вместо того чтобы полагаться на общие знания модели, система сначала ищет ответ во внутренней политике компании и только потом формулирует ответ.

Как сделать ответ пригодным для доверия: - Explainability - ваш ИИ-продукт не просто отвечает, а показывает конкретную ссылку на раздел документа, который подтверждает ответ - Confidence Score - числовая оценка уверенности модели от 0 до 100, с цветовой кодировкой (зелёный - высокая уверенность, жёлтый - средняя). И если уверенность падает ниже определённого порога (в примере - 70%), система не выдаёт ответ вслепую, а передаёт его человеку на проверку.

Что откликнулось Похожий подход я недавно видела в одной статье про построение RAG для корпоративных пользователей. Там команда пришла к выводу, что успех enterprise RAG определяется не recall и precision в вакууме, а тем, насколько хорошо система понимает, кто именно с ней разговаривает. Финансист, юрист, продакт и инженер - это разные роли, разные ожидания, разный уровень доверия к ответу. И качество продукта резко выросло именно тогда, когда команда перестала думать как сделать поиск лучше и начала думать как сделать ответ полезным именно этой роли в этом контексте.

Чек-лист для тех, кто строит enterprise AI-продукт: → Определить, кто именно будет пользоваться продуктом (CFO, юрист, продакт и т.д.) → Подключить RAG к внутренним базам знаний и политикам компании → Внедрить систему цитирования источников для каждого ответа → Настроить Confidence Score для фильтрации сомнительных результатов → Предусмотреть сценарий human-in-the-loop для случаев низкой уверенности

И как раз этот воркшоп мы будем обсуждать в разговорном клубе. Велкам присоединиться к интенсиву https://telegram.me/easy_english_spb