arrow

назад

ask

Вопрос

В задачах вызов: как скормить ИИ внутреннюю кухню (инструкции, базу знаний), чтобы сотрудники не матерились, а пользовались (речь про RAG). Какой опыт/мнение у вас касательно таких ии-ассистентов?

repost

2911

input message

напишите коммент


26 комментов

Самый простой способ notebooklm +Gemini, реально очень простой)

0

ответить

Максим, а как-тл считали релевантность ответов, как оно в сложных запросах?

0

ответить

краткий ответ - онтологии/модель знаний

0

ответить

Тут несколько задач - 1 разбить на фрагменты максимально близкие по смыслу для векторов. Варианты - от простых поабзацных до сложных семантических. 2 - дедупликация, поиск и очистка дубликатов. 3 - ответ в ситуации когда РАГ всетаки вернул противоречивые данные. Приориетет по метаданным или арбитраж. Ну на конец сбор и анализ обратной связи, и корректировка противоречий. Ну вот и все)

0

ответить

Максим, а вы что используете? Есть же просто векторный поиск, а есть графы - здесь я лайтраг пока что считаю оптималтным, интересен ваш опыт

0

ответить

И то и то испольщуем, зависит от задачи. Графы это про четкие связи, раг это про смысловую похожесть.

0

ответить

Мы сделали вот так https://set.ki/post/9rwHRfX

0

ответить

Я от высоких технологий далек 😉 Но на базе ChatGPT сделал себе несколько консультантов с RAG базой знаний и инструкциям под конкретные задачи. В таком виде это совсем не сложно, но трудоемко в части подготовки данных.

0

ответить

Константин, подскажите, речь про ботов/приложения с api или имеете ввиду консультантов внутри платформы опен аи?

0

ответить

Для ботов а-ля Make/n8n или работы с API мне знаний и навыков пока не хватает 😂 Речь про встроенный функционал внутри ChatGPT с подпиской, ничего более...

0

ответить

Константин, круто, что используете инструментарий. Я сам год назад еще слабо шарил, была пауза в работе и активно сел изучать питон, n8n)) А так-то для многих задач и не требуется погружение в техничку на «квантовом уровне»)

0

ответить

Соглашусь, что порог входа во многие темы сейчас сильно снизился. Сам по осени погрузился немного в n8n, очень понравилось концепция. До сих пор в личном бэклоге висит задача сделать агрегатор новостей из тг, но пока руки не доходят 😉

0

ответить

Брал текст, резал на чанки (с 15% перекрытием), загонял в векторку. При входящем запросе искал в векторке контекст и в llm

Как тестировал. Был пул популярных запросов(тестовые данные). Вручную прогонял и анализировал результат. Цель: за меньшое контекстное окно максимум пользы Что менял: LLM, Эмбеддинг-модели, размер чанков, процент перекрытия, финальный промпт. После n-го количества итераций (Понятное дело в полуавтоматизированном режиме) получилось собрать сбалансированную систему, которая решает задачи

0

ответить

Александр, привет! А вы на питоне писали - какие библиотеки/фраймворки юзали? Я сейчас компактным решением пользуюсь - лайтраг, фраймворк с графами и векторным поиском. Интересно, что у вас

0

ответить

Добрый

На основе LlamaSharp, ChromaDBSharp (vector data base Chroma), AllMiniLmL6v2Sharp (Embedding) организовывал RAG, но “набивку” базы особо не делал, был интерес именно технологию изучить!

Поэтому качество ответов с RAG особо не оценить было, но модель вполне учитывала данные из Chroma!

Модели есесно open source, точно не помню уже какие, но что то типа llama3 или около

0

ответить

Андрей, а как считаете - стоит ли закапываться в техничку чтобы для внутреннего пользователя такое приложение делать или можно какие-то готовые приложения брать, вроде лайтрага?

0

ответить

Все зависит от возможностей!))) Есть возможность и время сделать самому - лучше сделать самому, если нет, то - надо взять готовое!)))

0

ответить

Внедрение RAG-систем упирается не в технологию, а в качество данных и пользовательский опыт. Если база знаний содержит противоречивые или устаревшие инструкции, модель начнет генерировать ошибки. Доверие сотрудников теряется после первого же неверного ответа. Поэтому аудит контента первый этап, важнее настройки модели.

Критична интеграция в привычную среду. Если для получения ответа нужно переходить в отдельное окно, системой пользоваться не будут. Ассистент должен жить там, где идет работа в мессенджере, CRM или таск-трекере. Контекст должен подхватываться автоматически, чтобы не тратить время на формулировку запроса.

Важна прозрачность ответов. Система должна указывать источник информации ссылку на документ, раздел инструкции. Это позволяет сотруднику быстро проверить достоверность и снижает тревожность перед «черным ящиком». Без верификации источника любой ответ воспринимается как риск.

Наконец, необходима постоянная калибровка. Сбор обратной связи (полезно/бесполезно) должен быть встроен в интерфейс. Анализ неудачных запросов позволяет дообучать векторную базу и чистить шум. RAG — это не проект с датой завершения, а живой процесс поддержки актуальности знаний.

0

ответить

Старая добрая справочная система составленная грамотным человеком и набранная руками в любой среде в зависимости от специфики пользования. Многостраничный сайт с адаптивной версткой. Да хоть в Google Site.

0

ответить

Я разрабатываю такие AI-агенты. Достаточно кропотливая работа: от сбора информации до тестирования и оценки качества. То есть никакой чудо-кнопкой не являются. Могу, если есть желание, рассказать подробнее.

0

ответить

Саша, ваш опыт, конечно, очень интересен)подробнее)

0

ответить

В комментариях будет не совсем удобно

0

ответить

насколько релевантны ответы тех ассистентов, с которыми работали?

0

ответить

Достигали до 78%, дальше шлифовать БЗ и промты

0

ответить

Иван, а как вы измеряли эффективность? очень интересно)

0

ответить

Старый добрый google sheets , табличка + ролевантность от самого агента, ручное тестирование на 100+ примеров

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится