Продюсер образовательных проектов в HeadHunter
· 25.02Вопрос
В задачах вызов: как скормить ИИ внутреннюю кухню (инструкции, базу знаний), чтобы сотрудники не матерились, а пользовались (речь про RAG). Какой опыт/мнение у вас касательно таких ии-ассистентов?
26 комментов
· 27.02
краткий ответ - онтологии/модель знаний
0
ответить
коммент удалён
· 26.02
Тут несколько задач - 1 разбить на фрагменты максимально близкие по смыслу для векторов. Варианты - от простых поабзацных до сложных семантических. 2 - дедупликация, поиск и очистка дубликатов. 3 - ответ в ситуации когда РАГ всетаки вернул противоречивые данные. Приориетет по метаданным или арбитраж. Ну на конец сбор и анализ обратной связи, и корректировка противоречий. Ну вот и все)
0
ответить
коммент удалён
· 28.02
Максим, а вы что используете? Есть же просто векторный поиск, а есть графы - здесь я лайтраг пока что считаю оптималтным, интересен ваш опыт
0
ответить
ответ удалён
· 28.02
И то и то испольщуем, зависит от задачи. Графы это про четкие связи, раг это про смысловую похожесть.
0
ответить
ответ удалён
· 26.02
Мы сделали вот так https://set.ki/post/9rwHRfX
0
ответить
коммент удалён
· 26.02
Я от высоких технологий далек 😉 Но на базе ChatGPT сделал себе несколько консультантов с RAG базой знаний и инструкциям под конкретные задачи. В таком виде это совсем не сложно, но трудоемко в части подготовки данных.
0
ответить
коммент удалён
· 28.02
Константин, подскажите, речь про ботов/приложения с api или имеете ввиду консультантов внутри платформы опен аи?
0
ответить
ответ удалён
· 28.02
Для ботов а-ля Make/n8n или работы с API мне знаний и навыков пока не хватает 😂 Речь про встроенный функционал внутри ChatGPT с подпиской, ничего более...
0
ответить
ответ удалён
· 28.02
Константин, круто, что используете инструментарий. Я сам год назад еще слабо шарил, была пауза в работе и активно сел изучать питон, n8n)) А так-то для многих задач и не требуется погружение в техничку на «квантовом уровне»)
0
ответить
ответ удалён
· 28.02
Соглашусь, что порог входа во многие темы сейчас сильно снизился. Сам по осени погрузился немного в n8n, очень понравилось концепция. До сих пор в личном бэклоге висит задача сделать агрегатор новостей из тг, но пока руки не доходят 😉
0
ответить
ответ удалён
· 26.02
Брал текст, резал на чанки (с 15% перекрытием), загонял в векторку. При входящем запросе искал в векторке контекст и в llm
Как тестировал. Был пул популярных запросов(тестовые данные). Вручную прогонял и анализировал результат. Цель: за меньшое контекстное окно максимум пользы Что менял: LLM, Эмбеддинг-модели, размер чанков, процент перекрытия, финальный промпт. После n-го количества итераций (Понятное дело в полуавтоматизированном режиме) получилось собрать сбалансированную систему, которая решает задачи
0
ответить
коммент удалён
· 28.02
Александр, привет! А вы на питоне писали - какие библиотеки/фраймворки юзали? Я сейчас компактным решением пользуюсь - лайтраг, фраймворк с графами и векторным поиском. Интересно, что у вас
0
ответить
ответ удалён
· 26.02
Добрый
На основе LlamaSharp, ChromaDBSharp (vector data base Chroma), AllMiniLmL6v2Sharp (Embedding) организовывал RAG, но “набивку” базы особо не делал, был интерес именно технологию изучить!
Поэтому качество ответов с RAG особо не оценить было, но модель вполне учитывала данные из Chroma!
Модели есесно open source, точно не помню уже какие, но что то типа llama3 или около
0
ответить
коммент удалён
· 28.02
Андрей, а как считаете - стоит ли закапываться в техничку чтобы для внутреннего пользователя такое приложение делать или можно какие-то готовые приложения брать, вроде лайтрага?
0
ответить
ответ удалён
· 05.03
Все зависит от возможностей!))) Есть возможность и время сделать самому - лучше сделать самому, если нет, то - надо взять готовое!)))
0
ответить
ответ удалён
· 26.02
Внедрение RAG-систем упирается не в технологию, а в качество данных и пользовательский опыт. Если база знаний содержит противоречивые или устаревшие инструкции, модель начнет генерировать ошибки. Доверие сотрудников теряется после первого же неверного ответа. Поэтому аудит контента первый этап, важнее настройки модели.
Критична интеграция в привычную среду. Если для получения ответа нужно переходить в отдельное окно, системой пользоваться не будут. Ассистент должен жить там, где идет работа в мессенджере, CRM или таск-трекере. Контекст должен подхватываться автоматически, чтобы не тратить время на формулировку запроса.
Важна прозрачность ответов. Система должна указывать источник информации ссылку на документ, раздел инструкции. Это позволяет сотруднику быстро проверить достоверность и снижает тревожность перед «черным ящиком». Без верификации источника любой ответ воспринимается как риск.
Наконец, необходима постоянная калибровка. Сбор обратной связи (полезно/бесполезно) должен быть встроен в интерфейс. Анализ неудачных запросов позволяет дообучать векторную базу и чистить шум. RAG — это не проект с датой завершения, а живой процесс поддержки актуальности знаний.
0
ответить
коммент удалён
· 25.02
Старая добрая справочная система составленная грамотным человеком и набранная руками в любой среде в зависимости от специфики пользования. Многостраничный сайт с адаптивной версткой. Да хоть в Google Site.
0
ответить
коммент удалён
· 25.02
Я разрабатываю такие AI-агенты. Достаточно кропотливая работа: от сбора информации до тестирования и оценки качества. То есть никакой чудо-кнопкой не являются. Могу, если есть желание, рассказать подробнее.
0
ответить
коммент удалён
· 25.02
Саша, ваш опыт, конечно, очень интересен)подробнее)
0
ответить
ответ удалён
· 25.02
В комментариях будет не совсем удобно
0
ответить
ответ удалён
· 25.02
насколько релевантны ответы тех ассистентов, с которыми работали?
0
ответить
коммент удалён
· 25.02
Достигали до 78%, дальше шлифовать БЗ и промты
0
ответить
ответ удалён
· 25.02
Иван, а как вы измеряли эффективность? очень интересно)
0
ответить
ответ удалён
· 25.02
Старый добрый google sheets , табличка + ролевантность от самого агента, ручное тестирование на 100+ примеров
0
ответить
ответ удалён
· 27.02
Самый простой способ notebooklm +Gemini, реально очень простой)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 28.02
Максим, а как-тл считали релевантность ответов, как оно в сложных запросах?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён