Перед тем как доверять ИИ-поиску по рабочим материалам, я прогоняю через него десять своих типичных вопросов с заранее известными ответами. Расскажу, зачем это нужно и на что я смотрю.

Красиво сформулированный ответ от ИИ ещё не значит правильный. В работе с материалами мне важнее другое: могу ли я быстро проверить, на чём он основан.

Откуда взято условие? К какому проекту оно относится? Действует ли ещё эта версия? Для маркетинга это вполне практичные вопросы: от них зависит, что мы напишем в презентации, письме или публикации.

Простой пример. Нужно выяснить, до какого момента можно перенести дату мероприятия. В материалах есть условия переноса, порядок возврата денег и старое письмо с согласованными датами. Тема одна, а сведения для ответа нужны разные.

Здесь полезно понимать, как устроен поиск по смыслу. Запрос и фрагменты документов переводятся в числовые представления, эмбеддинги. Система сравнивает их и отбирает близкие по содержанию фрагменты, даже если формулировки не совпадают дословно.

Дальше остаётся понять, какие из найденных фрагментов лучше всего отвечают именно на наш вопрос. Для этого есть переранжирование. Оно берёт готовый список кандидатов, оценивает каждый фрагмент вместе с запросом и меняет порядок результатов. Всю базу заново этот шаг не просматривает.

Мне в этой схеме нравится разделение обязанностей. Первый этап собирает подходящие материалы, второй уточняет их порядок. А актуальность версии, принадлежность к проекту и права доступа требуют отдельных правил. Высокая оценка релевантности не подтверждает, что перед нами действующая инструкция.

Что из этого следует на практике:

• рядом с фрагментом хранить название документа, ссылку, дату и версию • если действующие материалы можно выделить заранее, учитывать это уже при отборе • номер заказа, артикул или другой точный идентификатор искать по соответствующему полю, смысловой поиск тут обычно не нужен.

Теперь про сами десять вопросов. Для небольшой базы я беру типичные рабочие запросы и заранее отмечаю документы, где лежат ответы. Потом сравниваю выдачу до и после переранжирования: стали ли нужные фрагменты появляться выше? Не вытеснили ли их тексты, которые просто похожи по теме?

В этот набор обязательно стоит добавить вопросы, на которые в базе ответа нет. Полезный результат здесь: система показывает, что именно не удалось подтвердить. Уверенная формулировка не восполняет отсутствие источника.

С личными документами работает та же логика. Для вопроса об обслуживании техники важны модель, дата покупки и условия конкретного продавца. Общая инструкция может быть близка по теме, но этих сведений в ней не окажется.

Мой рабочий критерий простой: могу ли я открыть источник и проследить, как из него получен ответ? Это ценнее, чем то, насколько свободно помощник поддерживает разговор.

Именно так мы выстроили процесс в Staqflow: поиск по смыслу отбирает подходящие фрагменты, а переранжирование поднимает наверх те, что точнее отвечают на вопрос. Это наш продукт, и я сам пользуюсь им в работе.