Число держится, пока кто-то его держит

Команда подключает языковую модель к внутреннему трекеру задач и получает мгновенный ответ на вопрос, сколько обычно занимает работа. Первые недели всё выглядит решённым.

Затем процесс меняется: переименовываются статусы, часть работы начинает возвращаться на доработку по-другому. Модель отвечает на тот же вопрос уже другим числом — и объяснить, какое из двух чисел верное, не может никто.

Это не техническая проблема. Подключить модель к данным — самая лёгкая часть; интеграция такого рода делается быстро. Сложность начинается позже и держится на десятках решений об измерении: с какого момента задача считается «в работе», что делать, если она возвращается назад или пропускает стадию, входит ли время ожидания в расчёт. Эти решения нужно не просто принять один раз, а удерживать в силе при каждом следующем изменении процесса — иначе интеграция превращается не в проект, а в отдельный продукт, которому нужен владелец, проверка и постоянная поддержка.

Прежде чем доверять любому числу от такой системы, стоит задать шесть простых вопросов: где начинается и где заканчивается отсчёт, что происходит при возврате на предыдущий статус, при пропуске стадии, при повторном открытии задачи и считается ли время ожидания. Отдельный, седьмой вопрос стоит добавить, если по этим числам вы берёте на себя обязательства перед кем-то ещё: смотрите ли вы на среднее значение или на процентиль, которым действительно можно пользоваться для оценки риска. Правдоподобное число и число, которому можно доверять, — не одно и то же.

То же самое происходит не только с метриками, но и с самим использованием ИИ внутри команды. Каждый сотрудник хорошо знает свои собственные привычные способы применения модели — черновик обновления для стейкхолдеров, ночной фоновый прогон, поставленный кем-то до отпуска, расшифровка заметок по требованию. Но сумма всех этих точечных практик почти никому не видна целиком.

То, что не задокументировано и не имеет владельца, продолжает работать — вплоть до момента, когда кто-то спрашивает, кто за это отвечает. Один из предлагаемых способов навести порядок — собрать все такие задачи в единый список за последние 30 дней: по повторяющимся встречам, по истории обращений к модели у каждого сотрудника и по исходящим документам, начинавшимся как черновик модели. Отдельно стоит спросить про работу, которая идёт без присмотра и не оставляет следа в переписке.

Ключевое условие, чтобы такой список получился честным: сама фиксация факта использования — это не одобрение и не проверка на нарушение правил. Если в список попадёт только одобренное, самое важное — несанкционированные короткие пути — останется невидимым, а список будет выглядеть аккуратным, описывая при этом команду, которой на самом деле не существует.