Сосед по трубе Труба на весь дом одна. Вода в кране у каждого своя.

В протоколе воспроизводимости фиксируют все настройки: сид, температуру, параметры выборки, версию модели. Прогоняют тот же запрос на одной модели снова и снова и получают разные ответы. Разброс между худшим и лучшим прогоном доходит до 70 процентов.

Протокол не упоминает одну переменную - соседей по серверу. В обработку каждый раз попадает случайный набор чужих запросов, и его состав решает, в каком порядке идут вычисления внутри модели. Сложение чисел с плавающей точкой не ассоциативно: другой порядок, и дрогнет последний разряд результата, а следующее слово, которое строится на предыдущем, эту дрожь подхватывает и раскачивает.

У модели, собранной из нескольких экспертов, каждый из которых может взять запрос на себя, та же дрожь способна решить, кто из них ответит. В обычной модели она редко выходит за пределы последнего разряда числа. В модели-сборной той же дрожи бывает достаточно, чтобы запрос ушёл не к тому специалисту.

Чинят это так: первый способ делает вычисления нечувствительными к соседям, результат один, какой бы ни была группа. Это работает и забирает у сервера до 74 процентов скорости. Более новый способ не трогает сами вычисления, а заранее назначает каждой группе запросов постоянное число мест, сколько бы соседей ни было, и результат больше не зависит от них, теряя лишь около 17 процентов.

Сегодня отчёт о качестве модели указывает балл и не указывает состав очереди, в которой этот балл получен.

Регулятор давления на такой кран уже есть и обходится недорого. Но в этом доме его до сих пор не поставил ни один сосед.