Стенд был зелёным, но прод лёг через 40 минут после релиза. Нагрузочный контур был огромным – 1,2 млрд транзакций. Тесты показывали p99 в 180 мс. Всё выглядело хорошо. А потом на проде p99 вырос до 4,2 секунды.

Проблема оказалась не в объёме данных, а в том что данные оказались слишком чистыми и ровными. В проде 0,4% мерчантов давали 61% трафика, а на тестовом стенде значения были распределены равномерно. В результате тесты проверяли систему на совсем другом профиле нагрузки. Это один из примеров, который показывает почему синтетические данные – не про генерацию большого количества строк, а про вдумчивый подход.

Предлагаем прочесть три поучительных кейса в заключительной статье нашего цикла о синтетических тестовых данных.

В ней вы также найдёте типичные ошибки работы с синтетикой с учётом российской специфики. Узнаете об экономике внедрения и получите пошаговый план на 90 дней: что делать по неделям, чтобы получить первый рабочий домен, а не просто красивый генератор.

#тестирование #синтетическиеданные #QA #тестовыеданные #нагрузочноетестирование #автоматизациятестирования #тестовыйконтур #разработка