Больше половины команд в прошлом году увеличили расходы на инфраструктуру сбора данных. Не потому что выросли объёмы. Потому что системы защиты стали сложнее.
Это ловушка, в которую попадают незаметно. Год назад достаточно было одного прокси-сервера и простого скрипта. Сегодня та же задача требует в три раза больше ресурсов — и при этом даёт меньше стабильности, чем раньше.
Проблема не в том, что инструменты плохие. Проблема в том, что противоборствующая сторона обновляется постоянно, а инфраструктура команды — раз в квартал, когда что-то сломается.
Выигрывают не те, у кого больше бюджет на прокси-серверы. Выигрывают те, у кого инфраструктура устроена так, что адаптируется быстрее, чем меняются правила игры.
Как у вас устроено обновление инфраструктуры — по расписанию или по факту поломки?