🧪 ИИ и регресс: почему дешевле подготовить тесты, чем заста
Регресс - идеальный кандидат для ИИ: однотипные сценарии, мало творчества. Казалось бы: подключи агента и пусть гоняет. На практике всё упирается в токены.
Продукт нам не принадлежит. Добавить data-testid и причесать DOM не можем. Зато у нас есть питончик, и его мы контролируем полностью.
Как ИИ видит продукт: скриншоты (дорого), DOM (тысячи токенов на экран), логи и API (дешевле, но не показывают картину), описания шагов (дёшево, но тогда тестирует человек). Чем сырее продукт, тем больше токенов нужно, чтобы агент хоть что-то понял.
Фокус: раз продукт не трогаем, инвестируем в тесты - локаторы в одном месте, хелперы на частые действия, стабильные фикстуры, шаблон структуры теста. Тогда агенту нужно меньше контекста, и он ошибается реже.
Ирония: подготовить тесты для ИИ = подготовить тесты для человека. Понятные хелперы, стабильные локаторы, внятная структура. Если это уже есть, то ИИ дешевле. Если нет, то ИИ не спасёт, просто дороже покажет, что тесты не готовы.
Кто гонял регресс через ИИ, как решали проблему токенов? 🤔
