Как уволить аналитиков за 5 минут (по собственному)
(Да, название кликбайт, на самом деле это просто полезный лайфхак для всех QA, которым душно сидеть часами в документации)
Я добавил Copilot с Deepseek-агентом в локальный анализ спеков, и первая же отладка сократилась втрое.
Раньше стандартная цепочка выглядела так: получаешь спеку от разработчиков, поднимаешь заглушку, прогоняешь пару запросов, ловишь ошибку, лезешь в документацию, ищешь расхождение, тратишь время на переписку. С агентом я делаю иначе: скармливаю спеку и пример ответа от заглушки локальному Copilot с Deepseek, и он подсвечивает несоответствия до того, как я запущу первый тест. Принципиально важно, что агент работает локально: никакие спеки, контракты и примеры ответов не уходят наружу. Всё остаётся внутри контура, а это чувствительные данные, которые нельзя светить в облачных сервисах.
Конкретный пример. Разработчики дали спеку с заглушкой /qr/service. В документации описан контракт: { "corp": "string", "id": "string", "status": "string" }
Мок возвращает: { "corp": 12345, "id": "abc-def", "status": "active" }
Агент подсветил расхождение мгновенно: поле corp в спеке объявлено как String, а мок отдаёт number. Не гадание, не интуиция, а конкретное несоответствие типов, найденное без утечки данных. Я иду к разработчикам не с "у меня что-то падает", а с точечным вопросом: "Ребята, у вас в спеке String, а мок отдаёт number. Что критично?" Это меняет тон разговора и ускоряет решение в разы.
Почему это работает. Агент не придумывает логику, он просто сопоставляет контракт из спеки с реальным ответом заглушки. Расхождения по типам данных, отсутствующие обязательные поля, структура вложенных объектов - всё это видно за один прогон, а не за три часа отладки. Если архитектура заточена на конкретный тип, ошибка регистра может уронить сервис, и найти её потом - боль. Лучше поймать до запуска. И да, локальность здесь не маркетинг, а обязательное требование: спеки и контракты не должны покидать периметр компании.
Итог: локальный Copilot с Deepseek не заменяет инженера, но забирает механическую работу по сравнению спеков и ответов заглушек. Первая отладка ускоряется, риски долгой охоты за расхождениями снижаются, а чувствительные данные не покидают контур.
#qa #apitesting #mock #copilot #deepseek #ai #testautomation #contracttesting #debugging #softwaretesting #engineeringproductivity #datasecurity
· 08.08
Хороший кейс, но у таких связок агент и спеки обычно ломается именно оценка качества, а не генерация текста. Я бы мерил false positives и latency на спорных кейсах, иначе автоматизация красиво выглядит только в демо. Как у вас устроен eval?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён