От Cypress к тестированию ИИ

Когда-то я думала, что автоматизация тестирования это предел моего развития. Я писала автотесты на Cypress, проверяла интерфейсы, искала баги во фронтенде. Казалось, что дальше можно только углубляться в архитектуру тестов или переходить в разработку. Но однажды мне предложили совершенно другую задачу тестировать LLM-ассистента. И тогда я поняла, что это уже совсем другой мир. Если раньше мои тесты выглядели примерно так: ✔️ открыть страницу; ✔️ нажать кнопку; ✔️ проверить текст; ✔️ дождаться ответа API. То теперь мои тесты больше похожи на исследование поведения искусственного интеллекта. Мне приходится проверять: • понимает ли модель смысл вопроса, а не только ключевые слова; • насколько логично она рассуждает; • не придумывает ли факты (галлюцинации); • соблюдает ли ограничения и guardrails; • корректно ли оценивает ответы "судья"; • как модель ведёт себя при провокационных, неоднозначных и специально "ломающих" запросах. Теперь я тестирую не кнопку или форму, а качество мышления модели. Иногда приходится придумывать десятки способов задать один и тот же вопрос, чтобы понять, где ассистент ошибётся. Иногда искать не баг в коде, а логическую ошибку в рассуждении. Иногда проверять не "прошёл тест или нет", а "насколько ответ соответствует ожиданиям". Именно это мне сейчас нравится больше всего. Мой переход из автоматизации фронтенда в тестирование LLM показал, что навыки QA никуда не исчезают - они становятся глубже. Мне кажется, что за тестированием ИИ огромное будущее. И я рада быть частью этой новой области.

От Cypress к тестированию ИИ | Сетка — социальная сеть от hh.ru