16 сентября я был приглашенным гостем на подкасте компании ITtest. Тема подкаста была: "ИИ в тестировании".

Разговаривали около часа, две основные темы это "Как тестировать решение в котором есть ИИ" и "Как ИИ помогает тестировщику". Попробую коротко пересказать. :)

Когда нужно тестировать продукт с ИИ "внутри", то:

• нужно понимать, что привычная для тестирования логика "работает / не работает" - не работает :)- продукт с ИИ будет на выходе всегда давать какой-то ответ и нужно оценить качество этого ответа
• для того, чтобы оценить качество нужно заранее договорится о том, что считать "качественным" ответом ИИ
• а ещё нужно заранее приготовить наборы данных для тестирования, не менять их, и сравнивать результаты тестирования строго на основе этих наборов
• и дружить с AI / ML командой, чтобы они объясняли что и как влияет на результаты работы

А когда мы говорим про помощь тестировщику в ежедневной работе, то:

• ИИ работу тестировщика не заберет, но может очень облегчить — ИИ может находить баги,
• ИИ может генерить тест-кейсы,
• а ещё лучше сначала генерировать планы тестирования! :)
• а если вы пользуетесь IDE типа Cursor, то ИИ может сразу вашу кодовую базу изучить и на её основе выдавать, например, готовые юнит-тесты
• можно попробовать загрузить в мультимодальную LLM скриншот интерфейса и попросить UX/UI улучшить
• а если ваша IDE уже видит вашу кодовую базу, то и end-to-end вам может сразу предложить написать

Много ещё о чём поговорили, расстались довольные друг другом и пошли дальше экспериментировать.

А посмотреть на нас можно здесь - https://vkvideo.ru/video-225263704_456239048?list=dd435c1d2d9c174532