Привет, охотники!🏹 Все мы знаем, как ИИ помогает в разработке и тестировании IT-продуктов, но мало кто говорит о том, как тестировать эти самые ИИ-инструменты

Я решила поисследовать этот вопрос и вот что я нашла:

Классические программы VS. ИИ-программы

1 инструкции vs анализ

2 всегда предсказуемый результат vs возможные улучшения на основе обучаемости

3 нет анализа контекста vs контекст может влиять на обработку данных и результат

4 не меняют поведение со временем vs могут корректировать собственные параметры

5 тяжело обрабатывают большие данные vs созданы для того, чтобы обрабатывать большие массивы данных и анализировать сложные зависимости

6 есть контроль над поведением системы vs контроля меньше

Особенности тестирования ИИ-продуктов - что оцениваем: стабильность, точность и охват данных

- стабильность - насколько часть получаем ± достоверный результат

- точность - сколько данных обработано верно

- охват данных - насколько полно были задействованы необходимые данные

Отдельный момент - подготовка датасетов, о чем я расскажу в одном из следующих постов