🤖

На одном из проектов я занимался тестированием ИИ-ассистента, который умел анализировать загруженные файлы — PDF, DOCX, CSV, JSON и другие форматы.

И вот что интересного я понял:

Иногда самые важные ошибки возникают ещё до того, как ИИ начинает генерировать ответ.

Представьте, что вы загружаете CSV-файл с данными о продажах.

✅ Файл успешно загружен. ✅ API возвращает 200 OK. ✅ ИИ анализирует данные и уверенно отвечает на вопрос.

На первый взгляд всё работает правильно.

**А теперь конкретный пример.**

Допустим, в CSV есть запись:

\05/06/2026, 15000\

По правилам исходного файла дата указана в формате DD/MM/YYYY — то есть **5 июня 2026 года**, а сумма продажи составляет 15 000 рублей.

Но парсер интерпретирует дату в американском формате MM/DD/YYYY и считает, что продажа произошла 6 мая.

Пользователь спрашивает ИИ:

💬 «Какая выручка была 5 июня?»

ИИ отвечает:

🤖 «За 5 июня продажи отсутствуют. Выручка — 0 рублей».

И вот что интересно:

**Модель может работать совершенно корректно. Она просто получила неправильные данные.**

Мы можем сколько угодно проверять промпты, менять настройки модели и анализировать её ответы, но проблема находится совсем в другом месте.

В данном случае — на этапе парсинга файла.

Именно поэтому тестирование ИИ-систем выходит далеко за рамки проверки конечного ответа.

Я стараюсь проверять всю цепочку:

**Загрузка файла → Парсинг данных → Обработка контекста → Ответ ИИ**

Один из полезных тестов — взять одинаковые данные, представить даты в разных поддерживаемых форматах и задать ИИ один и тот же вопрос.

Если смысл данных не изменился, результаты должны быть согласованными.

💡 **Иногда лучший способ разобраться в ошибке ИИ — перестать искать проблему в самом ИИ.**

А вам приходилось расследовать ошибку ИИ, которая в итоге оказывалась проблемой обработки данных?

#SoftwareTesting #QualityAssurance #AITesting #APITesting #QAEngineer