Как автоматизация ломает критическое мышление
Недавно мы внедряли новую систему автоматизации учета корпоративных расходов и компенсаций. Все этапы протестировали, проверили, запустили. И тут начал вылезать кошмар любого финансиста. В печатных формах отчетов начала массово вылезать «красная строка». Ошибка учета.Тестировщики не понимали, в чем дело. В системе всё выглядело идеально. Я, конечно, не смогла устоять, так как это касалось меня лично и моего времени на исправление ошибок, решила докопаться до сути сама. Парадокс автоматизации. И мы нашли баг! Но не просто технический, а на стыке софта и человеческой психологии. Новая программа научилась круто распознавать чеки по QR-коду. И вот как это сломало процесс: 🔹 Если чек не распознан: сотрудник заполняет всё руками, заходит в расход, сам всё правит и перепроверяет. Ошибок нет. 🔹 Если чек распознан софтом: сотрудник расслабляется. Зачем проверять? Программа же умная, всё сделала за него. А программа оказалась не так умна. Данные она распознавала, но автоматически проставить маркер «есть оригинал чека или нет» не могла. При этом валидация полей (та самая подсветка ошибки) срабатывала, только если сотрудник заходил в расход и правил данные руками. А если система создавала расход сама по QR-коду, она пропускала этот пустой шаг и молча отправляла отчет дальше. На печати же всё летело в тартарары.
Как исправили: Сейчас систему доработали. Теперь, даже если программа сама всё распознала и заполнила, она жестко блокирует отчет и требует от сотрудника зайти внутрь и вручную проставить маркер чека.
Вывод:Любая автоматизация — это палка о двух концах. Самые опасные ошибки рождаются там, где человек слепо доверяет алгоритмам и выключает критическое мышление. #автоматизация #финтех #бизнеспроцессы #itвбизнесе #тестирование #разработкасофта
· 11.08
Для этого должно было быть тестирование, куда смотрел QA? И при чем тут критическое мышление? Просто из-за лени прозевали баг. Автоматизация тут не ломает критическое мышление, она вызывает лень. Не вините технологии, вините их кривую реализацию.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 11.08
Дмитрий, одно другому не мешает) Но в том и фокус, что технической ошибки при тестировании не было. Изначально процесс так и задумывался: робот делает большую часть работы, а человек заходит и проверяет. Никто просто не ожидал, что люди настолько слепо положатся на машину и расслабятся.Но в одном вы правы: нужно было сразу проектировать систему так, чтобы она жестко подсвечивала ошибку и не разрешала пропускать незаполненное поле. Наверное, в понимании ИТ мы и должны были дотестировать этот процесс на своем личном опыте)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 11.08
Для чего тогда нужен бот, если за ним все приходится проверять? В таком случае было ожидаемо, что люди забудут о необходимости проверки. При разработке систем нужно учитывать человеческий фактор как внешнюю попытку вывести систему из равновесия, а сама система должна быть устойчивой к этому фактору.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 11.08
Дмитрий, согласна с вашей метафорой про внешнюю попытку вывести систему из равновесия — это отличный подход к проектированию устойчивых систем! На практике баланс между автоматизацией и контролем — это вечная дилемма. Бот экономит 90% времени на рутинный ввод данных (в этом его ценность), но финальный контроль в финансовых процессах всё же пока остается за человеком из-за юридических рисков. Спасибо за ваше мнение)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 11.08
Опять эта бюрократия и мракобесие всё портят...
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён