Немного о специфике работы с данными

Вот есть у меня приложение и тг бот. Задача у них простейшая. Надо постучаться в API сервиса и вытащить оттуда данные в json, а потом перевести их человекочитаемый формат.

Но есть нюансы на которых все держится. Например то, что база, к которой мы обращаемся - заполнялась людьми, а люди косячат. Всегда. Вопрос только масштаба.

И дальше начитается причёсывание данных. Вот например 12345АВ. Это русские А и В или латинские A и B, причём они могут быть как большими, так и маленькими. Значит надо использовать маппинг - данных, т.е. применить таблицу соответствия "А" и "A", а заодно и "A" и "a" А дальше, прикручиваем это все в наш поиск, т.е. если первоначальный поиск "в лоб" результат не дал, то ищем уже с использованием маппинга. Да чуть дольше, зато выше точность.

Ну а как еще и скорость поднять - эт в следующий раз