Немного про модели обучения, упрощенно.
Для развития функционала своего бота и приложения на прошлой неделе я у себя а телеге (https://t.me/CalcOTI) просил покидать фото разных приборов с серийными номерами и моделями, мол это надо, чтобы обучить некую модель.
Что это за зверь такой, и как это вообще происходит. А происходит все очень даже банально Модель учится руками людей. Т.е. есть фото, на котором некоторый текст. И уже есть код, библиотека, которая способна печатный текст разбирать (за это спасибо людям, которые это делали несколько раньше) Я беру эту библиотеку и натравливаю на ваши фото приборов, и оно распознаёт.
Распознает не точно, распознаёт не все.
А дальше начитается собственно обучение. Я беру каждое фото, и начинаю руками прописывать: вот на этом фото написано вот это, а из него нам надо это, и это. И так нужно для средней модели порядка 500-700 файлов.
В итоге получается модель дообученная, т.е. базис модели OCR + наша специфика
Это первый этап. А дальше больше, модель-полуфабрикат натравливается на еще большее количество фото и пытается что-то делать на основании моих вводных.
И дальше опять ручной труд, только уже в комментариях к распознанию машины, что здесь хорошо, здесь плохо, а здесь вообще не то, что надо.
Соответственно все это занимает ну очень много времени, поэтому я даже не начинал)) пока просто сортирую фото по типам приборов.
А сам вот этот труд сейчас выделен в отдельную профессию, которая называется асессор, или инженер разметки данных. Второе звучит почетнее, но такая формулировка в отечественных компаний почти не встречается . Кстати, у меня в биографии есть небольшой эпизод, когда на данной позиции я работал на одного нашего it-гиганта.