Мандаринки в пакете.

Последнее время стал замечать внедрение умных автоматических касс. Когда в пакетике кладешь мандаринки и опа — она сразу тебе предлагает выбрать товары для взвешивания из «мандаринок». Признаюсь, первый раз я облазил кассу, нашел камеру, пошел попробовал в мешочек положить и яблоки, и мандарины. Короче, было интересно, как автоматика отрабатывает «шумы».

А сегодня хочется поделиться некоторой внутрянкой: самый большой в мире датасет для умных касс и систем учета в ритейле представили инженер Yandex Cloud и исследователи Сколтеха.

Это набор фотографий тех самых фруктов и овощей, который ритейлеры могут использовать для обучения алгоритмов в умных кассах и системах учета. С помощью датасета можно значимо улучшить точность распознавания продуктов в реальных супермаркетах — он учитывает изображения объектов с полиэтиленовыми пакетами, пересечением объектов и «шумным» фоном на прилавках.

А также датасет поможет автоматически подсчитывать количество единиц товара. Вот про количество я не знал, и надо найти, что продается поштучно, и попробовать еще раз потестить систему.

Для тех, кому нужны подробности, в журнале Scientific Data опубликована статья с описанием датасета. Набор изображений размещён на платформе Zenodo, а код и примеры моделей — на платформе Kaggle. Короче, полный набор вкусноты для тех, кто хочет продолжить улучшать процесс, а не огрызок, как обычно.

Почему это важно? Прежде всего, это позволяет исследователям и разработчикам использовать набор в своих проектах и сравнивать получающиеся решения с результатами авторов. Понятно, что датасет надо развивать и адаптировать под разные сезоны, товары, регионы. Будем надеяться, что сообщество этим займется.