Первая большая проверка показала ошибку в моём методе

В прошлый раз рассказывал, почему разные цифровые сервисы не всегда понимают, что несколько карточек относятся к одному и тому же бизнесу.

Это было наблюдение, но мне хотелось понять масштаб.

В мае я взял первые 127 карточек гостевых домов Геленджика и окрестностей из выдачи 2ГИС и начал проверять.

Задача - понять, что видит человек, который пытается найти жильё, и можно ли сопоставить найденный объект с государственным реестром.

Я смотрел, есть ли цена, сайт, контакты, как объект представлен на карте и находится ли соответствующая запись в реестре.

Первые результаты выглядели довольно неожиданно.

Примерно у половины проверенных объектов не было видимой цены. У 44% не нашёл собственного сайта. Только у 13% был указан email.

А из 127 карточек удалось найти соответствие в государственном реестре у 90. Для остальных 37 я такого соответствия в первой проверке не установил.

Сначала хотелось сделать простой вывод: вот он, масштаб проблемы, но постепенно стало понятно, что проблема есть и в самом измерении.

Я проверял то, что показывают карты. А значит, не видел тех, кого карты вообще не показывают.

К тому же проверял верхнюю часть выдачи - наиболее заметные объекты. Это не случайная выборка всего рынка.

Обнаружилась и другая неприятность - когда пытаешься сопоставлять объекты только по названию, быстро появляются чужие адреса, тёзки, похожие названия. В контрольных проверках такой способ давал слишком много ошибок.

Получалось, что цифры у меня есть, но ответить, насколько точно они описывают весь рынок, я не могу.

Для исследователя это довольно неудобный момент. Особенно когда уже потратил время на сбор данных и получил результаты, о которых хочется рассказать.

Можно было продолжить собирать карточки тем же способом, увеличивая таблицу. Но большая таблица с ошибочной методикой не становится более точной только от своего размера.

Поэтому пришлось изменить направление работы.

Теперь основой стал государственный реестр - список существующих записей об объектах размещения. А поиск, карты и площадки бронирования превратились в источники, с которыми эти записи нужно сопоставлять.

То есть раньше я спрашивал: «Из тех, кого показывают карты, кто есть в реестре?»

А стал спрашивать: «Из тех, кто есть в реестре, кого и как видит интернет?»

Вопросы похожие, но ответы на них могут быть совершенно разными.

Именно этот разворот постепенно превратил разовую проверку гостиниц в исследовательский проект.

Я начал сохранять не только цифры, но и правила их получения, ошибки, ограничения, версии методики.

Это оказалось важнее красивого итогового процента.

Следующим шагом была ручная сверка объектов по нескольким признакам. И там выяснилось, что даже когда две системы содержат сведения об одном бизнесе, надёжно связать эти сведения не всегда просто.

Об этом расскажу дальше.