Первая большая проверка показала ошибку в моём методе
В прошлый раз рассказывал, почему разные цифровые сервисы не всегда понимают, что несколько карточек относятся к одному и тому же бизнесу.
Это было наблюдение, но мне хотелось понять масштаб.
В мае я взял первые 127 карточек гостевых домов Геленджика и окрестностей из выдачи 2ГИС и начал проверять.
Задача - понять, что видит человек, который пытается найти жильё, и можно ли сопоставить найденный объект с государственным реестром.
Я смотрел, есть ли цена, сайт, контакты, как объект представлен на карте и находится ли соответствующая запись в реестре.
Первые результаты выглядели довольно неожиданно.
Примерно у половины проверенных объектов не было видимой цены. У 44% не нашёл собственного сайта. Только у 13% был указан email.
А из 127 карточек удалось найти соответствие в государственном реестре у 90. Для остальных 37 я такого соответствия в первой проверке не установил.
Сначала хотелось сделать простой вывод: вот он, масштаб проблемы, но постепенно стало понятно, что проблема есть и в самом измерении.
Я проверял то, что показывают карты. А значит, не видел тех, кого карты вообще не показывают.
К тому же проверял верхнюю часть выдачи - наиболее заметные объекты. Это не случайная выборка всего рынка.
Обнаружилась и другая неприятность - когда пытаешься сопоставлять объекты только по названию, быстро появляются чужие адреса, тёзки, похожие названия. В контрольных проверках такой способ давал слишком много ошибок.
Получалось, что цифры у меня есть, но ответить, насколько точно они описывают весь рынок, я не могу.
Для исследователя это довольно неудобный момент. Особенно когда уже потратил время на сбор данных и получил результаты, о которых хочется рассказать.
Можно было продолжить собирать карточки тем же способом, увеличивая таблицу. Но большая таблица с ошибочной методикой не становится более точной только от своего размера.
Поэтому пришлось изменить направление работы.
Теперь основой стал государственный реестр - список существующих записей об объектах размещения. А поиск, карты и площадки бронирования превратились в источники, с которыми эти записи нужно сопоставлять.
То есть раньше я спрашивал: «Из тех, кого показывают карты, кто есть в реестре?»
А стал спрашивать: «Из тех, кто есть в реестре, кого и как видит интернет?»
Вопросы похожие, но ответы на них могут быть совершенно разными.
Именно этот разворот постепенно превратил разовую проверку гостиниц в исследовательский проект.
Я начал сохранять не только цифры, но и правила их получения, ошибки, ограничения, версии методики.
Это оказалось важнее красивого итогового процента.
Следующим шагом была ручная сверка объектов по нескольким признакам. И там выяснилось, что даже когда две системы содержат сведения об одном бизнесе, надёжно связать эти сведения не всегда просто.
Об этом расскажу дальше.
· 23.10
Первая большая проверка показала ошибку в методе — это нормальный этап: наблюдение превращается в масштаб, когда начинаешь считать. В своём проекте я тоже сначала заметил проблему, а потом понял, насколько она шире. Масштаб меняет приоритеты.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 23.10
Согласен. А еще чем дольше занимаешься, тем больше видно насколько в начале наивными были выводы и действия по исследованию.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён