Собираем цены, ловим баны, делаем SaaS Недавно пробежала новость: WB урезал часть данных, и у половины аналитических систем которые собирали остатки парсеры закончились. Наш — работает, но собирает цены.
А буквально вечером появилась ещё одна — Ozon снова повышает тарифы. Кажется, не в последний раз. Так что продукт, цель которого — сэкономить продавцам и увеличить их долю прибыли на маркетплейсах, пока выглядит чертовски своевременным.
Путь по граблям Правильный продуктовый путь по гайдам нам по-прежнему не ведом. Мы идём своим маршрутом, через ошибки и эксперименты. И раз уж на сайте пока нет журнала изменений, буду вести его здесь — в блоге.
С момента прошлого апдейта у нас многое поменялось. Напомню, речь идёт о GuardPrice — сервисе, цель которого управлять ценами на маркетплейсах по разным стратегиям, ориентируясь на собственные цены продавца и реальные цены, которые видит конечный покупатель.
От коробки к полноценному SaaS Коробочная Enterprise-версия обросла популярными стратегиями вроде «следования за конкурентом», «удержания позиции» и так далее. Но главное — мы окончательно ударились головой и решили делать полноценный SaaS-сервис.
С подписками, тарифами, личным кабинетом — как и положено. Первый релиз уже совсем близко, и, конечно, не без приключений.
Поддержка площадок Так как наша коробка изначально гибкая и умеет работать с любым API для обратной загрузки цен, мы решили не ограничиваться только Ozon и Wildberries. В список подключений входят Яндекс.Маркет, Ламода, М.Видео-Эльдорадо, Аптека.ру, и фактически можно прикрутить любой другой e-commerce, где есть API.
Есть и отдельный профиль — «стратегия парсинга». Он просто собирает цены без обратной выгрузки. Зачем? Всё просто: можно указать любую ссылку на товар, задать, где находится блок с ценой, и сервис сам соберёт данные. Очень удобно, когда нужно быстро оценить рынок или конкурентов.
Балансировка и прокси Самая интересная часть — получение реальных цен, которые видит покупатель. Маркетплейсы всеми силами пытаются это закрыть: антибот-механизмы, проверка user-агентов, капчи, блокировки IP — полный набор.
В начале мы сжигали прокси буквально за сутки: вчера работают, сегодня уже бан. Перепробовали десятки пулов и форматов, пока не поняли, что дело не только в самих прокси, но и в нагрузке по времени, частоте запросов и очередности IP.
Теперь у нас построена полноценная балансировка нагрузки, где каждый поток живёт по расписанию. Мы ротируем прокси по группам, проверяем «живость» перед каждым заходом и автоматически выкидываем подозрительные адреса из пула. Так что теперь не выжигаем IP, не теряем данные и не вылетаем в баны.
Кстати, неожиданное открытие — бан может быть временным. Некоторые прокси действительно «оживают» через сутки-двое. Теперь это тоже учитываем при ротации.
Дальше — красота, аналитика и новые грабли Из ближайших задач — улучшить интерфейс. Сейчас он функционален, но выглядит как технический кабинет администратора. Хотим сделать понятнее, аккуратнее и ближе к продукту уровня «из коробки».
Параллельно готовим новые стратегии и полноценный аналитический блок. Было бы странно не использовать тот объём данных, который мы уже накопили и агрегировали.
Скоро первый релиз. Дальше — новые сервисы, новые функции и, конечно, новые грабли. О них вы знаете, где почитать. Подписывайтесь — впереди самое интересное.
