Про то как мой проект вырос с 0 до полумиллиона запросов за 3 дня

Дело было спустя 1-2 месяца после запуска graspil.com, на тот момент было несколько постоянных и платящих клиентов, но их боты были не большими, граспил тогда обрабатывал суммарно всего около 200 http запросов в день 😅

В это же время у меня случился переезд в Хорватию, нужно было заниматься документами, поиском квартиры и т.п. времени на работу оставалось не сильно много. По приезду в Загреб из Черногории (это заняло почти сутки на автобусе) я обнаружил что к сервису подключился бот с посещением в 400 раз больше чем весь суммарный трафик сервиса… 😱🥳 Охренел я тогда знатно и мне повезло, что сервак справлялся с этой нагрузкой🩼.

Тогда весь сервис работал на одном сервере у хостинга Таймвеб. Это сейчас у меня распределенная масштабируемая инфраструктура😎, а тогда все было “на коленке”. И как вишенка на торте, в то время Таймвеб подвергался жесткому DDOS-у. Периодически сервер просто не отвечал, это были кратковременные проблемы, но тем не менее. К тому моменту, я уже почти подготовил отдельный сервер для проксирующией инфраструктуры, но его еще нужно было допилить и протестировать.

Тут нужно немного пояснить как работает граспил

Проксирующая инфраструктура — это сервера, которые пропускают через себя трафик от всех ботов подключённых к сервису. Это самое узкое и важное место. Потому что скорость работы ботов зависит от этих серверов, если они лагают, то лагают все боты, если сервера висят, то висят все боты…

Бессонные Загребские ночи И бессонные они не потому что я начал люто кутить в новом городе… А потому что трясущимися руками начал писать код (на фото как раз этот момент). На самом деле по приезду я уже накинул процессоров и памяти серверу и он держался молодцом, меня больше беспокоило то, что таймвеб может снова лечь из-за DDOS.

Так и случилось, во время очередного DDOSa, несмотря на то, что новый сервер еще не был до конца протестирован, я перенаправил весь трафик ботов на него, и все благополучно легло… Но в течение нескольких минут мне удалось все пофиксить и выдохнуть.

Примерно в этот же момент, тот самый клиент, видимо решив, что сервис не плох, боты не ломает, работает надежно…. Решил подключить еще один свой бот… А потом еще один и еще… В общем итоге кол-во трафика выросло еще в 7 раз. Но с новой партией оперативы сервак радостно переваривал трафик, правда стало понятно что уже пора делать горизонтально масштабируемую систему…

Что было дальше? Тогда у меня еще не было сформированной ценовой политики (и сейчас тоже нет 😄), но был 1 платный тариф, у которого можно было указать любую стоимость месяца самостоятельно. Через несколько недель работы стало ясно, что за такой объем трафика уже нужно брать деньги.

Сразу появилась мысль, что размер оплаты должен зависеть от объёма трафика. Я начал советоваться, считать и думать, в конце концов, сформировал ценовое предложение и отправил клиенту. И примерно в это же время обнаружил, что клиент еще неделю назад сам уже внес оплату 😅. Самое интересное, что сумма которую он заплатил по своему усмотрению была очень похоже на ту что я предложил.

Я получил ответ на свое письмо и мы “ударили по рукам” 🤝.

Он ушел… Спустя примерно месяц у меня сработало уведомление, что прокси сервер отвечает слишком долго. Я начал разбираться в чем причина и обнаружил что сервера этого клиента люто тупят. Это выглядело так будто мой сервер попал под какой-то фильтр и сервер клиента одновременно обрабатывает только один запрос от него. При отключении граспила от ботов ситуация нормализовывалась и они начинали нормально работать. Чтобы не ломать клиентские боты я отключил их от аналитики, за исключением одного бота и уведомил клиента о проблеме, но ответа так и не получил…

Ушел клиент из-за технической ошибки или из-за того что граспил оказался ему бесполезен, для меня осталось загадкой, скорей всего все вместе. Тем не менее, такой объем трафика сильно бустанул проект и мою мотивацию.

Конец в комментах ⬇️