Я уверен, что за облаками будущее. Они появились не вчера, но дальше их роль будет только расти. Поэтому как специалист по данным я решил сфокусироваться именно на этом направлении и выбрал для практики Яндекс Облако.

Раньше я уже немного с ним сталкивался. Например, когда хотел развернуть свой сайт или подключить Алису в канал. Но дальше экспериментов дело не заходило.

Потом появился заказчик с проектом в облаке. Он сам поднял PostgreSQL и Airflow, а мне нужно было через веб-интерфейс настроить интеграцию с API и довести задачу до результата.

Это я умею, так как работал с этими инструментами в docker, и соответственно быстро справился.

До этого я уже смотрел в сторону облачных курсов, виртуальных машин, Yandex AI и других сервисов. Но для своих проектов чаще выбирал open-source инструменты и разворачивал их на личном сервере. Для повседневных задач это сильно дешевле.

Сейчас я учусь на архитектора данных. Нашел бесплатный курс, где почти вся практика проходит в Яндекс Облаке. Только есть нюанс - за ресурсы плачу я сам.

Сначала идея казалась отличной. Бесплатное обучение, реальные инструменты, практика руками. Но когда начались проекты, я понял, что основная стоимость обучения в курсе эквивалентна инфраструктуре, то есть ты отдаешь те же деньги если бы ты купил курс за 100 000 руб.

Один из первых проектов был про массовую загрузку данных в Greenplum через Spark, дальше — загрузка в ClickHouse и визуализация.

Я старался экономить и останавливал кластеры, пока разворачивал следующий инструмент. Получались такие технические «пятнашки» - поднял один сервис, остановил, поднял второй, остановил, потом быстро прогнал код на всех рабочих кластерах и закрыл проект.

С тезнической частью у меня проблем не возникло, с помощью нейро-ассестента я достаточно быстро разобрался какие подсети создавать, как связывать инструменты и самое главное я наконец-то понял зачем нужен этот странный сервисный аккаунт.

Главная сложность оказалась финансовой.

За день игры в «пятнашки»  я потратил примерно 1000 рублей. Вечером остановил ресурсы и пошел спать. Утром открыл баланс и увидел уже минус 1500.

То есть даже остановленные ресурсы продолжали заметно списывать деньги.

Да, я знал, что кластер Greenplum может стоить около 250 000 рублей в месяц и примерно 8000 рублей в день. Но не ожидал, что после остановки тарификация все равно будет такой ощутимой.

В итоге я просто удалил абсолютно все ресурсы, чтобы перестать платить за неиспользование.

Главный вывод для себя сделал такой - Яндекс Облако отлично подходит, чтобы познакомиться с промышленными инструментами и понять, как они работают в реальной инфраструктуре.

Но по ощущениям эти сервисы больше рассчитаны на коммерческие проекты и большие компании, чем на небольшие стартапы или учебные эксперименты.

Я понимал это и до начала обучения.  Просто не думал, что разрыв будет настолько большим.

Облака это удобно, мощно и перспективно. Но если учиться за свой счет, лучше заранее планировать не только архитектуру, но и бюджет.