Small Data как новый тренд Пока в индустрии спорят, кто эффективнее обработает петабайты, реальность куда скромнее: 99,9% аналитических запросов в мире работают с сотнями мегабайт, максимум гигабайт. Это не Big Data — это Small Data.
Большинство компаний переоценивают свои объемы и недооценивают возможности современного железа. Один мощный сервер 2025 года способен делать то, для чего раньше строили кластеры из десятков узлов.
Откуда берется тренд на Small Data 1. Организации просто не генерируют столько данных, чтобы оправдать сложность и стоимость распределенных систем.
2. Современные CPU и SSD невероятно быстрые и дешевые. Один сервер сегодня в разы мощнее целой фермы 2015 года.
В статье автор приводит пример, как замена Kafka на Postgres при типичных нагрузках позволяет сэкономить аж в 7 раз без потери производительности.
Почему это важно Мы увлеклись масштабируемостью и забыли о простоте. Используем кувалду, чтобы забить гвоздь. Small Data возвращает фокус на то, что действительно нужно бизнесу: скорость, дешевизну и низкий когнитивный порог для инженеров.
Спросите себя Если ваш дата-проект когда-нибудь вырастет в 10 раз, сколько лет это займет? При росте на 50% в год — почти шесть лет. Стоит ли уже сегодня строить инфраструктуру под гипотетические петабайты?
