🔹 Потоковая обработка данных: stream vs batch 🔹 Чем stream отличается от batch и когда нужен real-time? 🔸 Потоковая обработка решает проблему задержки: обрабатываем события (event) сразу по приходу, чтобы реагировать в real-time.
🔸 Batch собирает данные пачками и запускает тяжёлые вычисления периодически; stream обрабатывает каждый record непрерывно.
🔸 Когда нужна низкая задержка (мониторинг, fraud detection, персонализация) — выбирайте stream; для офлайн-отчётов и ETL (Extract, Transform, Load) подойдёт batch.
🔸 Kafka — брокер сообщений для stream: хранит топики, обеспечивает delivery и масштабируемость, потребители читают events параллельно.
from kafka import KafkaConsumer consumer = KafkaConsumer('topic', bootstrap_servers='kafka:9092') for msg in consumer: process_event(msg.value)
📚 Stream = low-latency, event-driven; batch = high-throughput, periodic.
➡️ Мы в Telegram - Сетке - ВК Буду рад вашей реакции здесь⬇️
В этом посте были ссылки, но мы их удалили по правилам Сетки
