CSV, JSON, Parquet, SQL-дампы… Зачем столько форматов и почему нельзя просто всё открыть в Excel?

Потому что данные приходят из разных источников: таблиц, API, баз данных, логов и корпоративных хранилищ. Хороший аналитик должен понимать не только как открыть файл, но и какой формат выбрать для конкретной задачи

Сохраняй шпаргалку

1. Табличные форматы — база аналитики CSV — универсальный текстовый формат для таблиц. Часто встречается в выгрузках из CRM, BI-систем и баз данных. Легко загружается в Python и Excel

Нет строгой типизации: даты могут превратиться в текст, а разделители — сломать структуру

Excel (.xlsx, .xls) — таблицы, формулы, несколько листов и форматирование. Идеален для отчётности и ручного анализа, но не лучший инструмент для обработки огромных массивов данных

TSV — почти тот же CSV, только значения разделяются табуляцией. Удобен, когда в текстовых полях много запятых

2. Форматы для API, логов и веб-данных JSON — один из главных форматов обмена данными между сервисами. Встречается в REST API, веб-приложениях и ответах серверов. Поддерживает вложенные объекты и массивы

JSONL / NDJSON — одна JSON-запись на каждой строке. Удобен для больших логов, потоковой обработки и обучения моделей

XML — структурированные данные с тегами. Сегодня встречается реже в новых проектах, но всё ещё используется в корпоративных интеграциях, банковских системах и некоторых API

3. Форматы для Big Data и аналитических хранилищ

Здесь важны не только данные, но и скорость обработки, сжатие и экономия памяти

Parquet — колоночный формат, отлично подходящий для аналитики. Позволяет считывать только нужные столбцы и эффективно сжимать данные. Используется в Spark, DuckDB и других инструментах

ORC — ещё один колоночный формат, популярный в экосистеме Hadoop и Hive

Avro — формат с поддержкой схем данных, часто используемый для передачи событий и интеграции систем, например с Apache Kafka

Запомни простое различие: Parquet чаще выбирают для аналитического хранения, Avro — для обмена данными и потоков событий. Но конкретный выбор зависит от инфраструктуры

4. Базы данных и SQL-дампы SQL-дамп (.sql) — файл с SQL-командами для создания таблиц и восстановления данных. Полезен при переносе баз и изучении структуры данных

SQLite (.sqlite, .db) — полноценная реляционная база в одном файле. Удобна для локальных проектов, небольших приложений и анализа через Python или DBeaver

Важно: SQL — это язык запросов, а .sql обычно содержит текстовый сценарий. Не путай его с форматом самой базы данных

🤩 А с какими форматами вы чаще всего работаете — CSV и Excel или уже приходилось сталкиваться с Parquet и JSON?