data warehouse

Data warehouse (хранилище данных) — это централизованная аналитическая база данных, оптимизированная для выполнения сложных аналитических запросов и отчётности над историческими данными из множества источников. Data warehouse отличается от операционных баз данных (OLTP) тем, что оптимизирован для чтения и агрегации больших объёмов данных, а не для быстрых транзакций записи.

OLTP vs OLAP

Операционные базы данных (OLTP — Online Transaction Processing) оптимизированы для высокой частоты коротких транзакций: INSERT, UPDATE, DELETE. Нормализованная схема минимизирует дублирование и обеспечивает целостность. Типичный запрос затрагивает несколько строк по первичному ключу.

Data warehouse реализует OLAP (Online Analytical Processing): запросы сканируют миллионы и миллиарды строк, вычисляют агрегаты (SUM, COUNT, AVG) по множеству измерений. Денормализованные схемы (star schema, snowflake schema) оптимизированы для аналитики.

Архитектурные паттерны: схемы данных

Star schema — центральная таблица фактов (факты: продажи, транзакции) окружена таблицами измерений (дата, продукт, клиент, регион). Простота запросов — одно соединение от таблицы фактов к измерению.

Snowflake schema — измерения нормализованы и разбиты на иерархии (продукт → категория → отдел). Снижает дублирование, но усложняет запросы.

Data Vault — методология для гибкого DWH с разделением на Hubs (ключи сущностей), Links (связи) и Satellites (атрибуты с историей). Устойчива к изменениям в источниках данных.

Современные облачные DWH

• Snowflake — архитектура разделения хранилища и вычислений, автомасштабирование, поддержка полуструктурированных данных (JSON, Parquet)
• Google BigQuery — serverless DWH, оплата за скансированные данные, встроенный ML (BigQuery ML)
• Amazon Redshift — колоночное хранилище в AWS, интеграция с экосистемой Amazon
• Azure Synapse Analytics — объединяет DWH и big data аналитику
• ClickHouse — open-source колоночное хранилище для real-time аналитики с экстремальной производительностью
• DuckDB — embedded аналитическая БД для локальной обработки данных

ETL vs ELT

Традиционный ETL (Extract, Transform, Load): данные извлекаются из источников, трансформируются в промежуточном слое и загружаются готовыми в DWH. Требует отдельной инфраструктуры для трансформации.

Современный ELT (Extract, Load, Transform): данные загружаются в DWH «сырыми», а трансформации выполняются прямо в DWH с помощью его вычислительных ресурсов. Это стало возможным благодаря вычислительной мощности современных облачных DWH. dbt — инструмент управления ELT-трансформациями.

Слои архитектуры DWH

Типичная многослойная архитектура: Staging (сырые данные из источников без изменений), ODS/Raw Vault (первичная очистка), Core/DWH (бизнес-модель: факты и измерения), Data Marts (витрины данных для конкретных бизнес-доменов или команд).

Чёткое разделение слоёв обеспечивает прозрачность трансформаций, возможность отладки и переработки отдельных слоёв без влияния на остальные.

Data warehouse vs Data Lake vs Data Lakehouse

Data Lake хранит данные в сыром виде (любой формат, любая структура) дёшево, но аналитика требует обработки. Data Warehouse хранит структурированные, обработанные данные с гарантиями качества, оптимальна для SQL-аналитики. Data Lakehouse объединяет преимущества обоих: хранит в open-форматах (Delta Lake, Apache Iceberg) в объектном хранилище с поддержкой ACID-транзакций и SQL-запросов.

Качество данных и data contracts

Data warehouse полезен настолько, насколько достоверны данные в нём. Неконтролируемые источники приводят к классическому «мусор на входе — мусор на выходе». Data contracts — формальные соглашения между командой-производителем данных и командой-потребителем: описывают схему, SLA по обновлению, ожидаемые диапазоны значений. Инструменты dbt Tests, Great Expectations, Soda Core автоматизируют проверку качества данных в pipeline. Lineage (прослеживаемость) — понимание того, откуда пришла каждая метрика и через какие трансформации прошла. OpenLineage и Marquez стандартизируют сбор lineage-метаданных. Для enterprise-систем data governance платформы (Alation, Collibra, DataHub) обеспечивают каталогизацию и stewardship данных.