airflow оркестрация

Airflow оркестрация — это управление последовательностью и зависимостями задач в data pipeline с помощью Apache Airflow, платформы с открытым исходным кодом для программного создания, планирования и мониторинга рабочих процессов. Apache Airflow разработан в Airbnb в 2014 году и сегодня является стандартом де-факто для оркестрации задач в области обработки данных.

Ключевые концепции Airflow

DAG (Directed Acyclic Graph) — ориентированный ациклический граф, описывающий рабочий процесс. Каждый DAG содержит набор задач (Tasks) и зависимостей между ними. Граф ациклический — нет циклических зависимостей, всегда есть начало и конец.

Task — единица работы в DAG. Каждый task выполняется отдельным процессом и может зависеть от успешного завершения других tasks.

Operator — класс, определяющий, что именно делает task. BashOperator выполняет bash-команды, PythonOperator — Python-функции, SQLOperator — SQL-запросы. Для популярных инструментов есть готовые операторы: SparkSubmitOperator, BigQueryOperator, S3FileTransformOperator.

Scheduler — компонент, анализирующий DAG-определения и создающий task instances согласно расписанию.

Executor — компонент, фактически выполняющий задачи. LocalExecutor запускает задачи на той же машине. CeleryExecutor и KubernetesExecutor распределяют выполнение по воркер-пулу.

DAGs как код

Ключевое преимущество Airflow — DAG-определения пишутся на Python. Это даёт версионирование в git, переиспользование кода через функции и классы, возможность динамически генерировать DAGs на основе конфигурации, полную интеграцию с экосистемой Python для тестирования.

DAG-файл описывает структуру, зависимости и расписание пайплайна. Сам вычислительный код выносится в отдельные модули и вызывается из операторов.

Планирование и триггеры

Airflow поддерживает расписание через cron-выражения (ежедневно, ежечасно, каждые 15 минут) и через Dataset-ориентированное планирование: DAG запускается автоматически при обновлении определённого датасета другим DAG. Это позволяет строить реактивные пайплайны без явной связи через расписание.

Мониторинг и observability

Airflow Web UI предоставляет детальный мониторинг: граф DAG с цветовой индикацией статуса каждого task (running, success, failed, skipped), временную шкалу запусков, логи каждого task instance, статистику длительности задач. Интеграция с Statsd/Prometheus позволяет собирать метрики в Grafana.

Распространённые паттерны

• ETL/ELT pipeline — извлечение данных из источников, трансформация, загрузка в хранилище
• ML pipeline — подготовка данных, обучение модели, оценка метрик, деплой
• Sensor pattern — ожидание появления файла или события перед стартом обработки
• Dynamic DAG generation — создание DAG структур программно из конфигурации или БД

Альтернативы и конкуренты

Prefect и Dagster — современные конкуренты с лучшим developer experience, более простым local development и нативной поддержкой концепции data assets. Prefect не требует центрального планировщика для локального запуска. Dagster делает явным, какие данные (assets) создаются каждым шагом.

Temporal и Conductor — workflow-движки общего назначения, подходящие не только для data pipelines. Mage — более простая альтернатива с notebook-like интерфейсом.

Airflow выигрывает за счёт огромной экосистемы провайдеров (600+), зрелости, managed-решений (Astronomer, Google Cloud Composer, MWAA на AWS) и обширного сообщества.

Airflow 2.x и TaskFlow API

Airflow 2.0 (2020) принёс значительные улучшения. TaskFlow API упрощает определение DAG-ов: вместо операторов и XCom-вызовов задачи описываются как обычные Python-функции с декоратором @task. Зависимости между задачами вычисляются автоматически по аргументам функций. Dynamic Task Mapping (Airflow 2.3+) позволяет создавать переменное число параллельных задач на основе данных в runtime — мощный паттерн для обработки списков файлов или партиций. AIP-44 Dataset-ориентированное планирование обеспечивает реактивный запуск DAG при обновлении данных. Airflow 3.0 вводит разделение scheduler-а и webserver, улучшает производительность и упрощает горизонтальное масштабирование.