DAG. В Airflow DAG - или a Directed Acycloper Graph - представляет собой набор всех задач, которые вы хотите запустить, организованных таким образом, чтобы отражать их отношения и зависимости.
Как вы создаете DAG в Airflow?
Чтобы создать DAG в Airflow, вам всегда нужно импортировать класс DAG После класса DAG следует импорт операторов. По сути, для каждого оператора, которого вы хотите использовать, вы должны сделать соответствующий импорт. Например, вы хотите выполнить функцию Python, вам нужно импортировать PythonOperator.
Где Airflow ищет DAG?
Airflow ищет в your DAGS_FOLDER модули, которые содержат объекты DAG в их глобальном пространстве имен, и добавляет объекты, которые он находит в DagBag.
Как Airflow хранит DAG?
База данных метаданных Apache Airflow:
База данных метаданных хранит конфигурации, такие как переменные и соединения В ней также хранится информация о пользователях, ролях и политиках. Наконец, планировщик анализирует все DAG и сохраняет соответствующие метаданные, такие как интервалы расписания, статистику каждого запуска и их задачи.
Является ли Airflow инструментом ETL?
Airflow не является инструментом ETL как таковым. Но он управляет, структурирует и организует конвейеры ETL с помощью так называемых направленных ациклических графов (DAG). … В базе данных метаданных хранятся рабочие процессы/задачи (DAG).
