Apache Airflow: orkiestracja pipeline’ów danych
Poziom
ŚredniozaawansowanyCzas
3 godzinyTermin
IndywidualnieCena
IndywidualnieApache Airflow: orkiestracja pipeline’ów danych
Apache Airflow jest jednym z najpopularniejszych narzędzi do zarządzania pipeline’ami danych. Webinar pokazuje, jak projektować workflowy ETL/ELT oraz automatyzować procesy przetwarzania danych.
Dla kogo jest ten webinar?
Data engineers-
Platform engineers
-
Data platform developers
Czego nauczysz się na tym webinarze?
jak projektować pipeline’y danych-
jak budować DAGi w Airflow
-
jak zarządzać workflowami ETL
-
jak monitorować procesy przetwarzania danych
Agenda webinaru
- Filozofia „Data Pipelines as Code”: dlaczego Airflow wygrał rynek
- Projektowanie DAG-ów: idempotentność, atomowość i unikanie side-effects
- Operatory, Sensory i Hooki: jak łączyć się z dowolnym systemem
- Skalowanie: Celery Executor vs Kubernetes Executor
- Modern Airflow: TaskFlow API i dynamiczne generowanie zadań
- Observability: monitorowanie SLA i alertowanie o błędach w pipeline
- Q&A
