Szkolenie z Apache Airflow
Poziom
ŚredniozaawansowanyCzas
16h / 2 dniTermin
IndywidualnieCena
IndywidualnieSzkolenie z Apache Airflow
Apache Airflow to zaawansowane narzędziem do planowania i zarządzania przepływem pracy w środowisku big data. Umożliwia tworzenie, monitorowanie i automatyzację procesów biznesowych opartych na cyklicznych i jednorazowych zadań. Airflow pozwala na definiowanie zależności między poszczególnymi zadaniami i automatyczne ich wykonywanie w odpowiedniej kolejności, co zwiększa efektywność i niezawodności procesów biznesowych.
Dla kogo jest szkolenie z Apache Airflow?
Dla Data Scientist i pracujących z dużą ilością danych.
Dla programistów mających doświadczenie z językiem Python.-
Dla programistów zajmujących się infrastrukturą programistyczną.
-
Dla DevOpsów.
Czego nauczysz się na szkoleniu Apache Airflow?
- Instalacji i konfiguracji narzędzia Apache AirFlow.
- Poznasz architekturę i komponenty wykorzystywane w AirFlow.
- Nauczysz się tworzyć grafy (DAGi)
- Zapoznasz się z przekazywaniem danych XCom, branchingiem i organizacją zadań
Program szkolenia
Moduł 1 – Wprowadzenie
- Rys historyczny (Airflow 1.0, Airflow 2.0)
- Omówienie architektury (komponenty)
- Podstawowe elementy: DAG, Instancja, Zadanie
Moduł 2 – Tworzenie grafów (DAGów)
- Operatory
- Sensory
- Hooki
- Tworzenie połączeń
Moduł 3 – Tworzenie grafów (DAGów)
- XCom – przekazywanie danych
- Gałęzie – branching
- Organizacja zadań – subDAG oraz grupy
- Tworzenie połączeń
W ramach powyższych elementów dodatkowo będą realizowane:
- restart DAGów
- resetowanie konfiguracji
- opcja „catch”
- weryfikacja logów
Opcjonalne moduły do realizacji:
- budowanie klastrów Airflow (konfiguracja elementów)
- wykorzystywanie wybranych elementów DAGów
Pobierz program
Pobierz szczegółowy program w PDF, żeby dowiedzieć się więcej o godzinach i tematach zajęć.
