Szkolenie Technologie Big Data w chmurze
Poziom
ŚredniozaawansowanyCzas
24h / 3 dniTermin
IndywidualnieCena
IndywidualnieSzkolenie Technologie Big Data w chmurze
Szkolenie „Technologie Big Data w chmurze” to intensywne, praktyczne warsztaty przeznaczone dla inżynierów, administratorów oraz specjalistów IT chcących nauczyć się skutecznego budowania i zarządzania nowoczesną infrastrukturą Big Data w środowiskach chmurowych (AWS, Azure, Google Cloud). Uczestnicy poznają kluczowe technologie, narzędzia oraz wzorce architektoniczne wykorzystywane do składowania, przetwarzania i analizy dużych wolumenów danych w chmurze. Kurs łączy najnowszą wiedzę teoretyczną z dominującą częścią praktyczną opartą na realnych scenariuszach projektowych.
Dla kogo jest to szkolenie?
Inżynierów oprogramowania i administratorów systemów wdrażających lub utrzymujących rozwiązania Big Data w chmurze.-
Analityków danych i specjalistów Data Science chcących zwiększyć kompetencje w zakresie przetwarzania i analizy danych.
-
Osób planujących migrację istniejących rozwiązań lub wdrożenie nowych projektów opartych o Big Data oraz chmurę publiczną/hybrydową.
-
Architektów rozwiązań IT, którzy chcą wdrażać nowoczesne, skalowalne platformy danych.
Czego nauczysz się na tym szkoleniu?
- Analizy ryzyk i typowych pułapek wdrożeń na podstawie case studies i ćwiczeń warsztatowych
- Projektowania warstwy składowania i przetwarzania dużych zbiorów danych z użyciem usług chmurowych i ekosystemu Hadoop/Spark (w tym usługi zarządzane).
- Doboru rozwiązań analitycznych: NoSQL vs hurtownia danych oraz podstawowych wzorców integracji i orkiestracji pipeline’ów.
- Podstaw praktyk operacyjnych: monitoring i audyt, zarządzanie tożsamością i dostępem, przechowywanie sekretów, szyfrowanie oraz kontrola kosztów.
Program szkolenia
Dzień 1: Fundamenty Big Data w chmurze
Moduł 1: Podstawy Big Data i chmury
- Wprowadzenie do koncepcji Big Data i charakterystyka 5V (volume, velocity, variety, veracity, value).
- Przegląd modeli usług chmurowych (IaaS, PaaS, SaaS) oraz głównych dostawców usług chmurowych.
- Podstawowe usługi AWS: Compute (EC2, Lambda), Storage (S3, EBS, Glacier), Networking (VPC, IGW, NGW).
- Obserwowalność i bezpieczeństwo: CloudWatch, CloudTrail; zarządzanie tożsamością i dostępem: IAM; szyfrowanie i klucze: KMS.
Moduł 2: Architektura Data Lake i składowanie danych
- Architektura Data Lake i Lakehouse w chmurze: Amazon S3, Azure Blob Storage, Google Cloud Storage; formaty danych i tabel (Parquet, Iceberg/Delta – kontekst).
- Uprawnienia i bezpieczeństwo danych: polityki dostępu, wersjonowanie, szyfrowanie w spoczynku i w tranzycie, retencja i niezmienność.
Dzień 2: Przetwarzanie i analiza danych
Moduł 3: Przetwarzanie dużych zbiorów danych
- Rozproszone systemy plików i warstwa storage w chmurze: HDFS w chmurze, integracja z S3, formaty i kompresja danych.
- Silniki przetwarzania: Hadoop, Spark (na przykładzie AWS EMR, Azure Databricks), MapReduce, Yarn; kryteria doboru i koszty uruchomień.
Moduł 4: Bazy danych NoSQL i hurtownie danych
- Przegląd technologii NoSQL: HBase, Cassandra, MongoDB w chmurze; modele danych i typowe przypadki użycia.
- Hurtownie danych: Amazon Redshift, Google BigQuery, Azure Synapse Analytics; podstawy wydajności i kontroli kosztów.
Dzień 3: Zaawansowane technologie i case studies
Moduł 5: Integracja, orkiestracja i automatyzacja
- Integracja i orkiestracja danych: AWS Glue, Azure Data Factory, Google Dataflow; wzorce ETL/ELT i automatyzacja przepływów.
- Orkiestracja przetwarzania z wykorzystaniem workflow (Oozie, Step Functions); harmonogramy, zależności, polityki ponowień i idempotencja.
Moduł 6: Analiza, wizualizacja i bezpieczeństwo
- Analiza danych w chmurze: Athena, BigQuery, Spark SQL; podstawy optymalizacji zapytań i kosztów skanów.
- Wizualizacja danych: Jupyter Notebook, Zeppelin, narzędzia BI.
- Bezpieczeństwo: przechowywanie sekretów, audytowanie dostępu, podstawy zgodności i governance (np. Azure Key Vault, IAM).
