Szkolenie Apache Kafka
Poziom
ŚredniozaawansowanyCzas
24h / 3 dniTermin
IndywidualnieCena
IndywidualnieSzkolenie Apache Kafka
Szkolenie „Apache Kafka” to intensywne, 2-3 dniowe warsztaty (80% praktyki, 20% teorii), które kompleksowo wprowadzą Cię w świat streamingu oraz integracji danych w czasie rzeczywistym z wykorzystaniem Apache Kafka. Nauczysz się projektować i wdrażać odporne na błędy systemy kolejkowania zdarzeń, poznasz architekturę oraz praktyczne aspekty budowania i zarządzania rozproszoną platformą przesyłu danych. Szkolenie uwzględnia zarówno kluczowe tematy administracyjne, jak i programistyczne, idealnie przygotowując do efektywnej pracy z danymi w nowoczesnych środowiskach IT.
Dla kogo jest to szkolenie?
Programistów i inżynierów danych wdrażających systemy event-driven oraz stream processing.-
Administratorów i DevOpsów odpowiedzialnych za utrzymanie i skalowanie platform komunikacyjnych.
-
Analityków, architektów rozwiązań i konsultantów wdrażających rozwiązania Big Data i integracji w organizacji.
Wymagania
- Mile widziana znajomość SQL oraz baz NoSQL
- Umiejętność programowania w Java lub Python
Czego nauczysz się na szkoleniu?
Zrozumiesz architekturę Apache Kafka oraz rolę streamingu w nowoczesnych systemach IT-
Nauczysz się jak projektować i uruchamiać klaster Kafka oraz zarządzać bezpieczeństwem i monitoringiem
-
Zdobędziesz praktyczne umiejętności programistyczne (producent, konsument, obsługa offsetów) w Java lub Python
-
Dowiesz się, jak integrować Kafkę z innymi systemami, automatyzować procesy oraz zapewniać wysoką dostępność i wydajność klastra
-
Opanujesz wykorzystywanie Kafka Streams i Confluent Platform do wdrożeń w środowiskach enterprise
Program szkolenia
Dzień 1: Fundamenty i architektura Apache Kafka
Moduł 1: Wprowadzenie do architektury streamingowej
- Czym jest system publish-subscribe i jak działa przetwarzanie strumieniowe.
- Rola Apache Kafka w ekosystemie Big Data, porównanie z klasycznymi kolejkami.
- Message Brokers – wprowadzenie do roli i funkcji systemów typu message broker, wyjaśnienie roli kolejek i modelu publish-subscribe.
- Różnice i charakterystyki producentów: synchroniczny i asynchroniczny sposób wysyłania komunikatów.
- Szczegółowe omówienie gwarancji przesyłania komunikatów w Kafce.
- Typowe scenariusze użycia Kafki (ETL, integracja systemów, monitorowanie).
Moduł 2: Architektura Apache Kafka i komponenty
- Podstawowe pojęcia – broker, topic, partition, producer, consumer, zookeeper.
- Przegląd wewnętrznych mechanizmów: trwałość (durability), skalowanie, spójność i wysoką dostępność. Mechanizmy partycjonowania tematów, rebalancing i replikacja.
- Budowa i podstawy funkcjonowania z punktu widzenia programisty i administratora.
- Implementacja wysokiej dostępności (HA) z wykorzystaniem MirrorMaker i replikacji między klastrami.
Dzień 2: Praca z Apache Kafka w praktyce – programowanie, administracja i bezpieczeństwo
Moduł 3: Instalacja, konfiguracja i podstawowa administracja
- Instalacja klastra Kafka i Zookeeper lokalnie oraz w chmurze.
- Konfiguracja kluczy i polisy bezpieczeństwa, podstawowe narzędzia administratora, metody testowania oraz diagnostyka środowiska.
- Zarządzanie topicami, partycjami i replikacją (CLI oraz GUI).
- Omówienie zagadnień sprzętowo-systemowych wpływających na wydajność klastra.
Moduł 4: Programowanie aplikacji opartych o Kafka
- Tworzenie i obsługa producerów oraz consumerów w Java/Python.
- Przykłady przesyłania, odbierania oraz transformacji informacji w strumieniach.
- Mechanizmy obsługi offsetów, grup konsumenckich i load balancing.
Moduł 5: Bezpieczeństwo i monitoring
- Szyfrowanie komunikacji w Kafce (SSL/TLS), uwierzytelnianie użytkowników (SASL i Kerberos).
- Zarządzanie uprawnieniami na poziomie topiców i klastrów. Autoryzacja dostępu poprzez listy kontroli ACL.
- Monitorowanie działania klastra: narzędzia i dashboardy (m.in. Kafka Manager, Prometheus, Grafana).
Dzień 3: Zaawansowane wykorzystanie Kafka w architekturach enterprise
Moduł 6: Integracje, Stream Processing i connectors
- Integracja Kafki z systemami zewnętrznymi (Kafka Connect, JDBC, REST, S3).
- Praca z Kafka Streams – budowanie aplikacji stream processing (transformacje, joins, windowing).
- Zastosowania w architekturach mikroserwisowych i event-driven.
- Metody tworzenia kopii zapasowych danych, w tym kopie manualne oraz z wykorzystaniem narzędzi Kafka Backup.
Moduł 7: Skalowanie, tuning i dobre praktyki
- Rozszerzanie klastra, optymalizacja liczby partycji i parametrów.
- Bezpieczne zmiany konfiguracji, strategia retencji danych, backup i odzyskiwanie.
- Przykłady przypadków użycia z produkcji, wyzwania i praktyczne rozwiązania.
