Big Data – Hadoop

990 zł + 23 % VAT

8 h

8h

Kategoria: Back-end

Na praktycznym warsztacie z platformy Hadoop poznasz architekturę tego systemu oraz dowiesz się, jak dostarczyć do niego dane z różnych źródeł. Będziesz w stanie poddać dane niskopoziomowej analizie za pomocą zadań MapReduce lub wysokopoziomowej analizie za pomocą zapytań SQL-owych na Hive. Dowiesz się, jak przechowywać dane, oszczędzając przy tym zasoby oraz jak definiować i monitorować uruchamiający się regularnie przepływ danych.

 

Profil uczestnika

Warsztat z platformy Hadoop dedykowany jest dla wszystkich programistów oraz inżynierów chcących usprawnić proces przetwarzania danych w firmie. Wymagana jest znajomość podstaw Javy.

 

Program warsztatu

Dostarczanie danych na platformę

  • zapoznanie z komendami HDFS
  • Flume (NRT)
  • Sqoop (RDBMS)

Operacje na danych

  • MapReduce, Hadoop Streaming
  • konwersja, kompresja, deduplikacja, denormalizacja, partycjonowanie

Praca z Hive

  • tworzenie tabel z danych na HDFS
  • agregacje, statystyki, filtrowanie, sortowanie, joiny
  • utworzenie i wykorzystanie własnych funkcji UDF
  • formaty danych, konwersja

Przepływy Oozie

  • MapReduce, zapytania Hive, ładowanie sqoop, polecenia shellowe
  • łączenie ze sobą akcji

ZAPYTAJ O SZKOLENIE







Wypełniając formularz zgadzasz się na przetwarzanie Twoich danych w celu nawiązania kontaktu w sprawie udziału w kursie.

Administratorem danych osobowych jest infoShare Academy sp. z o.o. z siedzibą w Gdańsku, al. Grunwaldzka 427B, 80-309 Gdańsk, KRS 0000561749, NIP 5842742213, który dane osobowe przetwarza zgodnie z Klauzulą informacyjną.

Skontaktuj się z nami




Wypełniając formularz zgadzasz się na przetwarzanie Twoich danych w celu nawiązania kontaktu w sprawie udziału w kursie.

Administratorem danych osobowych jest infoShare Academy sp. z o.o. z siedzibą w Gdańsku, al. Grunwaldzka 427B, 80-309 Gdańsk, KRS 0000561749, NIP 5842742213, który dane osobowe przetwarza zgodnie z Klauzulą informacyjną.

WARSZAWA

ul. Puławska 2
Plac Unii Lubelskiej
Budynek B

KRAKÓW

Ul. Zygmunta Augusta 5/1
31-504 Kraków

LUBLIN

ul. Józefa Franczaka „Lalka” 43
Inkubator Fundacji Rozwoju Lubelszczyzny

GDAŃSK

al. Grunwaldzka 472B
Olivia Business Centre
budynek Olivia Four (O4)

SZCZECIN

ul. Cyfrowa 6
Technopark Pomerania

POZNAŃ

ul. Towarowa 35
61-896 Poznań

WROCŁAW

Idea Place
ul. Plac Solny 15