SzkolenieGoogle BigQuery

Czego nauczysz się na szkoleniu?

poznasz od podstaw działanie Google BigQuery - dynamicznie rozwijającej się hurtowni danych, będącej elementem chmury Google (Google Cloud Platform)
nauczysz się podstaw pracy w BigQuery - pisania zapytań, tworzenia i zarządzania zbiorami danych oraz tabelami, tworzenia i projektowania procesów ETL i ELT z wykorzystaniem narzędzi dostępnych w chmurze Google
dowiesz się, jak wizualizować dane zbierane w hurtowni danych w Looker Studio i Google Sheets, a także jak połączyć BigQuery z popularnymi narzędziami takimi jak PowerBI i Tableau
poznasz praktyczne zastosowania BigQuery w codziennej pracy w obszarze data science oraz dowiesz się, jak w prosty sposób rozpocząć przygodę z uczeniem maszynowym dzięki wykorzystaniu funkcjonalności BigQuery ML

Program szkolenia

Dzień: 1
Moduł 1 – Wprowadzenie do Google Cloud Platform
- Google BigQuery jako część platformy Google Cloud Platform (GCP)
- komplementarne usługi GCP wykorzystywane razem z BigQuery (Google Cloud Storage, Cloud SQL, Cloud Functions, DataPrep i
  inne)
- omówienie podstawowych komponentów GCP potrzebnych w pracy z BigQuery (projekt, konto rozliczeniowe, uprawnienia
  użytkowników)
- wprowadzenie do hurtowni danych – idea działania, najważniejsze pojęcia i założenia
Moduł 2 – Podstawy pracy z Google BigQuery
- zbiory danych, tabele i zapytania – jak wygląda praca z danymi w BigQuery
- edytor zapytań w interfejsie Google BigQuery
- Cloud Shell – praca z danymi w środowisku CLI (command line)
- pobieranie danych z wykorzystaniem podstawowych zapytań SELECT
- manipulowanie wynikami zapytań z wykorzystaniem filtrowania (WHERE), sortowania (ORDER BY)
- agregowanie danych (COUNT, SUM) z wykorzystaniem GROUP BY i HAVING
Moduł 3 – Tworzenie i zarządzanie zbiorami danych i tabelami
- tworzenie i ustawienia zbiorów danych
- tworzenie tabeli w oparciu o schemat i zapytania CREATE OR REPLACE TABLE
- podstawowe typy danych i tryby kolumn
- praca z tablicami (arrays) i strukturami (structs) w BigQuery
- partycjonowanie danych i zapytania do wielu tabel z wykorzystaniem sufiksów (wildcard tables)
Moduł 4 – Ładowanie danych do Google BigQuery
- wprowadzenie do procesów ETL i ELT na przykładzie hurtowni danych BigQuery
- publiczne zbiory danych (BigQuery Public Datasets)
- import danych z Google Cloud Storage do BigQuery
- wczytywanie danych z zewnętrznych źródeł danych – MySQL, PostgreSQL
- wczytywanie danych z Google Drive i Google Sheets
- logowanie danych w BigQuery za pomocą BigQuery API
- automatyzacja ładowania danych za pomocą Data Transfer Service i Scheduled Queries
Dzień: 2
Moduł 5 – Pisanie zapytań SQL w BigQuery – ćwiczenia praktyczne
- łączenie danych z wielu tabel z wykorzystaniem JOINs
- Common Table Expressions z wykorzystaniem WITH w BigQuery
- praca z tablicami danych z wykorzystaniem funkcji ARRAY_AGG i UNNEST
- formatowanie daty i czasu – praca z danymi TIMESTAMP, DATETIME i DATE
- Saved Queries – zapisywanie zapytań i współpraca w zespole
Moduł 6 – Wizualizacja danych i raportowanie z wykorzystaniem BigQuery
- eksport i analiza danych z BigQuery w Google Sheets
- tworzenie dashboardów w Looker Studio w oparciu o dane z Google BigQuery
- integracja BigQuery z innymi narzędziami do wizualizacji danych (PowerBI, Tableau)
Moduł 7 – Praktyczne zastosowania BigQuery w codziennej pracy
- BigQuery API i biblioteki Google Cloud Client Libraries w popularnych językach programowania
- łączenie Google BigQuery z popularnymi narzędziami Data Science (Python, pandas, Jupyter)
- tworzenie konta serwisowego (service account) i korzystanie z danych w BigQuery w zewnętrznych programach na przykładzie DataGrip
- wprowadzenie i omówienie funkcjonalności uczenia maszynowego BigQuery ML – przykłady zastosowań w regresji liniowej i
  prognozy szeregów czasowych