Szkolenie OpenZFS

Dzień 1: Podstawy OpenZFS

Wprowadzenie do szkolenia

• Zakres szkolenia, środowisko laboratoryjne, zasady bezpieczeństwa danych i kryteria weryfikacji rezultatów
• Agenda szkolenia, cele praktyczne, wymagane narzędzia, organizacja ćwiczeń i zasady pracy na wirtualnych dyskach
• Ryzyko operacji administracyjnych, kopie danych laboratoryjnych, weryfikacja nazw urządzeń i ochrona przed pracą na niewłaściwym nośniku

Wprowadzenie do systemu plików ZFS

• Geneza i rozwój ZFS: Sun Microsystems, OpenSolaris, illumos i społeczność OpenZFS
• OpenZFS i implementacje platformowe: wspólny kod, Linux, FreeBSD oraz zgodność funkcji puli
• Architektura OpenZFS: Copy-on-Write, sumy kontrolne, grupy transakcyjne, ARC, ZIL, pule, vdevy i datasety
• Model integralności danych: kontrola bloków danych i metadanych, wykrywanie cichych uszkodzeń oraz samonaprawa przy dostępnej redundancji
• OpenZFS a tradycyjne systemy plików, RAID sprzętowy i menedżery woluminów: integralność, administracja, elastyczność i ograniczenia

Instalacja i konfiguracja OpenZFS

• Pakiety OpenZFS na Linux i FreeBSD: repozytoria, moduł jądra, zgodność wersji i walidacja instalacji
• Urządzenia blokowe: identyfikatory dysków, ścieżki trwałe, sektory fizyczne, parametr ashift i przygotowanie nośników
• Konfiguracja bazowa: pierwsza pula zpool, pierwszy dataset, punkt montowania i kontrola stanu
• Właściwości i funkcje puli: feature flags, tryb zgodności, automatyczny import, cachefile i kontrola zmian
• Eksport i import puli: identyfikatory puli, alternatywny katalog główny, odczyt bez zapisu i podstawowe scenariusze przenoszenia

Pule zpool, datasety i woluminy zvol

• Topologie puli zpool: stripe, mirror, RAIDZ1, RAIDZ2, RAIDZ3, dRAID, spare oraz konsekwencje awarii vdevu
• Vdevy i pule: domeny awarii, rozkład danych, szerokość grupy RAIDZ, pojemność użytkowa i brak ochrony między niezależnymi vdevami
• Datasety ZFS: hierarchia, dziedziczenie właściwości, mountpoint, canmount, quota, refquota, reservation i refreservation
• Woluminy zvol: urządzenie blokowe, volsize, volblocksize, zastosowania dla maszyn wirtualnych i baz danych oraz ograniczenia zmiany parametrów
• Właściwości datasetów: compression, recordsize, atime, xattr, sync, checksum, dedup i ich wpływ na zasoby
• Szyfrowanie natywne: klucze, keylocation, keyformat, dziedziczenie, ładowanie klucza i granice ochrony metadanych
• Deduplikacja: tablica DDT, zapotrzebowanie na pamięć, koszt wydajnościowy, kryteria zasadności i ryzyko operacyjne

Snapshoty i klony ZFS

• Snapshoty ZFS: nazewnictwo, snapshoty rekursywne, atomowość, zajętość miejsca i zależność od późniejszych zmian danych
• Retencja snapshotów: właściwości użytkownika, hold, release, destroy, bookmark i podstawowe schematy nazewnictwa
• Klony ZFS: zależność od snapshotu, współdzielone bloki, punkt montowania, promocja klonu i konsekwencje usunięcia źródła
• Odzysk danych: dostęp do katalogu .zfs/snapshot, kopia pojedynczych plików, rollback i wpływ na nowsze snapshoty
• Granice snapshotów: brak kopii poza pulą, brak ochrony przed awarią całej puli i konieczność niezależnego backupu

Ćwiczenia praktyczne z administracji ZFS

• Pula laboratoryjna: topologia mirror lub RAIDZ, parametr ashift, nazewnictwo vdevów i walidacja konfiguracji
• Datasety i zvols: hierarchia, punkty montowania, właściwości lokalne i dziedziczone oraz limity pojemności
• Snapshoty i klony: snapshot rekursywny, klon roboczy, promocja, odzysk pliku i kontrola wykorzystania przestrzeni
• Pojemność puli: quota, reservation, refquota, refreservation, kompresja i udział snapshotów
• Diagnostyka podstawowa: zpool status, zpool list, zpool history, zfs list, zfs get i komunikaty błędów
• Dokumentacja środowiska: układ puli, właściwości datasetów, wykorzystanie przestrzeni i kryteria poprawności konfiguracji

Dzień 2: Zaawansowane funkcje i administracja OpenZFS

Przegląd dnia pierwszego i zakres dnia drugiego

• Synteza architektury OpenZFS, hierarchii zasobów, właściwości datasetów i zależności między pulą, vdevem i dyskiem
• Przegląd artefaktów laboratoryjnych, stan puli, snapshoty, klony oraz kryteria dalszych ćwiczeń
• Najczęstsze błędy konfiguracyjne: niewłaściwy ashift, brak redundancji, błędne limity, niebezpieczna deduplikacja i brak zapasu pojemności

Integralność i odporność danych w ZFS

• Redundancja i odporność na awarie: mirror, RAIDZ, dRAID, spare, domeny awarii oraz granice ochrony puli
• Integralność danych: sumy kontrolne, samonaprawa, scrub, błędy trwałe, zpool status -v i walidacja stanu
• Scrub: harmonogram, wpływ na wydajność, postęp, anulowanie, wyniki i interpretacja liczników błędów
• Pula zdegradowana: statusy DEGRADED, FAULTED i UNAVAIL, wpływ awarii vdevu oraz priorytet reakcji
• Operacje na urządzeniach: offline, online, detach, attach, replace, clear i bezpieczna kolejność działań
• Resilvering: zakres kopiowanych danych, zależność od zajętości puli, monitorowanie postępu i ryzyko kolejnej awarii
• Import awaryjny: wyszukiwanie puli, import tylko do odczytu, alternatywny katalog główny, recovery mode i ograniczenia operacji naprawczych

Replikacja i migracja danych w ZFS

• Replikacja między systemami: strumienie pełne i przyrostowe, snapshot bazowy, transport SSH i weryfikacja odbiorcy
• ZFS Send/Receive: strumienie rekursywne, właściwości, snapshoty pośrednie, kompresja transportu i kontrola rezultatu
• Replikacja przyrostowa: zależność od wspólnego snapshotu, porządek snapshotów, bookmarki i reakcja na przerwany łańcuch
• Resume token: przerwane przesyłanie, wznowienie strumienia, anulowanie stanu częściowego i kontrola miejsca docelowego
• Surowy strumień szyfrowany: replikacja bez odszyfrowania danych, zachowanie kluczy i wymagania po stronie odbiorcy
• Delegacja uprawnień: polecenie zfs allow, ograniczone uprawnienia wysyłania i odbioru oraz konto replikacyjne
• Migracja i backup: harmonogram snapshotów, retencja, kopia poza hostem, test odtworzenia i rola zasady 3-2-1
• Walidacja replikacji: zgodność snapshotów, właściwości datasetu, sumy kontrolne plików i dokumentacja testu odtworzenia

Obserwowalność i wydajność OpenZFS

• Stan puli i datasetów: zpool status, zpool list, zfs list, właściwości pojemności i progi ostrzegawcze
• Statystyki operacji wejścia i wyjścia: zpool iostat, opóźnienia, przepustowość, operacje losowe i sekwencyjne oraz identyfikacja obciążonego vdevu
• Zdarzenia ZED: powiadomienia o zmianie stanu, błędach dysków, zakończeniu scrub i resilvering oraz integracja z monitoringiem
• Statystyki ARC: rozmiar pamięci podręcznej, trafienia i chybienia, presja pamięci oraz zależność od profilu obciążenia
• L2ARC: rozszerzenie pamięci podręcznej odczytu, rozgrzewanie, koszt metadanych, trwałość danych i kryteria zastosowania
• ZIL i SLOG: zapis synchroniczny, opóźnienie, ochrona przed utratą urządzenia, wymagania trwałości i brak wpływu na większość zapisów asynchronicznych
• Special vdev: metadane, małe bloki, wydajność, wymaganie redundancji i konsekwencje awarii
• Parametry datasetów: recordsize, volblocksize, sync, logbias, primarycache, secondarycache i dopasowanie do profilu obciążenia
• Kompresja: algorytmy, compressratio, wpływ na pojemność i wydajność oraz kryteria walidacji rezultatu

Diagnostyka i dobre praktyki

• Diagnostyka błędów odczytu, zapisu i sum kontrolnych: źródła problemów, korelacja z nośnikiem, kablem, kontrolerem i pamięcią
• Diagnostyka zawieszonej puli: stan urządzeń, operacje wejścia i wyjścia, logi systemowe, eksport i import oraz ryzyko wymuszonego importu
• Cykl życia dysków i vdevów: dodanie, przyłączenie, odłączenie, wymiana, usunięcie i rozszerzenie pojemności
• Rozszerzenie RAIDZ: warunki techniczne, przebudowa układu, wzrost pojemności, wpływ na wydajność i wymagania zgodności funkcji
• Ograniczenia zmian topologii: brak dowolnej redukcji puli, konsekwencje dodania vdevu, zgodność usuwania i potrzeba planowania
• Dobre praktyki pojemnościowe: zapas wolnego miejsca, progi ostrzegawcze, rozkład obciążenia i unikanie pełnej puli
• Dobre praktyki sprzętowe: trwałe identyfikatory dysków, kontrolery HBA, dostęp do danych SMART, chłodzenie i zasilanie awaryjne
• Dobre praktyki ochrony danych: redundancja niezależna od backupu, regularny scrub, replikacja poza hostem i okresowe testy odtworzenia
• Dobre praktyki bezpieczeństwa: ochrona kluczy szyfrujących, ograniczenie uprawnień, audyt operacji i dokumentacja procedur awaryjnych

Studium przypadku i zaawansowane ćwiczenia praktyczne

• Profile zastosowań: repozytorium backupu, serwer plików, storage dla maszyn wirtualnych, baza danych i archiwum
• Dobór topologii: wymagana pojemność, odporność na awarie, profil operacji wejścia i wyjścia, czas odbudowy oraz budżet sprzętowy
• Scenariusz replikacji: snapshot bazowy, strumień pełny, snapshot przyrostowy, przerwanie transmisji, wznowienie i walidacja odbiorcy
• Scenariusz awarii dysku: stan zdegradowany, identyfikacja urządzenia, wymiana nośnika, resilvering i kontrola integralności
• Scenariusz odzysku danych: snapshot, klon roboczy, odzysk pliku, rollback kontrolowany i dokumentacja rezultatu
• Analiza wydajności: zpool iostat, statystyki ARC, wpływ kompresji, recordsize lub volblocksize oraz porównanie wyników
• Procedura operacyjna: monitoring, progi alertów, scrub, snapshoty, replikacja, reakcja na awarię i test odtworzenia