Szkolenie Transformer
Poziom
ŚredniozaawansowanyCzas
16h / 2 dniTermin
IndywidualnieCena
IndywidualnieSzkolenie Transformer
Szkolenie warsztatowe poświęcone architekturze Transformer oraz praktycznej pracy z modelami językowymi w ekosystemie Hugging Face. Zakres obejmuje mechanizm self-attention, tokenizację, modele encoder-only, decoder-only i encoder–decoder, inferencję, przygotowanie danych, fine-tuning, PEFT/LoRA, walidację, analizę błędów oraz optymalizację wykorzystania pamięci. Uczestnicy przygotują pipeline NLP, dostosują model do wybranego zadania i udokumentują jego metryki, ograniczenia oraz ryzyka.
Dla kogo jest szkolenie Transformer?
Programiści Python i inżynierowie danych, którzy chcą wykorzystywać modele transformatorowe w zadaniach przetwarzania języka naturalnego-
Data scientistci, analitycy danych i inżynierowie ML odpowiedzialni za przygotowanie, ocenę lub adaptację modeli językowych
-
Specjaliści IT projektujący prototypy rozwiązań opartych na klasyfikacji tekstu, NER, analizie sentymentu, generacji tekstu lub translacji maszynowej
-
Osoby znające Python, podstawy uczenia maszynowego, pracę z bibliotekami pandas i scikit-learn oraz podział danych na zbiory treningowe, walidacyjne i testowe. Podstawowa znajomość PyTorch będzie pomocna
Wymagania
Znajomość podstaw programowania w Pythonie-
Doświadczenie w pracy z usługami chmurowymi będzie dodatkowym atutem
-
Podstawowa wiedza z zakresu uczenia maszynowego
Czego nauczysz się na szkoleniu Transformer?
- Konfigurować środowisko Hugging Face, dobierać tokenizer i model oraz przygotowywać pipeline inferencyjny dla wybranego zadania NLP
- Przygotowywać i wersjonować dane, dobierać podział zbioru oraz metryki adekwatne do klasyfikacji, NER lub generacji tekstu
- Dostosowywać model bazowy za pomocą pełnego fine-tuningu lub PEFT/LoRA oraz porównywać wynik z modelem referencyjnym
- Analizować błędy, zużycie pamięci i czas inferencji oraz przygotowywać dokumentację metryk, ograniczeń, ryzyk, przeznaczenia modelu i wymaganego nadzoru człowieka
Program szkolenia Transformer
Dzień 1: Fundamenty modeli transformatorowych i ekosystem Hugging Face
Podstawy architektury Transformer
- Ewolucja modeli sekwencyjnych oraz architektury encoder-only, decoder-only i encoder–decoder
- Mechanizm self-attention, reprezentacje pozycyjne, maskowanie i bloki transformatora
Ekosystem Hugging Face
- Biblioteki Transformers, Datasets, Tokenizers, Evaluate i PEFT
- Repozytoria modeli, karty modeli, licencje, wersjonowanie i konfiguracja środowiska
Podstawowe operacje z modelami transformatorowymi
- Tokenizacja, tensory wejściowe, długość kontekstu, padding i truncation
- Klasy Auto*, pipelines oraz inferencja z użyciem modeli pretrenowanych
Implementacja zadania przetwarzania tekstu
- Model bazowy dla klasyfikacji tekstu lub rozpoznawania nazw własnych
- Metryki, walidacja, analiza błędów, niezbalansowane klasy i ryzyko wycieku danych
Dzień 2: Adaptacja, ocena i optymalizacja modeli
Adaptacja modeli transformatorowych
- Pełne strojenie parametrów oraz PEFT/LoRA – wymagania obliczeniowe i kryteria doboru
- Zbiory treningowe, walidacyjne i testowe, hiperparametry, powtarzalność i artefakty eksperymentu
Zastosowania modeli transformatorowych
- Klasyfikacja tekstu i rozpoznawanie nazw własnych
- Generacja tekstu i translacja maszynowa
- Analiza sentymentu, podobieństwo semantyczne i reprezentacje wektorowe
Projekt fine-tuningu modelu
- Fine-tuning modelu pretrenowanego na rzeczywistym zbiorze danych
- Analiza modeli z rodziny BERT i małych modeli generatywnych oraz kryteria wyboru rozwiązania
Optymalizacja i prototyp inferencji
- Precyzja mieszana, przetwarzanie wsadowe, kwantyzacja, pamięć i opóźnienie inferencji
- Prototyp inferencji, kryteria akceptacji, karta modelu, sygnały dryfu, ograniczenia, ryzyka i nadzór człowieka
