Modele transformacyjne zmieni

Zobacz także:

• Saga rodu z Lipowej - tom 1. MiÅ‚ość i wróżby 0,00 zÅ‚
• Tajemnice sieci 39,50 zÅ‚, (7,90 zÅ‚ -80%)
• Przeczucie 44,50 zÅ‚, (8,90 zÅ‚ -80%)
• Korzystna transakcja. Strategie i taktyki skutecznego negocjatora 58,64 zÅ‚, (12,90 zÅ‚ -78%)
• Szef, który myÅ›li, bo warto i siÄ™ opÅ‚aca 58,64 zÅ‚, (12,90 zÅ‚ -78%)

Spis treści

Przetwarzanie języka naturalnego z wykorzystaniem transformerów. Budowanie aplikacji językowych za pomocą bibliotek Hugging Face -- spis treści

Słowo wstępne

Przedmowa

1. Witajcie, transformery

• Model koder-dekoder
• Mechanizmy atencji
• Uczenie transferowe w NLP
• Hugging Face Transformers - eliminowanie luki
• PrzeglÄ…d zastosowaÅ„ transformerów
  • Klasyfikacja tekstu
  • Rozpoznawanie nazwanych encji
  • Odpowiadanie na pytania
  • Streszczanie
  • TÅ‚umaczenie
  • Generowanie tekstu
• Ekosystem Hugging Face
  • Hugging Face Hub
  • Hugging Face Tokenizers
  • Hugging Face Datasets
  • Hugging Face Accelerate
• GÅ‚ówne wyzwania zwiÄ…zane z transformerami
• Podsumowanie

2. Klasyfikacja tekstu

• Zbiór danych
  • Pierwsze spojrzenie na zbiory danych Hugging Face
  • Od zbiorów do ramek danych
  • Sprawdzanie rozkÅ‚adu klas
  • Jak dÅ‚ugie sÄ… nasze tweety?
• Od tekstu do tokenów
  • Tokenizacja znakowa
  • Tokenizacja wyrazowa
  • Tokenizacja podwyrazowa
  • Tokenizacja caÅ‚ego zbioru danych
• Trenowanie klasyfikatora tekstu
  • Transformery jako ekstraktory cech
  • Dostrajanie transformerów
• Podsumowanie

3. Anatomia transformera

• Architektura transformera
• Koder
  • Samouwaga
  • Warstwa propagacji w przód
  • Dodawanie normalizacji warstw
  • Osadzenia pozycyjne
  • Dodawanie gÅ‚owy klasyfikacyjnej
• Dekoder
• Poznaj transformery
  • Drzewo życia transformerów
  • Gałąź koderów
  • Gałąź dekoderów
  • Gałąź koderów-dekoderów
• Podsumowanie

4. Wielojęzyczne rozpoznawanie nazwanych encji

• Zbiór danych
• Transformery wielojÄ™zyczne
• Bliższe spojrzenie na tokenizacjÄ™
  • Potok tokenizatora
  • Tokenizator SentencePiece
• Transformery w rozpoznawaniu nazwanych encji
• Anatomia klasy modelu transformera
  • CiaÅ‚a i gÅ‚owy
  • Tworzenie niestandardowego modelu do klasyfikacji tokenów
  • Wczytywanie niestandardowego modelu
• Tokenizacja tekstów na użytek NER
• Miary efektywnoÅ›ci
• Dostrajanie modelu XLM-RoBERTa
• Analiza bÅ‚Ä™dów
• Transfer miÄ™dzyjÄ™zykowy
  • Kiedy transfer zero-shot ma sens?
  • Dostrajanie na wielu jÄ™zykach jednoczeÅ›nie
• Interaktywne używanie widgetów modelu
• Podsumowanie

5. Generowanie tekstu

• TrudnoÅ›ci z generowaniem spójnego tekstu
• Dekodowanie z wyszukiwaniem zachÅ‚annym
• Dekodowanie z wyszukiwaniem wiÄ…zkowym
• Metody próbkowania
• Próbkowanie top-k i próbkowanie jÄ…drowe
• Która metoda dekodowania jest najlepsza?
• Podsumowanie

6. Streszczanie

• Zbiór danych CNN/DailyMail
• Potoki streszczania tekstu
  • Punkt odniesienia
  • GPT-2
  • T5
  • BART
  • PEGASUS
• Porównanie różnych streszczeÅ„
• Mierzenie jakoÅ›ci generowanego tekstu
  • BLEU
  • ROUGE
• Ewaluacja PEGASUS-a na zbiorze danych CNN/DailyMail
• Trenowanie modelu streszczania
  • Ewaluacja PEGASUS-a na zbiorze SAMSum
  • Dostrajanie PEGASUS-a
  • Generowanie streszczeÅ„ dialogów
• Podsumowanie

7. Odpowiadanie na pytania

• Budowanie systemu QA opartego na recenzjach
  • Zbiór danych
  • WyodrÄ™bnianie odpowiedzi z tekstu
  • Budowanie potoku QA z wykorzystaniem biblioteki Haystack
• Ulepszanie potoku QA
  • Ewaluacja moduÅ‚u wyszukujÄ…cego
  • Ewaluacja moduÅ‚u czytajÄ…cego
  • Adaptacja dziedzinowa
  • Ewaluacja caÅ‚ego potoku QA
• Wykraczanie poza ekstrakcyjne QA
• Podsumowanie

8. ZwiÄ™kszanie wydajnoÅ›ci transformerów w Å›rodowisku produkcyjnym

• Wykrywanie intencji jako studium przypadku
• Tworzenie testu porównawczego
• Zmniejszanie modeli poprzez destylacjÄ™ wiedzy
  • Destylacja wiedzy na użytek dostrajania
  • Destylacja wiedzy na użytek treningu wstÄ™pnego
  • Tworzenie trenera do destylacji wiedzy
  • Wybór dobrej inicjalizacji ucznia
  • Znajdowanie dobrych parametrów za pomocÄ… Optuny
  • Testowanie wydestylowanego modelu
• Przyspieszanie modeli za pomocÄ… kwantyzacji
• Testowanie skwantyzowanego modelu
• Optymalizowanie inferencji za pomocÄ… standardu ONNX i platformy ONNX Runtime
• Rozrzedzanie modeli poprzez redukcjÄ™ wag
  • Rozrzedzanie w gÅ‚Ä™bokich sieciach neuronowych
  • Metody redukcji wag
• Podsumowanie

9. Jak radzić sobie z nielicznymi etykietami lub brakiem etykiet

• Budowanie narzÄ™dzia do tagowania problemów na GitHubie
  • Pozyskiwanie danych
  • Przygotowywanie danych
  • Tworzenie zbiorów treningowych
  • Tworzenie wycinków treningowych
• Naiwny klasyfikator bayesowski jako model odniesienia
• Praca bez etykiet
• Praca z nielicznymi etykietami
  • Wzbogacanie danych
  • Używanie osadzeÅ„ jako tabeli wyszukiwania
  • Dostrajanie standardowego transformera
  • Uczenie kontekstowe i few-shot z podpowiedziami
• Wykorzystywanie danych bez etykiet
  • Dostrajanie modelu jÄ™zykowego
  • Dostrajanie klasyfikatora
  • Metody zaawansowane
• Podsumowanie

10. Trenowanie transformerów od podstaw

• Duże zbiory danych i gdzie ich szukać
  • Wyzwania zwiÄ…zane z budowaniem dużego korpusu
  • Budowanie wÅ‚asnego zbioru danych z kodem
  • Praca z dużymi zbiorami danych
  • Dodawanie zbiorów danych do witryny Hugging Face Hub
• Budowanie tokenizatora
  • Model tokenizatora
  • Mierzenie efektywnoÅ›ci tokenizatora
  • Tokenizator dla Pythona
  • Trenowanie tokenizatora
  • Zapisywanie niestandardowego tokenizatora w witrynie Hub
• Trenowanie modelu od podstaw
  • Opowieść o celach treningu wstÄ™pnego
  • Inicjalizowanie modelu
  • Implementowanie klasy do wczytywania danych
  • Definiowanie pÄ™tli treningowej
  • Przebieg treningowy
• Wyniki i analiza
• Podsumowanie

11. Przyszłe kierunki

• Skalowanie transformerów
  • Prawa skalowania
  • Wyzwania zwiÄ…zane ze skalowaniem
  • Prosimy o uwagÄ™!
  • Atencja rozrzedzona
  • Atencja linearyzowana
• Nie tylko tekst
  • Wizja
  • Tabele
• Transformery multimodalne
  • Przetwarzanie mowy na tekst
  • Wizja i tekst
• Co dalej?