AI & Data Science
Středně pokročilý
Online
Zpracování přirozeného jazyka II
V tomto kurzu navážeme na základní kurz Zpracování přirozeného jazyka pokročilejšími tématy.
Zaměříme se především na předzpracování dat a nejnovější aplikace hlubokého učení ve zpracování textu. Bude se jednat především architektury neuronových sítí postavených na takzvaných Transformerech. S využitím metody transfer learningu ukážeme, jak lze využít velké předtrénované neuronové sítě pro nejrůznější praktické aplikace.
Osnova kurzu
1
- Tradiční tokenizace (jednoduché metody, Spacy, Moses)
- Subword tokenizace (byte-pair kódování, wordpiece, sentencepiece)
- Šištění dat (deduplikace, odstranění textového balastu)
- Obecné principy
- Implementace skip-gram modelu
- Paměťové buňky LSTM a GRU
- Implementace strojového překladu pomocí rekurentních sítí
- Attention is all you need
- Architektura transformeru
- GPT2
- BERT
- XLNET
- Klasifikace textů
- Rozpoznání jmenných entit
- Question answering
Požadavky
Základní znalost programování v Pythonu
Středoškolská matematika
Znalosti strojového učení na úrovni kurzu Úvod do strojového učení
Znalosti na úrovni kurzu Zpracování přirozeného jazyka
Důležité informace
Kód kurzu
KT22110123
Mohlo by vás zajímat
