Pokročilé techniky hlubokého učení
Kurz je učen pro zájemce o hlubší porozumění umělým neuronovým sítím a hlavě takzvanému hlubokému učení.
Předpokládá se základní znalost principů na úrovni kurzu Úvod do strojového učení, které se v kurzu využije pro vysvětlení pokročilejších architektur a technik. Zvláštní pozornost bude věnována možnostem interpretovatelnosti modelů strojového učení.
Osnova kurzu
1
- Optimalizátory a jejich evoluce (Steepest Gradient Descent, Stochastic Gradient Descent, Mini-Batch Gradient Descent, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, hledání učicích koeficientů)
- Chybové funkce a jejich vlastnosti (Mean squared error, Mean absolute error, Negative Log Likelihood)
- Regularizace neuronových sítí (Dropout, Early stopping, Data augmentation, Batch and layer normalization)
- Inicializace neuronových sítí (Gradient vanishing problem, Zero initialization, He initialization, Xavier initialization)
- Semi-supervised learning (Pseudo Labeling, Mean-Teacher, PI-Model)
- Odhad spolehlivosti predikcí (Logit analysis, Confidence networks)
- AutoML (automatické hledání hyperparametrů, grid search, Bayesian optimization, meta-learning, automatické hledání architektur neuronových sítí)
- Praktické příklady s knihovnou AutoKeras
- Interpretovatelnost modelů strojového učení (přímo interpretovatelné modely, Partial Dependence Plot, Permutation feature importance, Surrogate models, Activation Maximization, Grad-CAM)
Požadavky
Základní znalost programování v Pythonu
Středoškolské znalosti lineární algebry, matematické analýzy a teorie pravděpodobnosti. Bude předpokládáno základní porozumění pojmům jako vektor, matice, vektorový prostor, pravděpodobnost, podmíněná pravděpodobnost, nezávislost náhodných jevů a znalost násobení matic a derivace funkcí.
Znalosti strojového učení na úrovni kurzu Úvod do strojového učení
Důležité informace
Kód kurzu
Mohlo by vás zajímat
