AI & Data Science
Středně pokročilý
Hybridní
Velké jazykové modely a zpracování přirozeného jazyka
Kurz pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky hlouběji.
Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.
Osnova kurzu
1
- Evoluce jazykového modelování
- Transformery
- Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
- Posilované učení s lidskou zpětnou vazbou (RLHF)
- Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
- Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
- Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
- Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
- Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
- Evaluace jazykových generativních modelů (ROUGE, BLEU)
- Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
- Retrieval Augmented Generation (RAG)
Termíny
Velké jazykové modely a zpracování přirozeného jazyka
2026-10-19
Velké jazykové modely a zpracování přirozeného jazyka
2026-10-19
Požadavky
Základní znalost programování v Pythonu
Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.
Důležité informace
Kód kurzu
PU23110153
Mohlo by vás zajímat
