PySpark – analýza velkých dat v Databricks
Pracujete s daty v Excelu, Power Query, SQL nebo Pandas a potřebujete zpracovat gigabajty až terabajty dat? PySpark je Python rozhraní pro Apache Spark – nástroj, který zpracovává Big Data, a zvládne...
Pracujete s daty v Excelu, Power Query, SQL nebo Pandas a potřebujete zpracovat gigabajty až terabajty dat? PySpark je Python rozhraní pro Apache Spark – nástroj, který zpracovává Big Data, a zvládne i to, co se nevejde do paměti jednoho počítače.
Workshop probíhá kompletně v prostředí Databricks Community Edition – žádná instalace, vše v prohlížeči. Naučíte se pracovat s PySpark DataFrame API a Spark SQL. Využijete své znalosti z SQL, syntaxe Vám bude povědomá.
Cíle kurzu
- Excelu, Power Query, SQL nebo Pandas
- Databricks Community Edition
- PySpark DataFrame API
Osnova kurzu
1
- Začínáme s Databricks
- DataFrame – základní operace
- Spark SQL
- Zdroje dat
- Zpracování dat
- Agregace dat
- Řešení chyb
- Výstupy a export dat
Termíny
Požadavky
Základy Pythonu (proměnné, cykly, funkce). Zkušenost s SQL, Excel, Power Query nebo Pandas výhodou.
Mohlo by vás zajímat
