Azure Data Factory

• Seznámíte se se službou Azure Data Factory a jejími klíčovými vlastnostmi a funkcemi
• Pochopíte, jak se odlišují ETL/ELT procesy v cloudu od těch on-premises
• Dozvíte se, jak implementovat komplexní Pipelines v Azure Data Factory
• Naučíte se načítat data v různých formátech s pomocí Azure Data Factory
• Vyzkoušíte si transformovat načtená data před jejich zápisem do cílového datového skladu
• Zjistíte, jak správně řídit vývoj Pipelines a jak je verzovat a následně nasazovat s pomocí CI/CD
• Seznámíte se s možnostmi automatizace spouštění Pipelines a monitoringem jejich běhu a případným laděním problémů

Kurz je cílen na datové inženýry a tvůrce ETL/ELT procesů v cloudovém prostředí Microsoft Azure, kteří se chtějí naučit efektivně implementovat ETL/ELT procesy s využitím služby Azure Data Factory.

• Znalosti základních principů návrhu datových skladů a implementace ETL procesů na úrovni kurzu GOC645.
• Znalosti základní obsluhy cloudového prostředí na úrovni kurzu MOC AZ-900.
• Základní znalost datových služeb v Microsoft Azure na úrovni kurzu MOC DP-900.

1 Úvod do ETL/ELT v Microsoft Azure

• Základní orientace v pojmech a prostředí Microsoft Azure
• Přehled ETL/ELT technologií v Microsoft Azure
• Přehled souvisejících technologií
• Vysvětlení konceptů Data Warehouse (DWH) v Microsoft Azure

2 Komponenty Azure Data Factory

• Úvodní představení Azure Data Factory
• Přehled Integration Runtimes
• Vysvětlení a ukázka Linked Services
• Představení a vysvětlení konceptu Dataset
• Vysvětlení orchestrace běhu s pomocí Pipelines

3 Dynamické Azure Data Factory

• Vysvětlení práce s proměnnými
• Deklarace a použití parametrů
• Práce s výrazy

4 Externí aktivity

• Tvorba uložených procedur včetně řízení transakcí a ošetření chyb
• Volání uložených procedur z Azure Data Factory
• Představení Notebooků, ukázka jejich tvorby a volání v prostředí Azure Data Factory

5 Nasazení a monitorování

• Představení dostupných způsobů nasazení
• Vysvětlení použití Deployment Templates, jejich tvorba a nasazení
• Představení možností monitoringu a debuggingu Pipelines při jejich vývoji
• Možnosti monitorování již nasazených Pipelines
• Proaktivní monitoring s pomocí Alertů v Microsoft Azure

Previous courses

Implementation of a data warehouse and ETL processes using Microsoft SQL Server Integration Services. [GOC645]

Alernative courses

Data Engineering on Microsoft Azure [MOC DP-203]