ETL processing en Data Warehouse architectuur.193

ETL & ELT

• Bij Data Warehouse architecturen zijn het extracting, transforming en loading (ETL) processen nodig om de aangeleverde brondata, te verkrijgen, te analyseren op zuiverheid en format en het inladen in de data warehouse layer.
• Evenzo is er een ETL proces om data uit het data warehouse beschikbaar te maken voor de BI omgeving. We maken daarvoor aparte data marts (datamarkten) aan voor business processen waarbij BI een rol speelt.
• Ten slotte zijn er architecturen voor streaming zoals Lambda of Kappa, hierbij wordt vaak een data lake gebruikt als basis. Ook dit data lake moet voorzien worden van de juiste data. Hiervoor is een ELT proces handig omdat vaak format's worden toegepast op moment van data gebruik (schema on read).

De cursus gaat in op deze onderwerpen.

Uitvoering: 3 dagen, klassikaal eens in de week of 2 weken een lesdag. Online kan ook.

Voorkennis en niveau; HBO-Post HBO niveau, basiskennis over het relationele model en SQL wordt verwacht (eventueel met een extra dag aan te reiken).

Investering; zie kostenspecificatie, er zijn bijkomende kosten voor materialen en locatie (lunch/catering). Met een startgarantie gaat uw cursus altijd door, ook 1-op-1. 

Onderwerpen;

• 2 en 3 lagen data warehouse architectuur
• Kappa & Lambda architectuur
• Data warehouse development
  • Inmom
  • Kimball
  • Lindstadt
• Data Lake
• Data architectuur
  • Star model
  • Snow Flake model
  • Data Vault model
  • 6the normal form model (anchor)
• Systems of Sources (SoS)
• Operational datastore (ODS)
• Data warehouse layer/Reconciled database 
• Data mart architectuur
• Data modelanalyse / data profiling
  • benodigde attributen
  • vergelijking & mapping van schemata's
• Data Staging Design
• Extracting technieken
• Transform technieken
  • data cleasing
  • data enrichment
• Loading technieken & startegie
• Data change management
  • data capture
  • toevoegen van data
  • verwijderen van data
  • (late) update van data
• ETL Development strategy