NLEN
Plan een gesprek
Cursussen

Gevorderd / In eigen tempo, Online

Basis van data engineering op Databricks

Van de lakehouse naar beheerde pipelines die je als code uitrolt

Start de cursusBekijk het programma
Niveau
Gevorderd
Totale tijd
ongeveer 6 uur
Lessen
7
Labs
7
Laatst gecontroleerd
2026-11-11

Wat je leert

  • Bronze-, silver- en gold-lagen ontwerpen en afbeelden op Unity Catalog-namen
  • Per bron kiezen tussen Auto Loader en Lakeflow Connect en schemawijzigingen afhandelen
  • Een declaratieve pipeline bouwen met expectations die waarschuwen, weggooien of laten falen
  • Die orkestreren met een job met triggers, afhankelijkheden en een reconciliatiepoort
  • Uitrollen door dev, test, acceptatie en productie met een bundle en een pipeline
  • Compute kiezen en uitgaven bewaken met policies, tags en billingtabellen

Voor wie

Engineers die één samenhangende manier willen om pipelines op Databricks te bouwen, te draaien en op te leveren, van de eerste tabel tot productie.

Data engineers die SQL en Python schrijven en productiepipelines op Databricks bouwen

Wat je vooraf nodig hebt

SQL en basis-Python. Je hebt een notebook gebruikt en weet wat een tabel is. Free Edition is genoeg voor de meeste labs.

Programma

De lessen bouwen op elkaar voort, dus volg ze de eerste keer op volgorde. Onder elke titel zie je wat je aan het einde van de les kunt.

  1. De lakehouse en de medallion-lagen

    Les 1 · 45 min · Inclusief lab

    • De lakehouse en de Unity Catalog-namespace met drie niveaus uitleggen
    • Regels toewijzen aan bronze, silver en gold
    • Lagen afbeelden op omgevingscatalogs en laagschema's

  2. Ingestie met Auto Loader en Lakeflow Connect

    Les 2 · 50 min · Inclusief lab

    • Per brontype kiezen tussen Auto Loader, Lakeflow Connect of een streamingbron
    • Uitleggen hoe de checkpoint exactly-once bestandsverwerking geeft
    • Een landingszone ontwerpen als contract met een leverancier
    • Vooraf bepalen wat elke schemawijziging doet

  3. Pipelines met Lakeflow Spark Declarative Pipelines

    Les 3 · 55 min · Inclusief lab

    • Kiezen tussen streaming tables en materialized views
    • Oudere dlt-code vertalen naar de dp-interface
    • Expectations toevoegen en per regel waarschuwen, weggooien of laten falen kiezen
    • Een medallion-pipeline opbouwen die je kunt testen

  4. Jobs en orkestratie

    Les 4 · 40 min · Inclusief lab

    • Een workflow modelleren als graaf van kleine taken met afhankelijkheden
    • Kiezen tussen tijdgebaseerde en gebeurtenisgebaseerde triggers
    • Taken idempotent maken en als service principal draaien
    • Publicatie bewaken met een reconciliatietaak

  5. Bundles en CI/CD door vier omgevingen

    Les 5 · 55 min · Inclusief lab

    • De sleutels op het hoogste niveau van een bundle en de vier hoofdcommando's beschrijven
    • Targets structureren voor dev, test, acceptatie en productie met de catalog als variabele
    • Een wijziging via pull requests door vier branches promoveren
    • Opsommen wat de pipeline bij elke pull request moet controleren

  6. Datakwaliteit en monitoring

    Les 6 · 45 min · Inclusief lab

    • Geldigheids-, uniciteits-, versheids-, volledigheids- en consistentiecontroles scheiden
    • Elke controle plaatsen in de laag waar ze het goedkoopst te begrijpen is
    • Beschrijven wat anomaliedetectie en data profiling doen
    • Een reconciliatiequery schrijven en alerts naar een eigenaar sturen

  7. Kosten en computekeuzes

    Les 7 · 45 min · Inclusief lab

    • Serverless en klassieke compute vergelijken op controle en inspanning
    • Een beslisregel toepassen voor het kiezen van compute voor nieuw werk
    • Beschrijven wat computepolicies regelen
    • Tags en billing-systeemtabellen gebruiken om uitgaven toe te wijzen

Eindopdracht

Eindopdracht: een beheerde orderpipeline van landing tot gold

Bouw een pipeline die dagelijkse orderbestanden inleest in bronze, opschoont naar silver met expectations, omzet per dag aggregeert naar gold, draait als job met een reconciliatietaak en wordt uitgerold via een bundle met dev- en testtargets. Gebruik Databricks Free Edition met gegenereerde voorbeeldbestanden. Documenteer elke keuze in een korte README met korte, gewone zinnen.

De eindopdracht past de hele cursus toe. Markeer hem als af zodra je elk punt kunt afvinken.

Wat goed eruitziet

  • Bronze bewaart ruwe velden met laadmetadata en silver wordt alleen uit bronze gebouwd
  • Namen volgen omgevingscatalogs en laagschema's, met per schema een reader- en een contributorgroep gepland
  • Er zijn minstens drie expectations en elk heeft een gedocumenteerde actie: waarschuwen, weggooien of laten falen
  • De job heeft afhankelijkheden, een timeout, een melding en een reconciliatietaak die publicatie stopt bij een afwijking
  • De bundle heeft dev- en testtargets, de catalog is een variabele en databricks bundle validate slaagt
  • De README noemt welk computetype wordt gebruikt en waarom, en welke tags eigenaar en use case dragen

Ga verder

Leerpaden met deze cursus

Zo doen we dit voor klanten

Leer dit met je team

We geven deze cursus als live workshop voor teams, op locatie of online, en passen de labs aan op jullie platform.

Bekijk de workshops

Volgende stap

Wil je dat je team dit samen leert?

We geven workshops aan bedrijfsteams en studenten, op locatie of online. Vertel wie de deelnemers zijn en wat ze daarna moeten kunnen.

Plan een gesprekStuur een berichtof mail info@nexops.nl direct

Open voor projecten in Q4 2026