Data Engineer - Databricks

Nieuw

Functie omschrijving

Je bent verantwoordelijk voor het bouwen van de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen, die het dataplatform van Databricks kunnen verrijken. Jouw rol in één zin: de ruwe data in het dataplatform, werkbaar maken (d.m.v. tools als PowerBI).

Kort gezegd zorg jij ervoor als data engineer in een Databricks-platformbeheerteam dat de omgeving stabiel, veilig, kostenefficiënt en gebruiksvriendelijk is, zodat data scientists, data analisten en engineers er optimaal gebruik van kunnen maken.

Belangrijkste technieken, methoden en tools

  • Microsoft Azure Cloud
  • Databricks
  • Bouwen van dataoplossingen op het platform
  • Agile werken
  • ServiceNow
  • Projectmatig werken
  • Kennis van Python

Werkzaamheden

De belangrijkste taken en verantwoordelijkheden zijn

  • Migreren van verschillende soorten data naar het platform.
  • Meedenken met nieuwe toepassingen die het dataplatform kunnen verrijken.
  • Bedenken welk testtype de voorkeur heeft en kun het vervolgens ontwerpen en toepassen.
  • Ondersteunen teams met oplossingen op hun vragen.
  • Lezen en maken van LLD’s (low level designs).

Een data engineer binnen een platformbeheerteam dat Databricks beheert, heeft een veelzijdige rol die zich richt op zowel de infrastructuur als de ontwikkeling van data-oplossingen. De belangrijkste taken zijn:

Beheer en optimalisatie van Databricks-infrastructuur

  • Onderhouden en configureren van Databricks-clusters (autoscaling, compute-resources, netwerkconfiguratie).
  • Beheren van Unity Catalog.
  • Optimaliseren van kosten en performance (cluster policies en job-scheduling).

Automatisering en CI/CD

  • Opzetten en beheren van Infrastructure as Code (IaC) voor Databricks-omgevingen (Terraform).
  • Automatiseren van deployment pipelines voor notebooks en jobs.
  • Versiebeheer en monitoring van Databricks-code en assets.

Ondersteuning van data teams

  • Samenwerken met data scientists en data engineers om ETL/ELT-pipelines efficiënter te maken.
  • Adviseren over best practices in Databricks (bijv. Delta Lake-optimalisatie, gebruik van Photon Engine).
  • Troubleshooting en ondersteuning bij performance issues en foutopsporing.

Security en Compliance

  • Beheren van toegangscontrole (bijv. via Unity Catalog, SCIM-integratie, RBAC).
  • Implementeren van audit logging en monitoring (bijv. via Azure Monitor, Databricks SQL audit logs).
  • Zorgen voor data governance en naleving van security policies (GDPR, ISO27001).

Integraties en API-beheer

  • Koppelen van Databricks met externe databronnen.
  • Beheren van API-integraties en data-uitwisseling met andere systemen.
  • Onderhouden en ontwikkelen van custom connectors of Databricks Jobs API-implementaties.


Taken

  • Ontwerpen valideren aan de hand van de best practises van Microsoft en de kadaster richtlijnen.
  • Landingszone beschikbaar stellen aan diverse platformteams.
  • Platformteams ondersteunen en begeleiden bij vragen en kennisopbouw.
  • Ontwikkelen en implementeren van oplossingen.
  • Assisteren bij troubleshooting en probleemoplossing.
  • Documenteren van oplossingen en best practices.

De opdrachtgever(s)

Het Kadaster
Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.

Functie eisen

  • De kandidaat is inzetbaar vanaf 17 maart 2025 tot en met 30 september 2025 voor 32-40 uur per week.
  • Bachelor- of masterdiploma in computerwetenschappen, informatica, of een gerelateerd vakgebied.
  • Minimaal 3 jaar ervaring in een vergelijkbare functie als Data Engineer.
  • Minimaal 3 jaar ervaring in SQL, Python (PySpark, Scala of Java is een pré).
  • Je weet op welke manieren je (big) data kunt opslaan en welke tools je daarvoor gebruikt.
  • Overige Azure certificeringen zijn een pluspunt.
  • Bekendheid met overheid compliance-normen zoals ISO 27001, GDPR, AVG en andere relevante voorschriften.
  • Taalniveau Nederlands minimaal B2.
  • De aangeboden kandidaat gaat akkoord met detachering.

Wensen

  • U geeft een beschrijving van uw ervaring (max. 300 woorden) waarin concreet wordt aangetoond wat uw actieve bijdrage is geweest en welk resultaat hiermee is behaald eea irt een vergelijkebare opdracht zoals door ons omschreven (zie ook Opdracht omschrijving en verantwoordelijkheden).
  • U toont duidelijk aan (max. 300 woorden) wat uw aanpak is als het gaat om het komen tot een architectuur op systeemnivo kijkend naar de opdracht zoals die is omschreven en geeft hierbij aan welke kennis en kunde u hiervoor meeneemt (denk aan opleiding, ervaring in vorige opdrachten).

Competenties

Competenties waar de kandidaat over dient te beschikken:
• Resultaatgericht;
• Helicopterview;
• Adviesvaardigheid;
• Overtuigingskracht;
• Communicatief zowel schriftelijk als mondeling sterk;
• Sterke samenwerkingsvaardigheden;
• Kwaliteitsgericht;
• Klantgericht;
• Proactief en initiatiefrijk;
• Probleemoplossend vermogen en het vermogen om onder druk te werken.

Extra info

Standplaats: Apeldoorn
Startdatum: 17-03-2025
Einddatum: 30-09-2025
Optie tot verlenging: 2 x 6 maanden
Uren per week: 32-40

De verificatiegesprekken zullen plaatsvinden op donderdag 13 maart 2025 MS Teams. Deze datum staat vast en hier wordt niet van afgeweken.

Locatie

Apeldoorn

Publicatiedatum

24.02.2025

Publicatie eindigt

04.03.2025

Contactpersoon

Bruijn

Van loondienst naar zelfstandiger?

Ben je nog in vaste dienst, maar je wilt als zzp' er voor jezelf beginnen? Spannende beslissing! Wij helpen je graag bij de overstap van een vaste baan naar een zzp, freelance, interim of detachering opdracht!