Cloud/Data Engineer – RVO

Opdrachtomschrijving Jouw rol als Cloud/Data Engineer:

• Als Cloud/Data Engineer: Je houdt je bezig met de realisatie van schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, waarbij Databricks een centrale plek inneemt. Je werkt nauw samen met data scientists, ML engineers en business stakeholders aan oplossingen die techniek, beleid en concrete waarde voor Nederland verbinden.
• Data Architectuur & Modellering: Je houdt je bezig met het inrichten van de Medaillon Architectuur (Bronze, Silver, Gold) binnen Databricks. Je bent sterk in het vertalen van complexe business logica naar helder gestructureerde datasets, bij voorkeur volgens Kimball (dimensioneel modelleren), en weet robuuste goud-lagen te bouwen. Het gebruik van Metric Views is je bekend, zodat rapportages en analyses altijd op de juiste dataset steunen.
• Engineering & Transformaties: Je houdt je bezig met het ontwikkelen van robuuste datapijplijnen met PySpark en SQL, en je kent de mogelijkheden van Spark Declarative Pipelines (SDP). Met diepgaande kennis van dbt (data build tool) ontwerp je modulaire en onderhoudbare transformaties.
• Storage & Performance-optimalisatie: Je houdt je bezig met het maximaliseren van de platform-performance. Dat doe je door het inzetten van de juiste Databricks compute clusters en het benutten van schaalmogelijkheden. Je bent goed op de hoogte van optimalisaties binnen Delta Lake, zoals Partitioning, Clustering, Z-Ordering en Liquid Clustering.
• Governance & Security: Je houdt je bezig met het inrichten van centrale governance via Unity Catalog. Je implementeert RBAC (Role-Based Access Control) en je hanteert data security best practices als standaard bij de bouw van oplossingen.
• Platform & Deployment: Je houdt je bezig met automatisering en ‘Engineering Excellence’ via Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare deployments. Daarnaast ben je vaardig in het instrumenteren, monitoren en debuggen van Databricks jobs, pijplijnen en platformcomponenten. Achtergrond opdracht De wereld verandert elke dag en wij veranderen mee. Met meer dan 6.000 RVO’ers werken we iedere dag aan morgen. We ondersteunen, adviseren en stimuleren ondernemend Nederland. Nationaal en internationaal, want ons werk stopt niet bij de grens. Grote uitdagingen We helpen ondernemers en organisaties met innoveren en verduurzamen. Samen werken we aan:
• De verduurzaming van onze energievoorzieningen.
• Het tegengaan van klimaatverandering.
• Een omslag naar een duurzaam landbouw
• en voedselsysteem.
• Een sterke digitale economie. Het zijn grote uitdagingen, maar wij geloven dat het mogelijk is. Daarom verbinden we ondernemers, overheden en organisaties om te bouwen aan het Nederland van morgen. We doen het samen. Waar jij het verschil maakt Wij maken overheidsbeleid bereikbaar en uitvoerbaar. Van voorlichting, advies en financiering tot het bieden van een luisterend oor voor ondernemers en organisaties. En dat is nog maar een klein onderdeel van wat we doen. Ondernemend Nederland is ontzettend veelzijdig en daarom zijn wij dat ook.