Data Streaming Engineer

Dit ga je doen Daarom wil je als Data Streaming Engineer bij NS werken Je draagt direct bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen. Je werkt in een multidisciplinair, innovatief team (FLUX) dat volop ruimte biedt voor eigen initiatief en ontwikkeling. Je stapt in op het moment dat FLOW wordt opgebouwd en krijgt invloed op de architectuur, deploymentstrategie en operationele inrichting van een realtime prognoseplatform. Dit ga je doen als Data Streaming Engineer Data vormt een essentieel onderdeel van al onze processen en kent een constante dynamiek. Dit is niet overdreven, dagelijks vertrouwen ruim één miljoen reizigers in Nederland op onze technologie voor het verkrijgen van accurate informatie en het faciliteren van het treinverkeer. Vanuit het hoofdkantoor in Utrecht werken diverse teams op de achtergrond aan het realiseren van deze uitdagingen binnen een innovatieve dataomgeving. Binnen het cluster Reizigersstromen werk je als Data Streaming Engineer mee in team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere het realisatiemodel dat achteraf het aantal reizigers per trein nauwkeurig in kaart brengt. De uitkomsten van dit model vormen de basis voor processen zoals het berekenen van concessie-KPI’s, rapportages aan overheidsinstanties, inzichten in reizigersstromen, drukte op stations en commerciële analyses. Naast dit bestaande FLUX-product starten we met FLOW: een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor de operatie op dezelfde dag. FLOW wordt ontwikkeld in een moderne cloudomgeving op Microsoft Azure en Databricks. Je werkt aan streaming pipelines en event-driven componenten met technologieën zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Belangrijke databronnen zijn onder andere check-in/check-uit transacties, ticketverkoop, dienstregelingen updates en conducteurscontroles. Met deze data bouwen we realtime inzichten en prognoses die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie. Je werkt als teamlid met een sterke Data Engineering-, Streaming- of ML Engineering-achtergrond mee aan het opzetten van FLOW. Dankzij jouw expertise in streaming architecturen, cloudcomponenten en machine learning ben jij van onschatbare waarde bij: Het ontwerpen, bouwen en beheren van schaalbare streaming pipelines voor realtime prognoses binnen FLOW. Het inrichten van event-driven cloudcomponenten, zoals Azure Event Hubs, Azure Functions en Databricks Structured Streaming. Het integreren van machine learning in streaming datastromen, zodat prognosemodellen continu kunnen werken met actuele informatie. Het ontwikkelen van deploymentstrategieën voor streaming applicaties, met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases. Het ontwerpen van replay-mechanismen waarmee historische streaming events gecontroleerd opnieuw kunnen worden afgespeeld bij incidenten, testen of modelverbeteringen. Het opzetten van streaming operations, monitoring, alerting en observability om een stabiele productieomgeving te garanderen. Het analyseren van datastromen en operationele metrieken om zwakke plekken in pipelines, modellen en processen snel zichtbaar te maken. Het samenwerken met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen. Hier ga je werken Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega´s van de afdeling Data, Innovatie & Analyse (DIA) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren die (interne) gebruikers snel en betrouwbaar inzicht om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie. Dit zijn de eisen Wij weten dat er geen schaap met vijf poten bestaat. Zie je jezelf in deze vacature, maar voldoe je niet aan alle indicaties? Twijfel niet om te reageren of contact op te nemen, vooral als je de ambitie hebt om je verder te ontwikkelen. Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen. Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien. Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks. Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git. Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen. Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid. Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen. Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid.