Dit team ontwikkelt het Data Platform (DP). In het DP wordt data samengebracht van de hele organisatie om rapportage, analyse en de ontwikkeling van AI-modellen te faciliteren.
Het subteam is verantwoordelijk voor het onderhouden (en verder ontwikkelen) van een ingestion-framework, die data uit diverse bronnen (databasetabellen, Kafka topics, bestanden, API's) in het VDP laadt.
Het framework gebruikt Apache Nifi, Airflow, Spark en Iceberg en is volledige configuratie-gestuurd.
Daarnaast ontwikkelt het team data assets in het enterprise datawarehouse, waar de data gemodelleerd wordt a.d.h.v. data vault 2.0 techniek. dbt wordt gebruikt om de transformaties te definiëren.
Verantwoordelijkheden:
Monitoring van de day-to-day ingestions en verbeteringen doorvoeren aan het ingestion framework
Ontwikkelen van data assets in het datawarehouse met behulp van dbt
Vormgeven van de (nieuwe) manier van werken met dbt
Coachen van nieuwe en junior teamleden
Proactief identificeren van problemen binnen het data platform en faciliteren van oplossingen
Gevraagde vaardigheden:
Kennis van Python
Kennis van Apache Spark
Kennis van Apache NiFi
Kennis van Kafka
Kennis van Airflow
Kennis van Open Table Formats
Ervaring met Distributed Processing engines zoals Spark
Ervaring met Jenkins, CI/CD
Je hebt kennis van Scrum
Je hebt kennis van Hadoop en Big Data
Kunnen werken in Brussel als freelancer
Je spreekt vloeiend Nederlands en Engels