SLA-gesteuerte, zuverlässige Datenlieferung an Stakeholder erreicht
Incident-Reaktionszeit durch proaktives Alerting reduziert
Compute und Daten-Layouts für kosteneffiziente Verarbeitung optimiert
Reproduzierbare Umgebungen mit Terraform über Dev und Prod ermöglicht
Herausforderung
Ein Energieunternehmen benötigte eine robuste Cloud-basierte Datenplattform für Batch- und Streaming-Workloads. Bestehende Pipelines waren instabil, hatten kein ordentliches Monitoring und keine klare Data Governance.
Lösung
Ich habe eine Cloud-basierte Lakehouse-Datenplattform entworfen und betrieben, die Batch- und Streaming-Ingestion, Transformation und analytisches Serving unterstützt. Implementierung von Medallion-Architektur, verteilten Processing-Pipelines und umfassenden CI/CD-Workflows.
Meine Rolle
Senior Data Platform Engineer – verantwortlich für Plattform-Architektur, Pipeline-Entwicklung, Infrastructure-as-Code und Monitoring-Setup.
Wichtige Liefergegenstände
- 01Lakehouse-Plattform mit Delta Lake und Medallion-Architektur
- 02PySpark- und Golang-basierte Datenpipelines mit deterministischer Verarbeitung
- 03GitHub Actions CI/CD für automatisiertes Testing und Deployment
- 04Monitoring und Alerting mit strukturiertem Logging und Fehlerbenachrichtigungen
Zugehörige Leistung
Zur Leistung →