Pipeline-Ausführungszeit um 10% reduziert
Cloud-Kosten durch Workload-Tuning und FinOps um 25% gesenkt
Verbesserte Datenauffindbarkeit über analytische Datasets
Production-grade Datenqualitätsprüfungen mit PyDeequ integriert
Herausforderung
Ein wachsendes SaaS-ERP-Unternehmen kämpfte mit seinem veralteten Data Lake. Pipeline-Ausführungszeiten waren langsam, die Datenauffindbarkeit schlecht und das Team verbrachte mehr Zeit mit Fehlersuche als mit neuen Features.
Lösung
Ich habe die analytische Datenplattform von einem Legacy Data Lake zu einer modernen Lakehouse-Architektur skaliert, mit PySpark, Apache Iceberg, AWS Glue und Python. Implementierung von Medallion-Architektur-Patterns (Bronze, Silver, Gold) mit klarer Trennung von Ingestion, Veredelung und kuratierten analytischen Datasets.
Meine Rolle
Data Platform Engineer – verantwortlich für Architekturdesign, Pipeline-Entwicklung, Orchestrierung und Infrastruktur-Automatisierung.
Wichtige Liefergegenstände
- 01Lakehouse-Architektur mit Medallion-Pattern auf Apache Iceberg
- 02Modulare PySpark-Pipelines mit konfigurationsgesteuerten Jobs
- 03Apache Airflow Orchestrierung auf AWS ECS mit Scheduling und Retries
- 04Terraform-basierte Infrastruktur für reproduzierbare Deployments
Zugehörige Leistung
Zur Leistung →