Lakehouse-Migration für SaaS ERP
SaaS ERP Anbieter
Herausforderung
Ein wachsendes SaaS-ERP-Unternehmen kämpfte mit seinem veralteten Data Lake. Pipeline-Ausführungszeiten waren langsam, die Datenauffindbarkeit schlecht und das Team verbrachte mehr Zeit mit Fehlersuche als mit neuen Features.
Lösung
Ich habe die analytische Datenplattform von einem Legacy Data Lake zu einer modernen Lakehouse-Architektur skaliert, mit PySpark, Apache Iceberg, AWS Glue und Python. Implementierung von Medallion-Architektur-Patterns (Bronze, Silver, Gold) mit klarer Trennung von Ingestion, Veredelung und kuratierten analytischen Datasets.
Meine Rolle
Data Platform Engineer – verantwortlich für Architekturdesign, Pipeline-Entwicklung, Orchestrierung und Infrastruktur-Automatisierung.
Wichtige Liefergegenstände
- 01Lakehouse-Architektur mit Medallion-Pattern auf Apache Iceberg
- 02Modulare PySpark-Pipelines mit konfigurationsgesteuerten Jobs
- 03Apache Airflow Orchestrierung auf AWS ECS mit Scheduling und Retries
- 04Terraform-basierte Infrastruktur für reproduzierbare Deployments
Zugehörige Leistung
Zur Leistung →