Herausforderung
Ein führender Automobilhersteller wollte Daten aus vielen verschiedenen Quellen in sein Data Lakehouse integrieren. Weil die Datenarten und Quellsysteme sehr unterschiedlich und komplex sind, sollte ein robustes, standardisiertes Framework für die Integration entwickelt werden, das unter anderem Datenqualitätsprobleme früh erkennt und dadurch zu einer Verbesserung der Qualität führt.
Ansatz
Unser Projektteam entwickelte ein standardisiertes Framework basierend auf der Medallion Architecture mit Bronze-, Silver- und Gold-Layer. Während des Projekts integrierte das Team erfolgreich Daten aus mehr als zehn Quellen. Dabei legten die Data Engineers von statworx großen Wert auf die Datenqualität, um den hohen Anforderungen des Kunden zu entsprechen. In Workshops mit verschiedenen Abteilungen setzten sie Prioritäten für die Datenqualität und entwickelten ein Dashboard, um diese zu überwachen. Außerdem führten sie automatisierte Tests und Deployments mittels CI/CD-Pipelines ein, um Fehler zu reduzieren. Für die technisch Umsetzung nutzte das Team unter anderem Databricks und Azure Komponenten wie z. B. Azure Data Factory.
Ergebnis
Durch das neue Framework kann der Automobilhersteller nun effizienter und zuverlässiger Daten integrieren. Automatisierte Tests und schnelleres Onboarding von neuen Datenquellen machten das Unternehmen flexibler. Es kann schneller auf Veränderungen reagieren und Entscheidungen auf Basis solider Daten treffen. Das Data Quality Dashboard half dabei, die Datenqualität ständig im Blick zu behalten und zu verbessern.
Diese Entwicklung zeigt, wie wichtig es ist, bei der Datenintegration auf Qualität und Effizienz zu achten. Mit dem richtigen System und den richtigen Tools kann ein Unternehmen seine Daten besser nutzen.