Ein Teilunternehmen eines der führenden Medienunternehmen in Deutschland wollte seine internen Prozesse optimieren und die Vorteile von Cloud-Technologien nutzen. Zu diesem Zweck wollte es seine Architektur auf die Google Cloud Platform migrieren.
Über den Kunden
Problemstellung
Die Hauptprobleme lassen sich wie folgt zusammenfassen:
- Lange Laufzeiten der Datenladeprozesse, die zu Verzögerungen bei Berichten und Analysen führen
- Leistung und Speicherplatz sind durch die bereitgestellte Hardware begrenzt, es sei denn, es wird zusätzliche Hardware gekauft
- Mangelnde Sicherheit und Rollenmanagement
Die Herausforderung
- Erstellen Sie einen Zeitplan für den Migrationsprozess, damit Sie wissen, wann welche Daten verfügbar sein werden, um das Projektmanagement zu verbessern.
- Sicherstellen, dass die aktuellen Berichte in der neuen Umgebung ausgeführt werden können
- Optimierung der aktuellen Lösung unter Einhaltung der Data Vault 2.0-Standards
Aus diesem Grund wurde ein externer Entwickler gesucht, der sich mit dem data warehouse-Ansatz und dem Technologie-Stack bestens auskennt und auch eine Beratung zu Data Vault 2.0 anbieten kann.
Die Lösung
- Gemeinsame Entwicklung eines automatisierten Tools zur Generierung von dbt-Modellen, das die Datenladevorgänge erheblich verkürzt
- Migration von Teilen der Architektur auf Google Cloud Platform unter Verwendung von BigQuery als primärem data warehouse
- Deaktivierung von Teilen im Altsystem, damit die Cloud-Lösung die Verwaltung übernehmen kann
Erstellung von Analysen und Berichten mit Looker die bereits in den täglichen Geschäftsabläufen verwendet wurden
Schnappschuss der aktuellen Architekturlösung
Konkrete Ergebnisse für den Kunden
- Implementierung eines schnelleren ETL-Prozesses mit DBT (zwei Stunden Laufzeit → drei Minuten)
- Geringere Bereitstellungskosten durch Implementierung von Data Vault 2.0
- Ermöglichung der Integration von Teilen des Tagesgeschäfts, die bereits in der neuen Umgebung laufen
Verwendete Technologien
- Google Cloud Platform (BigQuery, Cloud-Speicher, Composer)
- DBT
- Microsoft SQL-Server
- Python
- Git
- SAP
Trung Ta
Senior Consultant
Telefon: +49 511 87989342
Mobil: +49 170 7431870
Kostenlose Erstberatung