Ein Teilunternehmen eines der führenden Medienunternehmen in Deutschland wollte seine internen Prozesse optimieren und die Vorteile von Cloud-Technologien nutzen. Zu diesem Zweck wollte es seine Architektur auf die Google Cloud Platform migrieren.
Über den Kunden
Problemstellung
Die aktuelle Vor-Ort-Lösung auf ihrem Microsoft SQL Server konnte sich nur schwer an die wachsenden Arbeitslasten anpassen, was zu erhöhten Kosten und ineffizienter Leistung führte.
Die Hauptprobleme lassen sich wie folgt zusammenfassen:
- Lange Laufzeiten der Datenladeprozesse, die zu Verzögerungen bei Berichten und Analysen führen
- Leistung und Speicherplatz sind durch die bereitgestellte Hardware begrenzt, es sei denn, es wird zusätzliche Hardware gekauft
- Mangelnde Sicherheit und Rollenmanagement
Die Herausforderung
- Erstellen Sie einen Zeitplan für den Migrationsprozess, damit Sie wissen, wann welche Daten verfügbar sein werden, um das Projektmanagement zu verbessern.
- Sicherstellen, dass die aktuellen Berichte in der neuen Umgebung ausgeführt werden können
- Optimierung der aktuellen Lösung unter Einhaltung der Data Vault 2.0-Standards
Aus diesem Grund wurde ein externer Entwickler gesucht, der sich mit dem data warehouse-Ansatz und dem Technologie-Stack bestens auskennt und auch eine Beratung zu Data Vault 2.0 anbieten kann.
Die Lösung
Der Kunde wählte Scalefree als seinen Beratungspartner, um:
- Gemeinsame Entwicklung eines automatisierten Tools zur Generierung von dbt-Modellen, das die Datenladevorgänge erheblich verkürzt
- Migration von Teilen der Architektur auf Google Cloud Platform unter Verwendung von BigQuery als primärem data warehouse
- Deaktivierung von Teilen im Altsystem, damit die Cloud-Lösung die Verwaltung übernehmen kann
Erstellung von Analysen und Berichten mit Looker die bereits in den täglichen Geschäftsabläufen verwendet wurden
Schnappschuss der aktuellen Architekturlösung
Konkrete Ergebnisse für den Kunden
Das Projekt lieferte mehrere Vorteile für den Kunden:
- Implementierung eines schnelleren ETL-Prozesses mit DBT (zwei Stunden Laufzeit → drei Minuten)
- Geringere Bereitstellungskosten durch Implementierung von Data Vault 2.0
- Ermöglichung der Integration von Teilen des Tagesgeschäfts, die bereits in der neuen Umgebung laufen
Verwendete Technologien
- Google Cloud Platform (BigQuery, Cloud-Speicher, Composer)
- DBT
- Microsoft SQL-Server
- Python
- Git
- SAP
