Der Kunde ist ein führender Anbieter von Flowsheet-Technologie und -Dienstleistungen für die globale Bergbau- und Zementindustrie, der seine betriebliche Unabhängigkeit und Effizienz durch die Abtrennung von data warehouses verbessern wollte.
Über den Kunden
Problemstellung
Nach zwei Jahren änderte sich die Situation erheblich:
- Das gemeinsame data warehouse des Kunden führte zu abteilungsübergreifenden Abhängigkeiten, die die Datenverwaltung und die gemeinsame Nutzung von Berichten erschwerten.
- Änderungen für eine Abteilung könnten sich auf die andere Abteilung auswirken, was die Autonomie und mögliche Veräußerungsbemühungen behindert.
Dies führte zu einer Verschiebung der Anforderungen. Um diese Herausforderung umfassend zu bewältigen, wollte der Kunde getrennte Datenumgebungen einrichten, um operative Risiken zu mindern und die Autonomie der Abteilungen zu erhöhen.
Der Kunde vertraute erneut auf Scalefree, um die neuen Anforderungen umzusetzen.
Die Herausforderung
Die Abtrennung des data warehouse bei gleichzeitiger Aufrechterhaltung der Betriebskontinuität brachte Herausforderungen mit sich, darunter Risiken für die Datenintegrität, Unterbrechungen beim Übergang und die Notwendigkeit, CI/CD-Pipelines für abteilungsspezifische Anforderungen neu zu konfigurieren. Zu den Herausforderungen gehörten:
- Gewährleistung der Autonomie der Abteilungen innerhalb der gemeinsamen data warehouse-Umgebung
- Minderung des Risikos der Datenintegrität und von Betriebsunterbrechungen während der Trennung
- Implementierung separater CI/CD-Pipelines unter Wahrung von Effizienz und Konsistenz
Die Lösung
Nach einer umfassenden Beratung mit dem Kunden und der Analyse der neuen Anforderungen einigten wir uns auf die folgende Lösung:
- Einrichtung separater Namensräume innerhalb der Snowflake-Datenbank zur Isolierung von Abteilungsdaten
- Erstellung verschiedener dbt-Projekte, ADF-Pipelines und Docker-Images für jede Abteilung, um getrennte Datenverarbeitungsumgebungen zu gewährleisten
- Aufteilung der automatisierten CI/CD-Pipelines und Anpassung an die individuellen Bedürfnisse der einzelnen Abteilungen.
Konkrete Ergebnisse für den Kunden
Die Scalefree-Lösung erbrachte:
- Weniger Datenkonflikte und Unterbrechungen
- Stärkung der Unabhängigkeit der Abteilungen
- Verbesserte Agilität der Abteilungen und Reaktionsfähigkeit auf Dateneinblicke
- Verhandlungsbedarf für Berichtsänderungen entfällt
- Vereinfachte potenzielle Veräußerung mit übertragbaren DWH-Lösungen
Beteiligte Technologien
- Snowflake
- dbt (Datenerstellungswerkzeug)
- Azure-Datenfabrik (ADF)
- Docker
- Azurblau DevOps
