In unserem Webinar vom September letzten Jahres haben wir einen neuen Wettbewerber auf dem hart umkämpften Markt der Data Warehouse-Automatisierung Werkzeuge: Coalesce!
Und alle, die das Webinar gesehen haben, erinnern sich vielleicht daran, dass wir am Ende eine noch engere Beziehung zwischen Coalesce und Scalefree ankündigten und uns verpflichteten, die Best Practices von Scalefree in Coalesce einzubringen!
Für diejenigen, die das Webinar nicht gesehen haben, finden Sie es hier hier.
Rekapitulation: Was ist Coalesce?
Coalesce ist eine Datenumwandlungslösung für Snowflake. Bei der Arbeit mit Coalescse erstellen Sie gerichtete azyklische Graphen (DAG), die Knoten enthalten. Ein Knoten repräsentiert ein beliebiges physisches Datenbankobjekt, wie z. B. Tabellen oder Ansichten, oder sogar Stufen und externe Tabellen.
Coalesce selbst basiert auf Metadaten, in denen Informationen auf Tabellen- und Spaltenebene gespeichert werden, die die Struktur innerhalb Ihres data warehouse beschreiben. Dieses auf Metadaten ausgerichtete Design ermöglicht eine Reihe von Funktionen, die stark auf Skalierbarkeit und Verwaltbarkeit abzielen.
Alle Metadaten ermöglichen es einem Team, vergangene, aktuelle und gewünschte Zustände des data warehouse zu verfolgen, indem sie es und alle damit verbundenen Workflows tief integrieren. Zusätzlich können Benutzer standardisierte Muster und Vorlagen auf Spalten- und Tabellenebene definieren.
Wie kann Data Vault hier einspringen?
Die genannten Vorlagen öffnen das Tor zur Implementierung von Data Vault 2.0-bezogenen Mustern und Best Practices. Vor allem auf Tabellenebene könnte man schnell auf die Idee kommen, eine Vorlage für einen Hub oder einen Link zu erstellen.
Auf Spaltenebene könnte dies eine wiederholte Transformation sein, die dann in einem einzigen so genannten Makro verwaltet wird, was es sehr einfach macht, Änderungen mit geringen oder gar keinen Auswirkungen durchzuführen. Sie könnten sich vorstellen Hashkey Berechnung oder virtuelle Lastendatierung hier.
Und das ist genau das, was wir bei Scalefree seit dem Webinar im letzten Jahr getan haben. Lead-Entwickler von Coalesce saßen mit Data Vault-Experten und Entwicklern von Scalefree zusammen und hatten ein Ziel: etwas Erstaunliches zu schaffen, das Benutzern hilft, ihre Data Vault 2.0-Implementierung zu automatisieren!
Wie schnell kann ich einen Data Vault bauen? Ja!
Diese Zusammenarbeit schuf Datavault4Coalesce, ein Open-Source-Erweiterungspaket für Coalesce, das am 16. März verfügbar sein wird! Werfen wir einen Blick auf eine Auswahl dessen, was Benutzer mit Datavault4Coalesce tun können.
Die erste Version von Datavault4Coalesce wird einen Basissatz von Data Vault 2.0-Entitäten enthalten:
- Etappen
- Hubs
- Links
- Satellites
- PITs
- Snapshot-Kontrolltabellen
Datavault4Coalesce stellt DDL- und DML-Vorlagen für die oben erwähnten Entitätstypen zur Verfügung und nutzt die Fähigkeit von Coalesce, die Benutzeroberfläche für jeden Knotentyp zu definieren. Für Stufen bedeutet dies, dass Benutzer entscheiden können, ob sie möchten, dass Datavault4Coalesce automatisch Geisterdatensätze generiert oder nicht, wie im Screenshot unten gezeigt:
Diese Data Vault-bezogene Schnittstelle findet sich in allen Knotentypen und ermöglicht es dem Benutzer, Datavault4Coalesce bequem an seine Anforderungen anzupassen!
Wie kann ich anfangen?
Zunächst einmal eine Schande, Datavault4Coalesce wird erst ab dem 16. März erhältlich sein. Aber es gibt keinen Grund, so lange zu warten, um in Coalesce selbst einzutauchen! Da Coalesce jetzt Teil von Snowflake Partner Connect ist, war es noch nie so einfach, in eine neue Coalesce Umgebung einzusteigen!
Melden Sie sich einfach hier für eine kostenlose Snowflake-Testversion an und starten Sie Ihre Coalesce-Erfahrung innerhalb von Sekunden, indem Sie auf das Partner Connect Portal zugreifen! Dann müssen Sie nur noch die gewünschten Daten in das Portal laden und schon können Sie Ihre Datenpipelines mit Coalesce aufbauen. Und wenn der 16. März endlich da ist, müssen Sie nur noch Datavault4Coalesce zu Ihrer Coalesce-Umgebung hinzufügen - und schon können Sie Data Vault schneller denn je aufbauen!
Verpassen Sie auch nicht diese Aufzeichnung, in der wir Ihnen Datavault4Coalesce in Aktion zeigen. Anschauen hier!
- Tim Kirschke (Scalefree)
Updates und Support erhalten
Bitte senden Sie Anfragen und Funktionswünsche an [email protected].
Für Anfragen zu Data Vault-Schulungen und Schulungen vor Ort wenden Sie sich bitte an [email protected] oder registrieren Sie sich unter www.scalefree.com.
Um die Erstellung von Visual Data Vault-Zeichnungen in Microsoft Visio zu unterstützen, wurde eine Schablone implementiert, die zum Zeichnen von Data Vault-Modellen verwendet werden kann. Die Schablone ist erhältlich bei www.visualdatavault.com.
