Einführung
Je größer ein data warehouse-Projekt wird, desto mehr Menschen beginnen, sich auf die bereitgestellten Daten zu verlassen und mit ihnen zu arbeiten. Bei dieser Arbeit kann es sich um die Nutzung der Daten, die Anwendung von Geschäftsregeln, die Modellierung von Fakten und Dimensionen oder andere typische Aufgaben in einer Datenumgebung handeln. In einer großen Organisation können all diese Benutzer über verschiedene Abteilungen verstreut sein, und die Daten, mit denen sie arbeiten, können zu verschiedenen Geschäftsbereichen gehören.
Irgendwann steht das gesamte Unternehmen vor der Herausforderung der gemeinsamen Datennutzung und der Governance-Richtlinien, die es Benutzern der Vertriebsabteilung möglicherweise verbieten, auf Daten aus der Finanzabteilung zuzugreifen. Ein Datengeflecht bietet eine Lösung, die Organisationen bei der Bewältigung dieser Herausforderungen hilft. Wenn Sie mehr über das Data Mesh erfahren möchten, lesen Sie unseren aktuellen Blog-Artikel über Data Vault und Data Mesh hier!
Wir bieten auch ein Webinar zu genau diesem Thema an. Verpassen Sie es nicht und die Aufzeichnung ansehen umsonst!
Was ist dbt Mesh?
Dbt Mesh ist eine kürzlich hinzugefügte Funktion, mit der dbt Cloud effizienter mit einem Data-Mesh-Ansatz arbeiten kann. Die bereits bekannte Funktion {{ ref() }} ist nicht mehr auf Modelle innerhalb eines dbt-Projekts beschränkt, sondern kann auf Modelle anderer dbt-Projekte verweisen.
Warum sollte ich auf andere dbt-Projekte verweisen wollen?
Stellen Sie sich eine große Organisation vor, die dbt Cloud für ihre Data Vault-Implementierung verwendet. Das Projekt hat vielleicht 400 definierte Quellen, 2000 implementierte Modelle und wird von 30 Entwicklern aktiv genutzt. Von diesen 30 Entwicklern arbeiten vielleicht 5 Personen speziell an der Schicht Business Data Vault und Information Mart für finanzbezogene Objekte. Weitere 5 Entwickler arbeiten an denselben Schichten, jedoch für vertriebsbezogene Objekte.
Irgendwann möchten Sie vielleicht vermeiden, dass die Finanzabteilung mit den vertriebsbezogenen dbt-Modellen herumspielt, so dass eine Data-Mesh-Architektur implementiert werden muss. Dies würde es dem Unternehmen ermöglichen, Richtlinien für die gemeinsame Nutzung von Daten, Dateneigentum und andere Governance-Maßnahmen zu definieren.
Mit dbt Mesh würden sowohl das Vertriebs- als auch das Finanzteam ihr eigenes dbt-Projekt erhalten. Da beide auf demselben Raw Data Vault basieren sollten, wird ein zusätzliches dbt-Grundlagenprojekt ausschließlich für Staging- und Raw Data Vault-Objekte erstellt. Beide bereichsspezifischen dbt-Projekte, Sales und Finance, können nun auf Raw Vault-Objekte innerhalb des dbt-Grundlagenprojekts verweisen, ohne dass die Daten physisch repliziert werden müssen.
Wie kann ich das dbt Mesh in einem mit Data Vault betriebenen Data Mesh nutzen?
Datenkontrakte definieren
Dbt-Modelle oder Gruppen von Modellen können jetzt so konfiguriert werden, dass sie Datenverträge haben. Innerhalb der bereits bekannten .yml-Dateien können Modelle jetzt so eingestellt werden, dass sie (innerhalb einer Organisation) öffentlich verfügbar sind, Dateneigentümer können erzwungen werden und Tabellenschemata können gesperrt werden.
Ein dbt-Grundlagenprojekt erstellen
In einer Data Mesh-Architektur ist die gängigste Art, Data Vault 2.0 zu implementieren, ein gemeinsam genutzter Raw Vault als Grundlage, und sowohl Business Vault als auch Information Marts sind nach Geschäftsbereichen unterteilt. Im dbt Mesh würde sich dies in einem dbt-Grundlagenprojekt widerspiegeln, das alle Staging- und Raw Data Vault-Objekte enthält. Nur die Raw Data Vault-Objekte würden so konfiguriert, dass andere dbt-Projekte darauf zugreifen können, da die Staging-Modelle nicht außerhalb der Raw Data Vault-Modelle verwendet werden sollten.
dbt-Projekte auf Domänenebene hinzufügen
Auf der Grundlage des grundlegenden Raw Vault dbt-Projekts kann nun jedes Bereichsteam in seinem eigenen dbt-Projekt arbeiten. Sie greifen über die (erweiterte) Funktion {{ ref() }} auf das Raw Data Vault zu und müssen sich nicht um die Pflege dieser Raw Vault-Objekte kümmern. Darüber hinaus können sie festlegen, welche ihrer Artefakte für andere Domänen nützlich sein könnten; diese können über ihre eigenen Datenverträge gemeinsam genutzt werden.
Zuständigkeiten verteilen
Normalerweise erstellt ein Power-User keine Hubs, Links und Satelliten. Und es ist auch nicht seine Aufgabe, für eine zuverlässige Raw Data Vault zu sorgen, auf der Transformationen aufgebaut werden können. Daher ist es wichtig, die Verantwortlichkeiten innerhalb jedes dbt-Projekts zu definieren. Insbesondere Objekte, die außerhalb eines Projekts gemeinsam genutzt werden, sollten immer Datenverträge und definierte Eigentümer haben. Dadurch wird sichergestellt, dass sich die Benutzer dieser gemeinsam genutzten Objekte darauf verlassen können.
Zusammenfassung
Alles in allem bietet dbt Mesh eine fantastische Möglichkeit, einen echten Data-Mesh-Ansatz zu implementieren. Dies ist besonders dann relevant, wenn verschiedene Geschäftsbereiche einer Organisation in dbt zusammenarbeiten, um vertrauenswürdige Ergebnisse zu erzielen. In den meisten Szenarien ist es sinnvoll, bereits mit der Nutzung von dbt Mesh zu beginnen, auch wenn Ihr Projekt vielleicht noch nicht allzu groß ist. Klare Verantwortlichkeiten und Datenverträge helfen immer, Vertrauen und Transparenz für Ihre Daten zu erhalten!
Wenn Sie dbt Mesh in Aktion sehen wollen, die Aufzeichnung ansehen aus dem Webinar über die leistungsstarke Kombination von Data Vault und dbt Mesh!
- Tim Kirschke (Scalefree)
Updates und Support erhalten
Bitte senden Sie Anfragen und Funktionswünsche an [email protected].
Für Anfragen zu Data Vault-Schulungen und Schulungen vor Ort wenden Sie sich bitte an [email protected] oder registrieren Sie sich unter www.scalefree.com.
Zur Unterstützung bei der Erstellung von Visual Data Vault-Zeichnungen in Microsoft Visio wurde eine Schablone entwickelt, mit der Data Vault-Modelle gezeichnet werden können. Die Schablone ist erhältlich bei www.visualdatavault.com.
