Metadaten beherrschen: Datenkataloge im Data Warehousing mit Datahub

Einführung

In der heutigen datengesteuerten Welt ist es unerlässlich, große Datenmengen effizient verwalten und organisieren zu können. Unternehmen aller Branchen sind gezwungen, mit mehr Daten als je zuvor umzugehen. Die Einführung und Entwicklung eines Enterprise Data Warehouse in einem Unternehmen spielt natürlich eine zentrale Rolle, ist aber keine Lösung für eine große Herausforderung: Wie lassen sich die Daten, insbesondere die Metadaten, in einer Enterprise Data Warehouse effektiv organisieren und verwalten? An dieser Stelle kommt das Konzept der Datenkataloge ins Spiel.

Ein Datenkatalog dient als umfassendes Inventar der Datenbestände in einem Unternehmen und bietet Kontext, Anmerkungen und Metadaten, um das Verständnis und die Erkennung von Daten zu erleichtern. Er ist wie eine Landkarte zu Ihren Daten und hilft den Benutzern, sich in der komplexen Datenlandschaft zurechtzufinden, um genau die Daten zu finden, die sie benötigen.

Ein Datenkatalog kann den Benutzern dabei helfen, zu verstehen, wo sie bestimmte Daten im data warehouse finden, die ihren Bedürfnissen entsprechen, und zu untersuchen, woher sie stammen und wie sie mit anderen Daten verbunden sind. Dies kann Aufgaben wie Datenanalyse und Berichterstellung erheblich vereinfachen und das data warehouse für alle Mitarbeiter des Unternehmens leichter zugänglich und nutzbar machen.

Sehen Sie sich die Aufzeichnung des Webinars mit einem detaillierteren Blick auf Datenkataloge in Data Warehousing mit DataHub an hier umsonst.

Verstehen von Datenkatalogen

Was ist ein Datenkatalog?

Im Allgemeinen ist ein Datenkatalog eine Art Metadateninventar, das aus organisierten und strukturierten Metadaten zu allen Datenbeständen in einer Organisation besteht. Er ist ein zentraler Ort, an dem all diese Metadaten gespeichert, kombiniert und kategorisiert werden können, was das Auffinden und Verstehen der entsprechenden Daten, z. B. in einer data warehouse, erheblich erleichtert. Ein Datenkatalog verfügt auch über Suchfunktionen, um bestimmte Daten aus den verfügbaren indizierten Datensätzen zu finden. Er dient als eine einzige Quelle der Wahrheit für Ihre Metadaten und ermöglicht es den Benutzern, den Daten zu vertrauen, die sie für ihre Analysen oder Geschäftsentscheidungen verwenden.

Die Rolle eines Datenkatalogs im Data Warehousing

Im Zusammenhang mit dem data warehousing bringt ein Datenkatalog viele Vorteile mit sich. Er bietet eine Möglichkeit, alle im data warehouse gespeicherten Daten zu erkunden und zu durchsuchen. Sowohl technische als auch geschäftliche Benutzer können relevante Daten entdecken, ihren Kontext verstehen und sicherstellen, dass sie aktuell, zuverlässig und genau sind. Die folgende Abbildung zeigt, wo die Datenkataloge in data warehousing mit Data Vault 2.0 stattfinden. Ein Datenkatalog sollte die gesamte Enterprise BI-Lösung abdecken. Dies gilt z.B. auch für eine Datenseefalls vorhanden, und an die Informationsübermittlungsschicht.

Nachdem wir nun verstanden haben, was ein Datenkatalog ist, wollen wir uns damit beschäftigen, welche Rolle die einzelnen Komponenten in einem Datenkatalog spielen und wie ein Tool wie DataHub Unternehmen bei diesen Aufgaben unterstützen kann.

Einführung in DataHub

In der Welt der Datenkataloge, DataHub erweist sich für viele Unternehmen als eine zunehmend beliebte Wahl. DataHub ist eine wachsende Open-Source-Software, die von LinkedIn entwickelt wurde, um dem wachsenden Bedarf an einem dynamischeren und skalierbaren Datenmanagement-Tool gerecht zu werden. Es wurde zum Teil aufgrund der Tatsache entwickelt, dass die bestehenden Tools den wachsenden Anforderungen von LinkedIn nicht mehr gerecht wurden.
Mit dem Wachstum von LinkedIn wuchs auch das Volumen, die Vielfalt und die Geschwindigkeit der Daten. LinkedIn erkannte die Notwendigkeit, seine Daten effizienter zu verwalten, und entwickelte und führte DataHub im Jahr 2020 ein. Durch das Open-Sourcing von DataHub konnten auch andere Unternehmen von diesem fortschrittlichen Tool profitieren, und es wurde seitdem von vielen Unternehmen übernommen, die eine moderne, skalierbare Datenkataloglösung suchten.

DataHub unterstützt sowohl die Push- als auch die Pull-basierte Aufnahme von Metadaten, einschließlich einer breiten Palette von Integrationen, z. B. Airflow, BigQuery, Databricks, dbt, BienenstockKafka, Looker, MSSQL, MongoDBOracle, S3, PowerBI, Snowflake, Spark und vieles mehr. Sie können eine vollständige Liste finden hier. Dies gibt datahub die Möglichkeit, Metadaten der gleichen Daten aus mehreren Quellen zu kombinieren und anzuzeigen, z.B. eine dbt-Modelldefinition und ob die Tests erfolgreich verlaufen sind, direkt neben dem Datenbankschema und Statistiken für alle Spalten.

Hauptmerkmale und Funktionen von DataHub

DataHub geht als Metadatenplattform über herkömmliche Datenkataloge hinaus. DataHub bietet alle wichtigen Funktionen und Möglichkeiten:

1. Skalierbarkeit: DataHub ist für die Verarbeitung von Metadaten aus Tausenden von Datensätzen ausgelegt und eignet sich daher hervorragend für große Organisationen.

2. Flexibles und erweiterbares Datenmodell: Das technische Datenmodell, das diesem Tool zugrunde liegt, ist so konzipiert, dass es anpassbar und erweiterbar ist, damit Unternehmen es an ihre spezifischen Geschäftsanforderungen anpassen können.

3. Leistungsstarke Suche und Entdeckung: Durch die Nutzung von Elasticsearch bietet DataHub eine robuste Suchfunktion, die es den Benutzern ermöglicht, Datensätze auf der Grundlage verschiedener Attribute wie Herkunft, Schema und Verwendung der Daten schnell zu finden.

4. Reichhaltige Metadaten: Im Gegensatz zu herkömmlichen Datenkatalogen erfasst und präsentiert DataHub eine Vielzahl von Metadaten, einschließlich der Datenherkunft, betrieblicher Metadaten und geschäftlicher Metadaten. Dadurch erhalten die Benutzer ein umfassendes Verständnis ihrer Daten.

5. Datenherkunft und Beziehungen: DataHub erfasst und visualisiert automatisch die Datenabfolge und zeigt, wie Daten durch verschiedene Systeme fließen. Es zeigt auch Beziehungen zwischen Datensätzen an, damit die Benutzer verstehen, wie verschiedene Datenbestände miteinander interagieren.

Zusammenfassung

Vorteile der Verwendung eines Datenkatalogs

Die Verwendung eines Datenkatalogs bringt mehrere Vorteile mit sich:

1. Verbesserte Datenermittlung: Mit den Such- und Kategorisierungsfunktionen eines Datenkatalogs können Benutzer schnell genau die Daten finden, die sie benötigen, ohne große Datenmengen durchforsten zu müssen.
2. Verbessertes Verständnis der Daten: Die Metadaten in einem Datenkatalog liefern den Nutzern den notwendigen Kontext zu den Daten, so dass sie leichter zu interpretieren und korrekt zu verwenden sind.
3. Bessere Compliance und Governance: Ein Datenkatalog unterstützt Data-Governance-Initiativen, indem er sicherstellt, dass die Daten konsistent und genau sind und den einschlägigen Vorschriften entsprechen.
4. Größeres Vertrauen in Daten: Durch die Transparenz der Datenherkunft trägt ein Datenkatalog dazu bei, das Vertrauen in die Daten zu stärken, indem er den Nutzern die Möglichkeit gibt, die Datenhistorie einzusehen und ihre Genauigkeit und Zuverlässigkeit zu überprüfen.
5. Zeit- und Ressourceneffizienz: Indem er das Auffinden und Verstehen von Daten erleichtert, kann ein Datenkatalog Ressourcen im Unternehmen einsparen, d.h. datengesteuerte Aktivitäten beschleunigen und die Belastung der Datenverwaltungsteams verringern.

Zusammenfassend lässt sich sagen, dass DataHub eine flexible, funktionsreiche und allumfassende Option für Datenkataloge in einer data warehousing-Umgebung darstellt. Durch die Bereitstellung leistungsstarker Funktionen für die Datenerkennung, das Metadatenmanagement, die Datenabfolge und die Datenverwaltung können Unternehmen den maximalen Wert aus ihren Daten ziehen.

Wenn Sie mehr über Datenkataloge erfahren möchten, sehen Sie sich die Aufzeichnung an hier umsonst.

- Ole Bause (Scalefree)

Updates und Support erhalten

Bitte senden Sie Anfragen und Funktionswünsche an [email protected]. 

Für Anfragen zu Data Vault-Schulungen und Schulungen vor Ort wenden Sie sich bitte an [email protected] oder registrieren Sie sich unter www.scalefree.com.

Um die Erstellung von Visual Data Vault-Zeichnungen in Microsoft Visio zu unterstützen, wurde eine Schablone implementiert, die zum Zeichnen von Data Vault-Modellen verwendet werden kann. Die Schablone ist erhältlich bei www.visualdatavault.com.