Data Fabrics und Data Meshes helfen Unternehmen, Daten schneller und effizienter zu verwalten und zu analysieren. Sie sind zwei unterschiedliche Ansätze für das Datenmanagement, die Geschäftsanwendern schneller genauere Daten zur Verfügung stellen. Data Fabrics sollen Informationssilos aufbrechen, während Data Meshes darauf ausgelegt sind, Engpässe in den Datenanalyseprozessen von Unternehmen zu reduzieren. Beide Ansätze können in einer einzigen Organisation umgesetzt werden, verfolgen jedoch unterschiedliche Ziele.
Dieser Leitfaden analysiert die Vorteile von Data Fabrics und Data Meshes sowie mögliche Nachteile und Hindernisse bei ihrer Umsetzung.
Was ist ein Data Fabric?
Ein Data Fabric ist eine Datenmanagementarchitektur, die automatisierte, intelligente Systeme nutzt, um an mehreren Orten und in mehreren Formaten gespeicherte Daten zu verbinden. Durch das Extrahieren von Daten aus verschiedenen Speicherquellen und ihre Zentralisierung ermöglicht ein Data Fabric Teams, die zusammengeführten Daten ganzheitlich zu untersuchen und dadurch bessere Erkenntnisse zu gewinnen.
Ein Data Fabric ist flexibel ausgelegt, standardisiert das Datenmanagement, analysiert Informationen und hilft Teams, fundiertere Geschäftsentscheidungen zu treffen. So kann ein einzelnes Unternehmen Daten in einer Datenbank, einem Customer-Relationship-Management-System (CRM) und einem Network Attached Storage (NAS)-Array speichern. Die Implementierung eines Data Fabric würde Teams ermöglichen, all diese Daten besser zu verstehen und Silos zwischen den drei Systemen zu verhindern.
Typischerweise umfasst ein Data Fabric mehrere Lösungen, die zusammenarbeiten. Ein voll ausgestattetes Fabric integriert Datenmanagement- oder Speicherlösungen von mehr als einem Anbieter – beispielsweise könnten Sie die Data Fabric-Plattform von Talend verwenden, um Daten aus Ihrer MongoDB-Datenbank und der NetSuite-Plattform zu integrieren. Es könnte außerdem Informationen aus Data Lakes, Data Warehouses und Anwendungen abrufen.
Data-Fabric-Plattformen vereinheitlichen Informationen aus solchen unterschiedlichen Quellen mithilfe von Application Programming Interfaces (APIs) und anderen Integrationstechnologien. Damit rufen sie Daten aus Anwendungen wie Google Drive, Datenbanken wie Microsoft SQL Server und Data Warehouses wie Amazon Redshift ab.
Wie funktioniert ein Data Fabric?
Ein voll ausgestattetes Data Fabric umfasst die folgenden Funktionen:
- Unterstützung für mehrere Datenspeicherformate. Idealerweise sollte dies sowohl strukturierte als auch unstrukturierte Daten umfassen, da die meisten Unternehmen beides haben.
- Funktionen zur Datenaufnahme und -integration. Rohdaten müssen aus allen relevanten Anwendungen gesammelt und an einen zentralen Ort übertragen werden. Anschließend müssen sämtliche Daten für die Analyse integriert werden.
- Mehrere Netzwerkpfade. Da sich Daten in so viele verschiedene Richtungen bewegen, ist es wichtig, mehr als einen Übertragungsweg für Informationen zu haben. Andernfalls könnte das Netzwerk ausgebremst werden, was zu höheren Latenzen führt.
Data Fabrics nutzen Datenaufnahme und -integration, um sowohl strukturierte als auch unstrukturierte Daten zu erfassen und zu analysieren. Zu den Technologien für die Datenaufnahme gehören Extract-Transform-Load-Prozesse (ETL) und SQL-Befehle mithilfe von Tools wie Apache Kafka, Databricks und Amazon Kinesis. Eine automatisierte Datenaufnahme ist der manuellen vorzuziehen, da sie potenzielle menschliche Fehler reduziert.
Data Fabrics müssen Daten außerdem integrieren, also bereinigen und gemeinsam analysieren, sobald sie an einem zentralen Ort wie einem einzelnen Warehouse oder Lake aufgenommen wurden. Eine der wichtigsten Komponenten eines Data Fabric ist die Beseitigung von Silos. Wenn Ihr Unternehmen einige Kundendaten in SAP speichert, während andere Daten in Salesforce liegen, erhalten Sie möglicherweise kein genaues Bild der Kundendemografie, bevor nicht alle Daten zusammengeführt wurden. Zu den potenziellen Problemen gehören doppelte Daten sowie ungenaue oder veraltete Informationen.
Erfahren Sie mehr über die Nutzung von Data Fabrics zur Steuerung des Datenmanagements.
Wofür wird ein Data Fabric eingesetzt?
Data Fabrics eignen sich ideal für Unternehmen, die Daten an vielen verschiedenen Orten speichern, insbesondere für große Unternehmen mit mehreren Datenbanken und anderen Speichersystemen. Data Fabrics können auch Big-Data-Anwendungen zugutekommen, da sie große Informationsmengen zentralisieren. Bei Data Fabrics sind Flexibilität und Agilität der Daten entscheidend: Um Informationen aus mehreren Quellen schnell zu analysieren, muss ein Data Fabric Daten effizient zwischen Speichersystemen verschieben.
Ein Nachteil von Data Fabrics ist schlicht der Aufwand, der für ihre Einrichtung erforderlich ist. Es kann Monate dauern, all diese Speicherlösungen zu integrieren und Best Practices für die Daten-Governance zu etablieren, damit die analysierten Daten hochwertig und korrekt sind. Dies kann insbesondere für kleine Unternehmen oder Organisationen mit kleinen Business-Intelligence- oder Datenteams eine Herausforderung darstellen.
Was ist ein Data Mesh?
Ein Data Mesh ist eine Datenmanagementarchitektur, die Datenanalysen von einer zentralen Quelle dezentralisiert, sodass sie mehreren Abteilungen unmittelbar zur Verfügung stehen. Ein Data Mesh:
- Behandelt Daten als erstklassiges Produkt. Daten sollten verantwortungsvoll verwaltet, geschützt und wertgeschätzt werden.
- Kategorisiert Daten nach dem jeweils relevanten Geschäftsbereich. Das bedeutet nicht automatisch, dass alle Personaldaten von anderen Geschäftsdaten isoliert werden. Es bedeutet jedoch, dass die HR-Informationen zusammengefasst sind.
- Ermöglicht dem Geschäftsanwender, der den Daten am nächsten ist, den Zugriff. Beispielsweise sollten CRM-Daten für Vertriebsteams unmittelbar verfügbar sein, während Buchhaltungsdaten der Finanzabteilung unmittelbar zur Verfügung stehen sollten.
Ein Unternehmen, das ein Data Mesh implementiert, könnte über einen einzigen Data Lake für alle strukturierten und unstrukturierten Daten verfügen, die Metadaten jedoch so klassifizieren, dass die Suche nach Kategorien einfach ist. Die Daten sollten außerdem regelmäßig auf Genauigkeit und Sauberkeit geprüft werden – beispielsweise durch die Entfernung von Duplikaten. Jedes Team hätte ein eigenes Konto innerhalb der Datenmanagementsoftware des Unternehmens, mit dem es nach relevanten Daten suchen könnte.
Der Datenzugriff umfasst Analysen, die Nutzern helfen, für ihre Arbeit relevante Informationen zu verstehen. In einer herkömmlichen Unternehmensdatenarchitektur würde ein Marketingteam beispielsweise beim Business-Intelligence-Team ein Dashboard anfordern. Das BI-Team würde das Dashboard erstellen, sobald die Anfrage in der Warteschlange an der Reihe wäre – aber was, wenn das Marketingteam die Daten für eine wichtige Kampagne sofort benötigt?
Data Meshes stellen Daten dem zuständigen Team direkt zur Verfügung, damit es schneller Entscheidungen treffen kann. Die Beseitigung des Engpasses, der durch ein einziges Analyseteam entsteht, verbessert die Gesamteffizienz, reduziert manuelle Arbeit, vereinfacht die Datenanalyse und kann sogar den Umsatz steigern. Für viele Vertriebs-, Web- und Technologieteams ist die Möglichkeit, sofort auf Daten zu reagieren, entscheidend.
Data Meshes konzentrieren sich außerdem auf Daten als Produkt. Das bedeutet lediglich, dass Daten als Produkt und nicht als umfassendes oder vages Konzept behandelt werden. Daten sollten verantwortungsvoll verwaltet, geschützt und wertgeschätzt sowie unkompliziert zugänglich und nutzbar sein.
Ein Data Mesh benötigt:
- Klare Governance-Vorgaben. Alle Teams sollten wissen, wer für die spezifischen Daten ihrer Abteilung zuständig ist und wie diese Person sie verwalten wird.
- Zugriffskontrollen. Aus Sicherheitsgründen sollten nur Personen Zugriff auf die Daten haben, die sie tatsächlich anzeigen oder bearbeiten müssen.
- Qualitätssicherung. Daten sollten bereinigt und organisiert werden, damit sie für die Teams, die sie benötigen, nützlich und korrekt sind.
Erfahren Sie mehr über die besten Data-Governance-Tools zur Verwaltung großer Datensätze.
Wie funktioniert ein Data Mesh?
Im Gegensatz zu den meisten Speichertechnologien ist ein Data Mesh ein allgemeiner Ansatz für die Verfügbarkeit von Unternehmensdaten und keine spezifische Implementierung von Hard- und Software. Je nach Ansatz der jeweiligen Organisation sehen Data Meshes unterschiedlich aus.
Zunächst sollten alle Teams über Domänenwissen verfügen und Verantwortung für Daten übernehmen. Dies zu vermitteln und zu entwickeln, braucht Zeit. Zentrale Teammitglieder sollten jedoch lernen, Diagramme und Grafiken zu lesen, zu verstehen, welche Daten wichtig sind, und zu wissen, wie die Daten sauber und organisiert gehalten werden.
Teams sollten außerdem über sichere Methoden für den Datenzugriff verfügen. Beispiele dafür sind Single Sign-on (SSO) und Multi-Faktor-Authentifizierung (MFA). Unternehmen müssen strenge Zugriffskontrollen einrichten, damit nur Nutzer, die Daten für ihre Arbeit ausdrücklich benötigen, diese anzeigen oder bearbeiten können.
Wie können Geschäftsanwender Daten einfach finden? In einem Data Warehouse oder einer Datenbank, in der die Daten strukturiert sind, sollte das Abfragen einfach und logisch möglich sein. In Objektspeichern und anderen Umgebungen für unstrukturierte Daten sollten die Metadaten sinnvoll und leicht durchsuchbar sein.
Erfahren Sie mehr über Sicherheitsmaßnahmen für gespeicherte Daten.
Wofür wird ein Data Mesh eingesetzt?
Data Meshes sind für alle Unternehmensabteilungen und Teams praktisch, da sie bestehende Engpässe beim Zugriff auf wichtige Informationen beseitigen. Zu den Teams, die von einer Data-Mesh-Architektur profitieren können, gehören:
- Vertrieb
- Marketing
- Redaktion
- Suchmaschinenoptimierung
- Bezahlte Medien
- Engineering
- Produktmanagement
- Social Media
- Informationstechnologie
Obwohl Teams innerhalb eines Unternehmens unterschiedliche Aufgaben erfüllen, benötigen die meisten genaue und organisierte Daten, um Entscheidungen zu treffen. Da Data Meshes Informationen als erstklassiges Produkt betrachten, erkennen sie an, wie wichtig Daten für den Geschäftsbetrieb sind. Daten sind in der Unternehmenswelt kein nachträglicher Gedanke mehr, sondern eine Top-Priorität.
Ein möglicher Nachteil von Data-Mesh-Architekturen ist die Datensicherheit. Wenn mehrere Teams Zugriff auf Unternehmensdaten haben, kann dies für Sicherheitsprotokolle und Compliance riskant sein. Je mehr Personen mit sensiblen Informationen umgehen können, desto höher ist das Risiko einer Sicherheitsverletzung. Methoden wie ein striktes Identitäts- und Zugriffsmanagement können Daten schützen, dennoch stellt dies für Unternehmen einen Nachteil dar – einen, der sich abmildern lässt, dessen Bewältigung jedoch Zeit in Anspruch nimmt.
Data Meshes sind außerdem anspruchsvoll, weil jedes Team Mitglieder benötigt, die Daten und die zugehörige Technologie verwalten können. Beispielsweise könnte jedes Team jemanden brauchen, der Dashboards erstellen kann und weiß, wie Tools zur Datenbereinigung eingesetzt werden. Aus diesem Grund kann die erfolgreiche Implementierung von Data Meshes für die meisten kleinen und mittleren Unternehmen schwierig sein – schlicht, weil ihnen nicht genügend Mitarbeiter zur Verfügung stehen.
Fazit: Was müssen Sie wissen?
Sowohl Data Fabrics als auch Data Meshes sind nützliche Datenarchitekturen für Unternehmen. Organisationen können beide Ansätze nutzen, müssen jedoch festlegen, wann Daten zentralisiert werden sollen (Fabric) und wann sie an verschiedene Teams verteilt werden sollen (Mesh). Beide Ansätze bieten Vorteile, erfordern aber eine sorgfältige Planung und Methoden zum Datenschutz. Erwägt Ihr Unternehmen eine Datenmanagementlösung? Lesen Sie als Nächstes mehr über die besten Datenmanagementplattformen.