Datenpipeline

Kontext

Als Unternehmer/in bzw. Manager/in möchtest du sicher alle Informationen, die dir ein gutes Berichtswesen bieten kann, zu deinem Vorteil nutzen. Dank der Einsicht in diese Daten hast du eine bessere Kontrolle über dein Unternehmen – und genau darum geht es bei der Datenpipeline.

Was ist das?

Die Datenpipeline ist MENUs Funktion zum Teilen von Daten. Sie ermöglicht dir den Zugriff auf die von unserem System gesammelten und generierten Daten im großen Stil.

Die Funktion dient dazu, Daten von MENU an dich weiterzuleiten, damit du sie in deine Data Lake- und/oder Data Warehouse-Umgebung einspeisen kannst – als Teil einer umfassenderen Analyse-/BI-Strategie. Die Daten gehören dir, deshalb solltest auch du in der Lage sein, auf sie in ihrer Rohform zugreifen zu können; so kannst du aussagekräftige Schlussfolgerungen ziehen:

• Erstelle deine eigenen benutzerdefinierten Berichte
• Verbinde ein BI-Tool
• Führe Daten mit deinen bestehenden Daten zusammen
• Nutze zusätzlich Funktionalitäten wie eine CRM-Plattform

Du profitierst von der Datenpipeline, indem du Datenmodelle für (um nur ein paar zu nennen) erhältst:

• Kundenkonten

• Bestellungen

• Bestellartikel

• Speisekartenartikel

• Loyalty & Rabatte

Welche Vorteile gibt es?

Im Folgenden findest du einige Vorteile, die für dich besonders wichtig sein könnten:

Reichhaltige Nutzererfahrung

Die Schnittstelle umfasst folgendes:

• Einrichtung und Verwaltung von Pipelines
• ein Monitoring-Dashboard, das die Betriebsmessdaten der Pipeline anzeigt
• einen Datenkatalog, der bei der Suche nach Daten hilft
• ein Benachrichtigungszentrum zur Benachrichtigung und Kommunikation mit den Benutzern

Solide, zuverlässige und skalierbare Pipeline

• optimierte Infrastruktur
• fehlertolerantes Design
• Überwachungs- und Alarmierungsfunktionen
• Möglichkeiten zur Ankündigung von Änderungen

Wert

Die Pipeline ist:

• Kosteneffizienz
• Konsistent
• sicher und zuverlässig

Wissen und Datenkompetenz

Der Datenkatalog ermöglicht es, Daten zu entdecken und hilft dir, unsere Daten zu verstehen und effektiv zu nutzen, um fundierte Entscheidungen zu treffen.

Logisches Modell

Dieses neue Datenmodell arbeitet mit ETL-fähigen („extrahieren, transformieren, laden“) Datendateien, die du in deinem Cloud-Speicher ablegen kannst, um sie dann in deinen Data Lake oder dein Warehouse zu übertragen.

Regelmäßige Updates

Die  Pipeline enthält eine Teilmenge von Daten aus einem bestimmten Satz von MENU-Tabellen. Sie werden regelmäßig aktualisiert und können für folgende Zeiträume erstellt werden:

• nahezu in Echtzeit (<15 Minuten)
• alle 6 Stunden
• täglich
• wöchentlich

Bitte beachte: die Kosten bei höheren Frequenzen steigen.

Unterstützte Datendateiformate

Wir werden ein oder möglicherweise zwei Datenformate anbieten. Das Format wird „ETL-freundlich“ sein – das bedeutet, dass es von allen oder fast allen gängigen ETL-Tools unterstützt wird. Verfügbare Optionen:

• komprimiertes NDJSON – hat den Vorteil, dass es lesbar ist und den Erfolg/Fehler des Imports auf Zeilenebene anzeigt
• Parquet – hat den Vorteil, dass es ein sehr beliebtes Data-Lake-Format ist

Unterstützte Zielspeicherorte

Das Produkt liefert Datendateien im angegebenen Dateiformat an einen von dir bereitgestellten hochverfügbaren Cloud-Speicher, für den MENU von deiner Speicherinstanz eine Schreibberechtigung erhalten hat:

• AWS S3

• Azure Data Lake Storage (ADLS) 

Amazon Simple Storage Service (Amazon S3) ist ein Objektspeicherdienst, der Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. Mit Amazon S3 kannst du jede beliebige Datenmenge jederzeit und von überall aus speichern und abrufen.

Kunden jeder Unternehmensgröße können Amazon S3 nutzen, um beliebige Datenmengen für eine Reihe von Anwendungsfällen zu speichern und zu schützen, z. B. für Data Lakes, Websites, mobile Anwendungen, Sicherung und Wiederherstellung, Archivierung, Unternehmensanwendungen, IoT-Geräte und Big Data-Analysen.

Azure Data Lake Storage Gen2 (ADLS) ist ein Cloud-basiertes Archiv für strukturierte und unstrukturierte Daten. Du kannst es zum Beispiel nutzen, um alles zu speichern, von Dokumenten über Bilder bis hin zu Social Media Streams. Data Lake Storage Gen2 baut auf Blob Storage auf.

Azure Blob Storage ist ein universeller, skalierbarer Objektspeicher, der für eine Vielzahl von Speicherszenarien konzipiert ist. Azure Data Lake Storage Gen1 ist ein hyper-skalierter Speicher, der für Big-Data-Analytics-Workloads optimiert ist.

Wie funktioniert das?

Hier ist der Ablauf – bitte beachte, dass es ab hier etwas technischer zur Sache geht:

1. Als Voraussetzung muss der Speicherort, den du verwenden willst, zuerst auf deiner Seite konfiguriert werden. Folge der Schritt-für-Schritt-Anleitung hier
   
   
2. Sobald dein Speicherort eingerichtet ist, kannst du deine Datenpipeline im Management Center konfigurieren
   
   

   Die Einrichtung erfordert:

   1. 1. 1. Name der Pipeline
         2. Dein Speicheranbieter - Destination Type (Zieltyp)
         3. URL deines Speicherorts - Destination URL (Ziel-URL):
            - Bei AWS gib die Ziel-URL an
            - bei Azure rufe die URL aus dem Secret Manager ab)
            Wenn du mehr Informationen brauchst, kannst du die Einzelheiten hier nachlesen
         4. Das Format, in dem die Daten bereitgestellt werden sollen – Destination File Type (Zieldateityp)
         5. Schließlich die Häufigkeit der Datenaktualisierungen – Frequency (Häufigkeit)
            
            
3. Basierend auf der Konfiguration werden die Anmeldeinformationen durch eine Testverbindung mit der Datenbank überprüft
   
4. Falls der Konnektivitätstest fehlgeschlagen ist, wird eine Antwort mit der entsprechenden Fehlermeldung an das Management Center gesendet
   
   
5. Wenn die Verbindung erfolgreich ist, wird eine Antwort an das Management Center gesendet und das Management Center aktualisiert die Datenbank mit dem Status „pending activation“ (ausstehende Aktivierung“) Die Datenbank erstellt zwei Pipeline-Jobs, einen für die Volllast und einen für die inkrementelle Last. Diese Jobs aktualisieren fortlaufend eine Audit-Tabelle mit Statistiken/Messdaten sowohl für die Volllast als auch für CDC (Change Data Capture für inkrementelle Lasten).
   
   
6. Sobald die Pipeline aktiv ist, fließen die Daten in dem von dir gewünschten Format zu deinem Ziel. Falls es in der Quelle zu Schemaänderungen kommt (Hinzufügen einer Spalte, Löschen einer Spalte, Änderung des Datentyps), wird die Änderung an das Ziel weitergegeben, ohne die Pipeline zu unterbrechen
   
   

   Die Benutzer können den Status der Pipeline anhand von Messdaten überwachen:

   • • Anzeige des Pipeline-Status – availability metrics (Verfügbarkeitsmessdaten): Das Management Center ruft den Pipelinestatus und das Aktivierungsdatum aus der Datenbank ab
       
     • Anzeige von Warnungen bei Verspätungen und Ausfällen: Management Center aktualisiert Status/Details
     • Fehlerbenachrichtigungen – Die Datenpipeline sendet proaktiv Fehlerzustände und -meldungen an das Management Center, die wiederum über E-Mail-Benachrichtigungen verschickt werden können

Verfügbarkeit

Ab wann ist die Funktion verfügbar? Sie ist live und ab Q3 2023 verfügbar.

Wer kann es verwenden? Wenn du daran interessiert bist, das wahre Potenzial deiner Daten auszuschöpfen, wende dich bitte an deinen zuständigen Handelsvertreter, um weitere Informationen zu erhalten.

Welche Benutzer können darauf zugreifen? Markenmanager/innen und Admins.