Data Pipeline

Contexto

Como propietario o gerente de una empresa, seguramente deseas disponer de toda la información que te pueden proporcionar unos informes eficaces. Tener visibilidad de esos datos te aporta más control sobre tu local, y de eso trata Data Pipelines.

¿De qué se trata?

Data Pipelines es la función para compartir datos de MENU. Podrás acceder de forma masiva a los datos que recopila y genera nuestro sistema.

Se diseñó para que recibas datos de MENU y te permite inyectar datos en tu entorno o almacén de datos como parte de una estrategia más amplia de análisis y estrategia de inteligencia empresarial. Los datos te pertenecen, por lo que debes poder acceder a ellos cuando están sin procesar; puedes hacer lo siguiente para sacar conclusiones significativas:

• Ejecutar tus propios informes personalizados
• Conectar una herramienta de inteligencia empresarial
• Fusionar los datos con otros datos que tengas
• Potenciar funcionalidades adicionales, como una plataforma de CRM

Te beneficiarás de Data Pipelines, ya que obtendrás modelos de datos, entre otros, para:

• Cuentas de clientes

• Pedidos

• Artículos de pedidos

• Artículo del menú

• Loyalty y descuentos

¿Qué ventajas aporta?

Estas son algunas de las ventajas que tal vez te resulten especialmente importantes:

Experiencia de usuario enriquecida

La interfaz incluye:

• Configuración y gestión de canalización
• Un panel de control que muestra las métricas operativas de la canalización
• Un catálogo de datos para facilitar su localización
• Un centro de comunicados para notificar a los usuarios y comunicarte con ellos

Canalización robusta, fiable y escalable

• Infraestructura optimizada
• Diseño tolerante a fallos
• Funciones de supervisión y alerta
• Funciones para comunicar cambios

Valor

La canalización es:

• Rentable
• Coherente
• Segura y fiable

Educación y alfabetización informática

El catálogo de datos permite descubrir datos, y te ayuda a comprender y utilizar nuestros datos para tomar decisiones informadas.

Modelo lógico

Este nuevo modelo de datos funciona con archivos de datos listos para ETL (extract, transform and load [extraer, transformar, cargar]) que pueden ir a su ubicación de almacenamiento en la nube, después de lo cual puedes extraerlos, transformarlos y cargarlos en tu almacén o repositorio.

Actualizaciones frecuentes

La canalización incluye un subconjunto de datos de un conjunto determinado de tablas de MENU. Se actualizan regularmente y la gama es:

• Casi en tiempo real (< 15 minutos)
• Cada 6 horas
• A diario
• Semanalmente

Ten en cuenta que hay un aumento del costo si la frecuencia es más alta.

Formatos de archivos de datos admitidos

Ofreceremos uno o, posiblemente, dos formatos de datos. El formato será “apto para ETL”, es decir, compatible con todas o casi todas las herramientas de ETL habituales. Las opciones son las siguientes:

• NDJSON comprimido, que tiene la ventaja de ser legible y ofrecer tasas de éxito/fracaso en la importación en el nivel de fila.
• Parquet, que tiene la ventaja de ser un formato de repositorio de datos muy popular.

Ubicaciones de destino admitidas

El producto entregará archivos de datos en el formato especificado, a un destino de almacenamiento en la nube de alta disponibilidad proporcionado por ti, y tu instancia de almacenamiento concederá a MENU permiso de escritura:

• AWS S3

• Azure Data Lake Storage (ADLS) 

Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de elementos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento. Amazon S3 se puede utilizar para almacenar y recuperar cualquier cantidad de datos en cualquier momento y desde cualquier lugar.

Clientes de todos los tamaños pueden utilizar Amazon S3 para almacenar y proteger cualquier cantidad de datos para una serie de casos de uso, como repositorios de datos, sitios web, apps móviles, backup y restauración, archivo, apps empresariales, dispositivos IoT y análisis de big data.

Azure Data Lake Storage Gen2 (ADLS) es un repositorio basado en la nube para datos estructurados y no estructurados. Por ejemplo, puedes utilizarlo para almacenar desde documentos hasta imágenes o flujos de redes sociales. Data Lake Storage Gen2 está construido sobre Blob Storage.

Azure Blob Storage es un almacén de elementos escalable y de uso general diseñado para una amplia variedad de situaciones de almacenamiento. Azure Data Lake Storage Gen1 es un repositorio a hiperescala optimizado para cargas de trabajo de análisis de big data.

¿Cómo funciona?

Este es el flujo. Ten en cuenta que nos estamos volviendo más técnicos:

1. Como requisito previo, la ubicación de almacenamiento que decidas utilizar tendrá que configurarse primero en tu extremo. Sigue la guía paso a paso aquí.
   
   
2. Una vez configurada la ubicación de almacenamiento, puedes configurar tu canalización de datos en el Centro de gestión.
   
   

   La instalación requiere lo siguiente:

   1. 1. 1. El nombre de la canalización
         2. Tu proveedor de almacenamiento - El tipo de destino
         3. URL de la ubicación de almacenamiento - URL de destino:
            -Si el tipo es AWS, indica “destination_url”
            - Si Azure recupera la URL del gerente de secreto
            Si necesitas más información, consulta los detalles aquí.
         4. El formato en el que deseas que se proporcionen los datos - El tipo de archivo de destino
         5. Por último, la frecuencia de actualización de los datos – La frecuencia
            
            
3. Conforme a la configuración, las credenciales se verifican realizando una conexión de prueba desde la base de datos.
   
4. Si la prueba de conectividad falla, se enviará una respuesta al Centro de gestión con el mensaje de error correspondiente.
   
   
5. Si la conexión se realiza correctamente, se enviará una respuesta al Centro de gestión, y el Centro de gestión actualizará la base de datos con el estado “pending activation” (pendiente de activación). La base de datos creará dos trabajos de canalización, uno para la carga completa y otro para la carga incremental. Los trabajos actualizarán continuamente una tabla de auditoría con estadísticas/métricas para la carga completa y CDC (Change Data Capture para cargas incrementales).
   
   
6. Una vez activada la canalización, los datos empezarán a fluir hacia el destino en el formato solicitado. Y, si hay algún cambio de esquema en la fuente (incorporación de columna, eliminación de columna, cambio de tipo de dato), el cambio fluirá al destino sin interrumpir el proceso.
   
   

   Los usuarios podrán supervisar el estado de las canalizaciones a través de las siguientes métricas:

   • • Ver estado de las canalizaciones: métricas de disponibilidad El Centro de gestión obtendrá el estado de la canalización y la fecha de activación de la base de datos
       
     • Ver alertas en caso de demoras y fallos: el Centro de gestión actualizará el estado/los detalles
     • Notificaciones de errores: la canalización de datos enviará el estado de error y los mensajes proactivamente al Centro de gestión, que a su vez puede enviar notificaciones por correo electrónico.

Disponibilidad

¿Cuándo estará disponible? Estará activa y disponible a partir del tercer trimestre de 2023.

¿Quién puede usar esta función? Si te interesa materializar el verdadero potencial de sus datos, ponte en contacto con su representante de ventas para obtener más información.

¿Qué usuarios pueden acceder a esta función? Gerentes de marca y administradores.