Inicio / Demo 2

Data Governance

Arquitectura en capas ODS → DW → DM con DWS, DLI Spark y Langfuse.

📐 Arquitectura de Referencia — Datos en vivo en DWS Console y Langfuse

Arquitectura en Capas — ODS → DW → DM

📁

OBS Storage

Datos crudos

🔄

DataArts ETL

Limpieza y transformación

🗄️

DWS Target

Tablas curadas

🌐

DataService API

REST endpoints

Etapas del Pipeline

📥

PASO 1

Extract

Completado

Lectura de datos crudos desde OBS (CSV, JSON, PDFs)

🔄

PASO 2

Transform

Completado

Limpieza, normalización CNBV, deduplicación

✅

PASO 3

Validate

Completado

Reglas de calidad: nulos, rangos, consistencia

📤

PASO 4

Load

Completado

Escritura a DWS con particionamiento por fecha

🌐

PASO 5

Publish

Activo

DataService API REST con cache y rate limiting

DWS — Arquitectura en Capas

Los datos 'maduran' de crudos (ODS) a analíticos (DM). Cada capa agrega validación y transformación.

📥

ODS — Datos Crudos

Ingesta directa desde fuentes. Sin transformación. Auditoría de origen.

vendors 2,300 registros

customers 500 registros

transactions 5,000 registros

🔄

DW — Esquema Estrella

Limpieza, deduplicación, normalización. Dimensiones + hechos.

dim_vendor 2,300 registros

dim_customer 500 registros

fact_transaction 5,000 registros

📈

DM — Vistas Analíticas

Agregaciones pre-calculadas para dashboards y reportes ejecutivos.

vendor_risk_summary 15 proveedores

city_risk 32 estados

anomaly_summary patrones CNBV

Abrir Dashboard Interactivo →

Streamlit con queries en vivo a DWS — Data Quality + Governance tabs

Métricas de Calidad de Datos

Valores de referencia — Métricas reales en DWS SQL Editor (Paso 2 del demo)

Completitud

98.7%

Campos no nulos vs total

Consistencia

99.2%

Reglas de negocio válidas

Freshness

<5min

Latencia de datos actualizados