Por qué capas y no un solo paso
La tentación es escribir una sola transformación que lea la exportación del proveedor y entregue el informe final. Funciona hasta el primer error: cuando un número no cuadra, no hay forma de saber en qué punto se torció.
Un pipeline por capas resuelve eso. Cada capa tiene una sola responsabilidad, deja su resultado guardado y se puede revisar por separado. Si algo falla, se sabe en qué capa, y se reprocesa desde ahí sin tocar lo anterior.
Las seis capas
1. Crudo. La exportación del proveedor tal como llega, sin tocar. Se guarda siempre, porque es la evidencia: si mañana se descubre un error de interpretación, se vuelve a procesar desde aquí.
2. Normalizado. El dato traducido a FOCUS. Cada proveedor tiene su propia traducción, pero todas producen el mismo formato. A partir de esta capa el pipeline ya no sabe ni le importa de qué proveedor viene cada fila.
3. Corregido. Aquí se arregla lo que el dato de origen trae mal o de forma ambigua: filas duplicadas, compromisos que no reflejan bien a qué uso se aplicaron, cargos mal clasificados. Cada corrección es una regla escrita y con su razón, no un ajuste a mano.
4. Atómico. El dato llevado a su unidad mínima útil: una fila por recurso, por período y por tipo de cargo, con costo de lista, facturado y efectivo. Es la capa de la que se deriva todo lo demás y la que se usa para conciliar con la factura.
5. Asignado. Cada costo atribuido a un dueño: equipo, aplicación, producto. Incluye las reglas para repartir lo compartido y lo que no tiene etiqueta.
6. Consumo. Tablas anchas y preparadas para responder preguntas concretas: costo por producto y mes, costo por unidad de negocio, desviación contra presupuesto. Es lo que leen los tableros y los informes.
Principios de diseño
- Lo crudo no se modifica nunca. Todo lo demás se puede regenerar desde ahí.
- Una responsabilidad por capa. Si una capa normaliza y asigna, cuando falle no se sabrá cuál de las dos cosas falló.
- Reglas escritas, no ajustes manuales. Cada corrección y cada regla de asignación vive en el código o en la configuración, con la razón al lado.
- Conciliación en cada vuelta. El total del período en la capa atómica tiene que cuadrar con la factura. Si no cuadra, el pipeline se detiene antes de publicar.
- Reprocesable. Cualquier período se puede volver a calcular de punta a punta y debe dar el mismo resultado.
Con esa disciplina, el pipeline deja de ser la caja negra de una persona y pasa a ser un sistema que cualquiera del equipo puede auditar seis meses después.
Cómo lo aplicamos: Ingeniería FinOps.