Dataform en GCP BigQuery: Arquitectura ELT, SQLX Incremental y CI/CD Empresarial

Matriz de Decisión: Transformación ELT en BigQuery

Seleccionar la herramienta de transformación adecuada impacta directamente en los costes operativos, la latencia de ingestión y la sobrecarga de mantenimiento del equipo de ingeniería.

Implementación Práctica: Modelo Incremental con Calidad de Datos

A continuación se presenta un pipeline de transformación de capa Silver implementado en SQLX. Incluye deduplicación por clave primaria, gestión de marcas temporales, configuración de clustering y aserciones de integridad:

// Archivo: definitions/silver/silver_customer_orders.sqlx
config {
  type: "incremental",
  schema: "silver_layer",
  tags: ["daily_pipeline", "core_silver"],
  uniqueKey: ["order_id"],
  bigquery: {
    partitionBy: "DATE(order_timestamp)",
    clusterBy: ["customer_id", "order_status"]
  },
  assertions: {
    uniqueKey: ["order_id"],
    nonNull: ["order_id", "customer_id", "order_timestamp", "net_amount"],
    rowConditions: [
      'net_amount >= 0'
    ]
  }
}

-- Reutilización de funciones utilitarias JavaScript desde includes/utils.js
js {
  const sanitize = require("includes/utils.js");
}

SELECT
  order_id,
  customer_id,
  ${sanitize.cleanString("order_status")} AS order_status,
  order_timestamp,
  net_amount,
  tax_amount,
  (net_amount + tax_amount) AS total_amount,
  CURRENT_TIMESTAMP() AS ingestion_timestamp
FROM
  ${ref("bronze_raw_orders")}

${when(incremental(), `
  WHERE order_timestamp >= (
    SELECT 
      -- Ventana de seguridad de 3 días para late-arriving events
      TIMESTAMP_SUB(MAX(order_timestamp), INTERVAL 3 DAY) 
    FROM 
      ${self()}
  )
`)}

Módulo de utilidades compartido en JavaScript (includes/utils.js) para estandarización de columnas:

// Archivo: includes/utils.js
function cleanString(columnName) {
  return `TRIM(LOWER(${columnName}))`;
}

function hashKey(columns) {
  return `TO_HEX(MD5(CONCAT(${columns.map(col => `IFNULL(CAST(${col} AS STRING), '')`).join(", '||', ")})))`;
}

module.exports = {
  cleanString,
  hashKey
};

Patrones de Diseño y Multi-Environment CI/CD

En arquitecturas de producción sobre Google Cloud, el código de Dataform no debe contener nombres de proyectos ni datasets en hardcode. El flujo de trabajo enterprise se sustenta en:

• Arquitectura Medallion en Datasets: Separación física en datasets bronze_raw (ingesta CDC/Event), silver_curated (limpieza, deduplicación y tipado) y gold_analytical (modelos dimensionales y métricas de negocio).
• Compilation Overrides: Configuración de Release Configurations asociadas a ramas Git (main, staging, dev) que inyectan de forma dinámica el defaultProject y schemaSuffix (ej. _dev o _stg).
• Service Accounts con Mínimo Privilegio: La Service Account de ejecución de Dataform debe poseer exclusivamente roles como roles/bigquery.dataEditor en los datasets destino y roles/bigquery.jobUser a nivel de proyecto.

Checklist de Implementación en GCP

1. Vincular Repositorio Git: Conectar el repositorio de Dataform con Cloud Source Repositories, GitHub Enterprise o GitLab mediante Secret Manager.
2. Configurar workflow_settings.yaml: Definir la versión de Dataform Core (@dataform/core: 3.x.x) y el dataset por defecto para aserciones de calidad.
3. Definir Declaraciones de Origen (Sources): Registrar las tablas ingestadas por Cloud Storage o Datastream usando declare({ schema, name }).
4. Parametrizar Release & Workflow Configurations: Programar invocaciones serverless mediante triggers horarios o eventos en Cloud Pub/Sub integrados con Cloud Composer/Workflows.