AB InBev – Grupo Modelo

El proceso de ETL se orquestaba en Talend Open Studio: extraía datos de SAP, Vertica y otras fuentes, los transformaba con archivos SQL y los cargaba en Azure, una parte en Azure Databricks. Cada flujo se definía en un archivo Excel maestro con las tablas, los campos, los SQL y la estrategia de carga. Algunas corridas tardaban de 2 a 3 horas.

Cada ETL usaba una de dos estrategias: carga completa, que trae todos los datos en cada corrida, o carga incremental, que trae solo los registros nuevos (por ejemplo, los del día anterior), los valida contra el destino y descarta duplicados para que origen y destino coincidan.

Antes de correr cada pipeline había que llenar a mano el Excel maestro y escribir los SQL de extracción y transformación, aunque entre un ETL y otro cambiaban pocas cosas; los errores de captura causaban fallas y retrasos. Empezó como un script en Ruby y, al ver que funcionaba, la convertí en una aplicación completa en Ruby on Rails, con interfaz: se conecta a la base de datos, toma los parámetros del requerimiento (fuente, destino, tabla y estrategia de carga) y genera todos los archivos listos para Talend. La preparación pasó de 2–3 horas a unos 5 minutos, sin errores de captura, y la compartí con todos los pods.

El pipeline base lo construyó un equipo global y con el uso fue mostrando fallas. Como prácticamente el único del equipo con experiencia en Java, entré a su código, corregí y optimicé muchas partes, y creé y reparé pipelines en Talend. Las fallas que quedaban solían ser externas: timeouts o caídas de servicios y bases de datos.

Como Team Lead coordiné un equipo de hasta seis personas, entre desarrolladores y QA: planeación de sprints, code review y seguimiento de desempeño con Scrum y Azure DevOps.