Optimització de recursos de dades amb arquitectura escalable

El client comptava amb múltiples fonts de dades disperses (Navision, ODATA, SQL), sense una capa comuna d’explotació que permetés anàlisis avançades ni reporting eficient. Això dificultava l’ús estratègic de la dada, generant processos lents i poc sostenibles en entorns de desenvolupament i producció.

Transformació de la Dada en Valor: De la Ingesta a la Capa d’Analítica a Snowflake

El projecte tenia com a objectiu construir una arquitectura de dades escalable, governada i sostenible, que permetés la integració i transformació automatitzada de múltiples fonts, habilitant analítica avançada i visualització en temps real.

Activitats clau incloses:

• Automatització de la ingesta de dades *near-real-time* mitjançant Azure Functions i Snowflake.
• Estandardització del model de dades amb dbt, incloent-hi neteja, deduplicació i unificació de nomenclatures.
• Orquestració de fluxos amb Airflow per garantir traçabilitat i robustesa.
• Implementació de l’arquitectura Medallion (Bronze → Silver → Gold).
• Aplicació de *pipelines* de CI/CD a Azure DevOps, amb entorns desacoblats (DEV/PROD).

Resultats:

• Capa Analítica Operativa en Temps Rècord: Arquitectura funcional i actualitzable en menys de 6 mesos.
• Major Disponibilitat de la Dada: Increment del 100% en la disponibilitat de dades consolidades.
• Agilitat en Informes: Reducció del 40% en els temps de desenvolupament d’informes i anàlisis.
• Escalabilitat Sense Fricció: Procés preparat per integrar noves fonts amb mínima intervenció manual.

Conclusió

La creació d’una arquitectura escalable i automatitzada va transformar completament la capacitat analítica del client. Gràcies a una infraestructura moderna i governada, ara poden integrar, transformar i explotar dades de manera eficient i en temps real, maximitzant el valor de la dada i millorant la presa de decisions a tots els nivells.