Reimaginando el tratamiento y rendimiento de los datos de LUCA de Telefónica

Tras las primeras versiones del producto del proyecto LUCA, la demanda de consumo de los datos se incrementó y por tanto la necesidad de disponer de ellos más rápidamente. Los sistemas clásicos quedaron rápidamente obsoletos por los altos costes que generaban.

Tras la decisión de migrar a la nube de AWS, se detectó la necesidad de rediseñar la arquitectura y los procesos del proyecto.

Había que garantizar la velocidad e integridad de los datos, a la vez que se reducían los tiempos de cómputo.

Para hacer frente a este desafío, necesitábamos una plataforma ágil. Era mandatorio que los cambios pudiesen hacerse de forma ágil y automática, además de tener la certeza de que no habría problemas en producción.

Gracias al desarrollo de la plataforma cómo código (Cloudformation y Ansible), se consiguió disponer de tres entornos idénticos: Desarrollo, integración y producción. Minimizando los posibles fallos al desplegar cambios.

Al ser el dato la razón de existir del proyecto se optó por adoptar una arquitectura Event-driven, de manera que todos los procesos necesarios para disponibilizar y explotar el dato se realizaban en base a unos eventos generados por el proceso anterior. Por ejemplo, al recibir el dato, depositado por la fuente origen en S3, se generaba el evento que permitía al validador de ficheros comenzar su tarea.

De la misma forma que el dato es la estrella del proyecto, la minimización de costes y la velocidad de procesamiento son los grandes hitos. Para lograr alcanzarlos, se optó por soluciones serverless, como son AWS Lambda o AWS EMR, soluciones que no necesitan un nodo activo 24/7 y que solo se activan en función de la necesidad (en este caso, debido a ciertos eventos). Así mismo se prestó soporte a los equipos de desarrollo para mejorar la ejecución de los desarrollos (paralelizado en los jobs de Elastic MapReduce) o ayudándoles a adaptarse a la nueva plataforma.

Tanto es así que se ha consolidado como una de las líneas de negocio dentro de Telefónica. El proyecto sigue evolucionando con enfoque a una infraestructura de cloud híbrida (Azure). Cada vez son más los clientes que requieren este servicio a Telefónica, y a los que se les facilitan los datos de forma personalizada, ya sea a través de un dashboard de visualización de datos (Tableau), una base de datos o vía API.