Reimaginando el tratamiento y rendimiento de los datos de LUCA de Telefónica

AWSS
IAAS
INFRAESTRUCTURA AS CODE
ANSIABLE
JENKINS
DEVOPS
BIGDATA
AUTOMATIZACIÓN
SERVERLESS
CI
CD
INTEGRACIÓN CONTINUA
DESPLIEGUE CONTINUO
CONTENEDORES
DOCKER
TABLEAU
DATA

Migración y rediseño de la plataforma de análisis y explotación de datos de Telefónica. Del CPD clásico al serverless.

80% de la plataforma es serverless

Sistema automatizado

basado en la filosofía Event-driven

Reducción de los costes originales en un 60%

Dentro de su plan de desarrollo de negocio, Telefónica busca sacar mayor rendimiento económico a los datos generados por sus dispositivos y clientes.

Para ello necesita una infraestructura flexible que dé soporte a todos los procesos y equipos involucrados.

EL RETO

Enfocados al cloud. Acelerar los tiempos. Reducir los costes.

Tras las primeras versiones del producto del proyecto LUCA, la demanda de consumo de los datos se incrementó y por tanto la necesidad de disponer de ellos más rápidamente. Los sistemas clásicos quedaron rápidamente obsoletos por los altos costes que generaban.

Tras la decisión de migrar a la nube de AWS, se detectó la necesidad de rediseñar la arquitectura y los procesos del proyecto.

Había que garantizar la velocidad e integridad de los datos, a la vez que se reducían los tiempos de cómputo.

QUÉ Y CÓMO LO HICIMOS

Focalización en el dato. Optimización de los recursos y procesos.

Para hacer frente a este desafío, necesitábamos una plataforma ágil. Era mandatorio que los cambios pudiesen hacerse de forma ágil y automática, además de tener la certeza de que no habría problemas en producción.

Gracias al desarrollo de la plataforma cómo código (Cloudformation y Ansible), se consiguió disponer de tres entornos idénticos: Desarrollo, integración y producción. Minimizando los posibles fallos al desplegar cambios.

Al ser el dato la razón de existir del proyecto se optó por adoptar una arquitectura Event-driven, de manera que todos los procesos necesarios para disponibilizar y explotar el dato se realizaban en base a unos eventos generados por el proceso anterior. Por ejemplo, al recibir el dato, depositado por la fuente origen en S3, se generaba el evento que permitía al validador de ficheros comenzar su tarea.

De la misma forma que el dato es la estrella del proyecto, la minimización de costes y la velocidad de procesamiento son los grandes hitos. Para lograr alcanzarlos, se optó por soluciones serverless, como son AWS Lambda o AWS EMR, soluciones que no necesitan un nodo activo 24/7 y que solo se activan en función de la necesidad (en este caso, debido a ciertos eventos). Así mismo se prestó soporte a los equipos de desarrollo para mejorar la ejecución de los desarrollos (paralelizado en los jobs de Elastic MapReduce) o ayudándoles a adaptarse a la nueva plataforma.

RESULTADOS

Luca sigue en crecimiento

Tanto es así que se ha consolidado como una de las líneas de negocio dentro de Telefónica. El proyecto sigue evolucionando con enfoque a una infraestructura de cloud híbrida (Azure). Cada vez son más los clientes que requieren este servicio a Telefónica, y a los que se les facilitan los datos de forma personalizada, ya sea a través de un dashboard de visualización de datos (Tableau), una base de datos o vía API.