DESARROLLO DE COMPONENTE PARA EL DATA LAKE

Una de nuestras colaboraciones más recientes fue la participación en un proyecto para una gran entidad financiera, con el objetivo de desarrollar un componente que validase el contenido de las tablas y los tablones de su Data Lake. Esto permitiría obtener valores estadísticos y KPIs contenidos en el lago, así como realizar comparaciones históricas sobre la evolución de estos y la generación de alertas en caso de que estas excedan los valores definidos por ciertos umbrales configurables. Por otro lado, permite extraer un set de datos representativos de aquellas KPIs que incumplan los requisitos.

El componente es capaz de realizar validaciones genéricas mediante cálculos estadísticos y comparativas con valores históricos obtenidos en ejecuciones previas. También elabora validaciones específicas que comprueban si se cumple la lógica de negocio.