Challenges client

La solution actuelle de Data Quality mise en place par Natixis, basée sur des systèmes de règles, est insuffisante pour détecter les erreurs et les variations financières anormales sur les contrats de prêts, titres, intérêts, tiers… D’autant plus si ces règles sont dépendantes d’un contexte Métier spécifique ou d’une règlementation sans cesse en évolution.

Approche méthodologique

• Déploiement de la solution sur un environnement Big Data On-Premise : Cluster NSX avec plus de 30 Workers nodes, 90T de stockage, 512G ram &  60 cores.
• Prise en compte de 30 mois d’historique basés sur 180.000.000 mouvements/jour chacun pouvant avoir 300 caractéristiques .
• Moteur de calcul IA développé en PySpark (architecture scalable Spark).
• Détection de valeurs numériques et catégorielles manquantes, aberrantes ou incohérentes les unes avec les autres.
• Optimisation des performances de calcul et de traitement de forts volumes de données.
• Prise en compte et recommandation des corrections et faux positifs.
• IHM pour les Data Steward et les Data Quality Managers sous Microsoft Power BI.
• Formation des équipes Métier Finance et des Data Quality Managers à la solution.

Résultats

Solution performante après un déploiement et 3 semaines de réglage de la sensibilité de détection. 23% des erreurs détectées étaient jusqu’alors inconnues des équipes Métier.

Autonomie obtenue des équipes Métier en 2 semaines. D’un avis général, malgré la technicité et la complexité des algorithmes mis en œuvre, l’interface d’utilisation et la gestion des erreurs et des faux positifs est très facile d’utilisation.