Junior Tagne, Senior Data Engineer, nous dévoile les coulisses de la construction de notre plateforme DataHub

5 min lecture

Présentez-vous brièvement et expliquez votre rôle dans la construction du DataHub de relevanC.

Je m’appelle Junior Tagne, je suis data engineer dans l’équipe data depuis plus de deux ans. J'ai fortement contribué à la réalisation du DataHub.

Le DataHub relevanC est une plateforme centralisée de données conçue pour consolider des données variées du groupe Casino et de ses filiales. Contenant aujourd’hui plus de 60 téraoctets de données, il sert de source unique de vérité pour les données clients, transactionnelles, logistiques et les données liées à la responsabilité sociale des entreprises (RSE). Cet outil stratégique accélère l'innovation axée sur les données au sein de l’organisation.

Ma mission consiste à assurer que les données du DataHub soient standardisées, harmonisées et accessibles à toutes les équipes qui s'y appuient pour leurs produits. En collaboration étroite avec la product manager et les utilisateurs, je veille à la précision des spécifications techniques, à la performance du code et à la rigueur des tests unitaires, garantissant ainsi la fiabilité des données. Cette mission a pour objectif  de rendre accessible les données de haute qualité aux équipes, permettant ainsi des insights plus précis et des campagnes personnalisées plus réussies.

Toujours dans l'optique d'enrichir le DataHub pour créer davantage de valeur pour les équipes du groupe, nous avons identifié le besoin d'intégrer davantage de données, notamment celles liées aux achats, stocks magasins, stocks entrepôts et aux nouveaux instruments de promotions (NIP). L'objectif est de permettre aux équipes d'AMC, la centrale d’achats du groupe, de se concentrer pleinement sur leur cœur de métier. Je dirige techniquement cette intégration en collaboration avec le head of data et le product manager avec le soutien de l’équipe data engineering.

Quelle a été l'inspiration pour le datahub et quel avantage commercial apporte-t-il au Groupe Casino ?

L'inspiration pour le DataHub  est née de la nécessité de consolider diverses sources de données afin de stimuler l'innovation. En regroupant les données provenant de différents canaux tels que: les enseignes du groupe et les partenaires, le DataHub nous permet d'avoir une vue à 360° de l’activité du groupe. Cela nous aide à mieux à optimiser nos opérations.

Le DataHub offre plusieurs avantages business au Groupe, à ses enseignes et à relevanC :

1. Amélioration de la prise de décision : En fournissant une source unique de vérité, le DataHub garantit que toutes les équipes ont accès à des informations fiables et à jour, conduisant à une prise de décision plus informée et efficace.
2. Efficacité opérationnelle : La centralisation des données réduit les redondances et rationalise les processus de gestion des données, permettant aux équipes de se concentrer sur leurs activités principales sans être encombrées par des incohérences de données.
3. Accélération de l'innovation : Le DataHub permet le développement d'outils sophistiqués, tels que des plateformes de recommandation personnalisées et des analyses (dont RCDMP), qui peuvent améliorer l'expérience client et optimiser les opérations commerciales.
4. Insights stratégiques : Grâce à une meilleure intégration des données, le Groupe Casino peut identifier les tendances du marché et les préférences des clients de manière plus précise, permettant ainsi des campagnes marketing plus ciblées et réussies.
5. Accessibilité des données : Assurer que les données sont standardisées, harmonisées et facilement accessibles à toutes les équipes pertinentes améliore la collaboration et favorise des stratégies plus cohérentes à travers l'organisation. 

Le DataHub non seulement rationalise la gestion des données mais aussi stimule l'innovation et offre des avantages stratégiques, positionnant le Groupe Casino pour une croissance soutenue.

Quelles mesures prenez-vous pour assurer la sécurité des données personnelles et respecter la conformité RGPD ?

Pour assurer la protection des données personnelles de nos clients et respecter pleinement le RGPD, chaque donnée client est associée à un identifiant unique anonymisé dès son entrée dans notre système.

Notre plateforme de données a été conçue dès le départ en tenant compte de cette caractéristique clé. Cela nous permet de garantir la confidentialité des informations traitées, car aucune donnée personnelle identifiable n'est utilisée dans nos algorithmes et tables de transactions.

De plus, nous avons mis en place des mesures de sécurité rigoureuses pour protéger ces données anonymisées. L'accès à notre plateforme de données est strictement contrôlé et limité aux personnes autorisées. Nous utilisons également les meilleurs outils de Google Cloud pour leur fiabilité et leur sécurité afin de protéger les données contre tout accès non autorisé, perte ou altération.

Grâce à cette approche combinant anonymisation, contrôle d'accès avec des outils de sécurité performants, nous sommes en mesure de traiter les données de nos clients de manière responsable, innovante et en totale conformité avec le RGPD.

Quelles approches innovantes le DataHub a-t-il développées pour maintenir une collecte et une analyse efficaces des données tout en respectant la vie privée des consommateurs ? 

Nous avons mis en place une stratégie axée sur l'exploitation intelligente des données clients qui sont collectées de manière éthique et transparente, avec le consentement explicite des consommateurs lorsqu'ils adhèrent aux programmes de fidélité de nos partenaires. Ces données, collectées dans le strict respect de la législation RGPD, sont ensuite anonymisées avant d'être intégrées à notre DataHub.

La confidentialité des données est au cœur de notre approche, car elle est essentielle pour gagner et renforcer la confiance des consommateurs. En protégeant les informations personnelles, nous respectons non seulement la loi, mais nous favorisons également la fidélisation des clients. Notre DataHub répond à ces préoccupations en séparant logiquement les données personnelles des données anonymisées utilisées par nos services. Les données personnelles sont ainsi strictement protégées et l'accès est limité, garantissant aux consommateurs des enseignes que leurs informations sensibles sont en sécurité.

Une fois anonymisées, ces données sont analysées par relevanC pour diverses applications :

• Insights: Nous fournissons des analyses détaillées et personnalisées sur les comportements d'achat, les préférences produits et les tendances du marché, permettant aux enseignes d'améliorer leur offre et leur stratégie marketing.
• Retail Media: Nous mettons en place des campagnes publicitaires ciblées et performantes, basées sur les données anonymisées, pour maximiser l'impact des actions marketing.
• Business Operations Management: Nous aidons les enseignes à optimiser leurs opérations en identifiant les axes d'amélioration possibles en termes de gestion des stocks, de merchandising ou de stratégie de prix.

Cette approche garantit non seulement le respect de la vie privée des consommateurs, mais aussi une exploitation efficace des données pour générer de la valeur pour nos partenaires et leurs clients.

Pouvez-vous nous expliquer le parcours du DataHub depuis sa conception initiale jusqu'à son lancement réussi ? 

La création du DataHub a été marquée par plusieurs étapes clés :

• Collecte et exploitation des données des enseignes: Collecte des données des enseignes et identification des formats les plus appropriés pour une exploitation optimale par les équipes métier.

• Architecture et conception technique : Conception d'une architecture évolutive et résiliente avec des technologies cloud (Google BigQuery, Cloud Composer, Dataproc) pour optimiser scalabilité et performance.

• Connexion et intégration technologiques : Établissement de connexions entre les produits et solutions technologiques auprès des équipes internes et nos partenaires, facilitant l'intégration et la collaboration.

• Innovation continue et optimisation : Recherche permanente de nouveautés, détection d'anomalies, exploration de nouveaux usages et ajustements proactifs pour maintenir le niveau du DataHub.

Quels ont été les principaux défis et jalons en cours de route ? 

Nous avons rencontré plusieurs défis. La construction d'un Datahub nécessitait des mises à jour régulières et une qualité irréprochable des données. La gestion des erreurs dans les pipelines et le rattrapage des données étaient des défis majeurs. Nous avons aussi cherché à optimiser notre temps en créant des solutions plus stables et performantes, réduisant ainsi les bugs. Une autre condition était de rester conforme au RGPD, en traitant des données provenant de multiples sources tout en protégeant les informations personnelles. La performance et l'évolutivité étaient également critiques, nécessitant des choix techniques judicieux. Enfin, l'optimisation des coûts sur Google Cloud était essentielle pour éviter des dépenses excessives.