📘 Vibe coding en entreprise : comment l’encadrer sans freiner vos équipes ? → Lire le livre blanc

Étude de cas

Prouver qu'une IA sait lire et classer des rapports réglementaires avant de reconstruire un outil

Comment vérifier en quelques semaines qu'une IA peut taguer et interroger de façon fiable des milliers de pages de rapports réglementaires, avant d'engager la reconstruction d'un outil métier ?

IARAGCommunication financièrePOC
POC IA

Le projet en quelques mots

Type de projet
Immersion et POC IA au forfait, préalables à la refonte d'un outil interne de benchmarking réglementaire
Secteur
Communication financière et réglementaire
Durée
4 semaines de construction, puis un cycle d'ajustements avec les utilisateurs
Équipe theTribe
1 lead architecte IA, 1 Product Manager

Boîte à outils

Impact

149rapports, soit environ 14 500 pages, analysés par l'IA
79 %de précision et 82 % de rappel sur les tags de 3 706 graphiques de référence
16questions sur 17 du jeu de test client pour lesquelles l'IA lit le bon document

01 · Le contexte

À propos du client

Le client est un groupe international spécialisé dans la communication financière et réglementaire. Il accompagne des entreprises cotées dans la production et la publication de leurs rapports annuels, de leurs proxy statements et de leurs rapports ESG.

Pour ses missions de conseil, le groupe s'appuie sur un outil interne de benchmarking. Ses consultants y retrouvent comment des entreprises comparables traitent un même sujet dans leurs publications (gouvernance, rémunération des dirigeants, indicateurs climat) et en présentent les graphiques à leurs propres clients.

02 · L'enjeu

Redonner de la valeur à un outil arrivé en bout de course

La première version de l'outil ne rendait plus le service attendu par les équipes conseil.

La recherche fonctionnait uniquement par mot-clé : une requête sur « governance of AI » ne remontait pas les passages consacrés à l'« artificial intelligence ». Les graphiques étaient stockés sous forme de captures d'écran, illisibles par une machine. Et chaque document devait être tagué à la main, graphique par graphique, par une équipe dédiée.

Le groupe a donc lancé un appel d'offres pour reconstruire l'outil autour de l'IA : recherche sémantique, assistant conversationnel, classification automatique des graphiques, tagage assisté.

Avant d'engager un budget de développement, une preuve s'imposait. Une IA sait-elle taguer ce corpus selon la taxonomie propre au client, sans validation humaine, et retrouver l'information de façon fiable ?

03 · Notre accompagnement

La réponse theTribe

Comprendre le métier avant de proposer une architecture

Pendant la réponse à l'appel d'offres, l'équipe a rencontré les utilisateurs de l'outil : entretien avec la direction du conseil, démonstration du back-office avec l'équipe de tagage et l'ingénierie. Un premier démonstrateur, monté sur 27 rapports publics, a permis de montrer concrètement ce que l'IA pouvait apporter.

Le projet a ensuite été découpé par étapes : une immersion, puis un POC au forfait, la décision de construire l'outil n'intervenant qu'après les résultats.

Des critères de réussite fixés avec le client

Les critères de recette ont été arrêtés avec le client avant la première ligne de code. Deux mesures servent de juge de paix :

  1. un jeu de 22 questions métier rédigé par la direction du conseil, dont 17 avec un document, une page et une justification attendus ;
  2. la comparaison des tags produits par l'IA avec les 3 706 graphiques déjà tagués par les analystes du client.

Chaque résultat a été partagé en transparence, y compris les mesures intermédiaires les moins flatteuses.

Deux briques pour deux usages

Le POC porte sur 149 documents fournis par le client : 99 proxy statements et 50 rapports ESG, soit environ 14 500 pages.

Un assistant de questions-réponses répond en langage naturel à une question posée sur tout le corpus. Chaque réponse s'accompagne de cartes de sources qui ouvrent le document à la bonne page ou sur le bon graphique, et la conversation peut se poursuivre sur plusieurs échanges.

Assistant de questions-réponses du démonstrateur : une réponse en langage naturel, avec ses sources numérotées
L'assistant de questions-réponses du démonstrateur : chaque réponse renvoie à ses sources numérotées. Les noms des sociétés du corpus sont floutés.

Un module de navigation fait parcourir le corpus par la taxonomie du client : filtres par publication, année, secteur, société et sujet. La classification de l'IA s'affiche à côté de celle des analystes, et chaque utilisateur peut valider ou corriger un tag d'un clic.

Une architecture pensée pour la suite

Le socle repose sur Cognee, auto-hébergé, qui construit un graphe de connaissances et combine recherche vectorielle et recherche par graphe, avec citation native des sources. Les modèles Claude sont répartis selon l'usage : Opus pour l'assistant, Sonnet pour lire les pages et les graphiques, Haiku pour découper les sections.

Le démonstrateur tourne sur Kubernetes chez Scaleway, à Paris. Le rapport final décrit la trajectoire vers l'environnement cloud du client, avec un simulateur de coût par usage.

Itérer avec les utilisateurs

Le démonstrateur est livré en quatre semaines et ouvert aux équipes du client. Leur revue écrite a donné lieu à deux vagues de changements. La plus marquante a resserré le tagage : un tag par graphique en moyenne au lieu de 1,33, et une précision qui passe de 56 % à 79 %.

04 · Résultats

Un POC mesuré, une décision éclairée

Sur les 3 706 graphiques de référence, l'IA atteint 79 % de précision et 82 % de rappel, sans aucune validation humaine. Elle retrouve 86 % des graphiques identifiés par les analystes et en détecte environ 11 650 sur l'ensemble du corpus.

Pour l'assistant, le document attendu est lu pour 16 questions sur 17. Le découpage en sections retrouve 94 % des sections des proxy statements, et repère désormais le suivi des objectifs ESG dans 10 rapports sur 10.

Dans leurs retours écrits, les équipes du client ont particulièrement salué l'assistant de questions-réponses, la possibilité d'ouvrir chaque source à la bonne page et surtout la qualité de l'accompagnement humain de theTribe permettant aux interlocuteurs métier d'exprimer directement leur besoin et d'évaluer la performance du POC selon des cas d'usage réel.

Le client dispose aujourd'hui d'un démonstrateur en ligne, d'un guide d'usage, de résultats chiffrés question par question et d'un rapport final bilingue, qu'il utilise sur un environnement de production restreint. La décision de construire la nouvelle version de son outil lui revient, sur des bases mesurées.

Vous aussi, vous voulez rendre vos documents exploitables par l'IA ?

D’autres projets à découvrir

CLUB AFIROC

Étude de cas

Former trente dirigeants et DAF de l'agencement à l'IA, de la lecture de CCTP au premier agent d'entreprise.

MAVOIE

Étude de cas

Conception en 3 mois de Liv.ia, un assistant IA conversationnel web et mobile pour redonner confiance aux jeunes éloignés de l’emploi, avec des modèles hébergés en France.