Atelier Model Thinking – Extraction de données et complétion de formulaires KYC par LLM : comparaison expérimentale de stratégies
TL;DR — Un atelier pratique pour comparer différentes stratégies d’instruction et modèles LLM sur un défi concret : compléter automatiquement des formulaires KYC scannés, en préservant leur mise en page et en gérant les informations manquantes.
avec Hugo Penichou, CTO et Cofondateur de SkyDot, startup spécialisée dans le traitement des dossiers KYC
Comment utiliser un LLM pour comprendre un formulaire scanné et le compléter correctement, tout en préservant sa mise en page ? À l’occasion de cet atelier coanimé avec la startup SkyDot, les participants seront invités à relever ce défi concret issu des processus KYC (Know Your Customer).
Les participants disposeront de deux ressources :
Un contexte d’entreprise semi-structuré, organisé en catégories et accessible via une API, contenant les informations nécessaires pour répondre aux questionnaires.
Des formulaires fiscaux, KYC et autres questionnaires non remplis, fournis sous forme de PDF scannés, avec des imperfections réalistes : inclinaison, qualité de scan variable ou mise en page complexe.
L’objectif sera de construire un pipeline capable de comprendre un formulaire inconnu, d’identifier les informations demandées, de retrouver les réponses dans le contexte fourni et de les insérer aux bons emplacements. Le livrable attendu sera le formulaire fourni, complété en conservant sa structure et sa mise en page. Les prétraitements du document, comme le redressement d’un scan, seront autorisés.
L’atelier combinera retour d’expérience industrielle et expérimentation méthodologique. SkyDot présentera la problématique métier et les approches déjà explorées. Les participants compareront ensuite différentes stratégies d’instruction, de décomposition des tâches et de contrôle des sorties. Cette approche de model thinking conduira à articuler compréhension visuelle, extraction, recherche d’informations, complétion et validation.
Le travail suivra une démarche itérative : prototypage, tests, analyse des erreurs et amélioration des instructions, avec une attention portée à la robustesse et à la capacité à traiter des formulaires variés. Une restitution collective permettra de comparer les approches, de dégager les bonnes pratiques et de discuter des pistes d’industrialisation.
Pour participer, prévoyez votre propre accès API à un LLM : aucune clé API ne sera fournie. Les membres du club disposant généralement d’accès professionnels, chacun pourra utiliser ses accès habituels ; cette diversité permettra également de comparer les résultats selon les modèles utilisés. Si vous ne disposez pas encore d’accès, nous vous invitons à préparer une solution gratuite avant l’atelier : Google Cloud propose 300 $ de crédits d’essai valables 90 jours aux nouveaux clients éligibles, et OpenRouter propose des modèles accessibles gratuitement, dont certains acceptent des images en entrée. Pensez à activer et tester votre accès en amont, en vérifiant les conditions et limites d’utilisation de l’offre choisie.