REX - Breaking Privacy in LLM to Understand It : an approach through Membership Inference

​Les modèles de machine learning étant de plus en plus utilisés dans des domaines sensibles, garantir la confidentialité des données devient un enjeu central. Cela nécessite non seulement des garanties théoriques, mais aussi des outils concrets pour évaluer et maîtriser les risques. Si des cadres comme la Differential Privacy offrent certaines garanties, cet atelier propose une approche alternative : considérer les menaces elles-mêmes comme point de départ pour définir et analyser la confidentialité. Nous nous concentrerons en particulier sur les attaques de membership inference. Celles-ci consistent à déterminer si une donnée spécifique a été utilisée pour entraîner un modèle, révélant ainsi un risque direct de fuite d’information. Nous introduirons comment sont réalisées ce type d’attaques et pourquoi elles sont possibles avec les LLM actuels. À travers cette perspective, Dr Aubinais montrera comment :     • mesurer et contrôler précisément les risques de fuite de données,     • mettre en évidence des limites fondamentales (résultats d’impossibilité),     • et définir des métriques adaptées, notamment pour les modèles quantifiés. Cette approche ouvre la voie à une méthodologie pratique permettant d’évaluer et d’optimiser le compromis entre confidentialité et performance. Appliquée à des tâches comme la prédiction moléculaire, sur des modèles allant jusqu’à 8B+ paramètres, cette méthodologie montre des résultats prometteurs :     • jusqu’à 90 % de réduction du temps d’évaluation,     • et de nouvelles perspectives pour l’optimisation des modèles.