Obsolescence des détecteurs de deepfakes GAN-trained face aux modèles de diffusion : gradient systématique de détectabilité selon la distance architecturale et récupération pragmatique de robustesse par stratégies d'ensemble à poids gelés

Details

Supervisors

Vande Kerckhove, Corentin

Faculty

Louvain School of Management

Degree label

Master [120] : ingénieur de gestion, à finalité spécialisée

Abstract

frLes détecteurs de deepfakes entraînés sur des images issues de réseaux antagonistes génératifs (GAN) perdent significativement en efficacité face aux modèles de diffusion (DM), dont les artefacts diffèrent fondamentalement. Si cette obsolescence a été documentée, deux questions demeurent ouvertes : existe-t-il un lien entre l'architecture des modèles de diffusion et leur niveau de détectabilité ? Et peut-on améliorer les performances sans réentraînement coûteux, à l’aide de modèles d’apprentissage d’ensemble ? Cette recherche évalue quatre détecteurs GAN-trained (Meso4, XceptionNet, UCF et F3Net) sur 7 020 images du dataset DF40, combinant images réelles et deepfakes générés par quatre architectures sélectionnées pour leur distance croissante avec les GAN : ddim (convolutionnels), MidJourney (Latent Diffusion Model), DiT et SiT (Transformers purs). Trois stratégies d'ensemble sont testées via un protocole expérimental rigoureux appliquant un split vidéo-level strict. Les résultats observés démontrent l'existence d'un gradient systématique de détectabilité directement corrélé à la distance architecturale entre les DM, bien que partiellement validé au niveau intra-famille Transformer. En effet, les architectures convolutionnelles (ddim et MidJourney) atteignent des AUC entre 0.75 et 0.86 alors que les Transformers (DiT et SiT) chutent entre 0.59 et 0.72. Concernant les détecteurs, Meso4 présente une obsolescence totale avec des prédictions équivalentes au hasard (AUC 0.502). XceptionNet, UCF et F3Net subissent, quant à eux, une dégradation graduée contrôlée (AUC 0.751-0.770). Le méta-learner (scénario C) atteint les meilleures performances (AUC 0.788), soit un gain de 1.88 pp sur XceptionNet, résultant d'un effet de recalibration exploitant la moyenne P(FAKE) élevée de Meso4 et de la complémentarité partielle entre détecteurs naïfs, spatiaux et fréquentiels Ce gain de 1.88 point d'AUC est accessible en moins de 5 minutes (contre des dizaines d'heures pour un réentraînement complet), rendant cette solution pertinente lorsque les deepfakes proviennent majoritairement d'architectures convolutionnelles. Ces résultats offrent aux organisations un cadre de décision directement actionnable : une exposition majoritairement convolutionnelle (MidJourney, ddim) justifie le recours à une approche d'ensemble légère, suffisante et quasi-immédiate ; à l'inverse, une exposition aux architectures Transformer (DiT, SiT) ou un contexte à faible tolérance aux faux négatifs — vérification d'identité, opérations bancaires — rend le réentraînement structurellement nécessaire, le plancher incompressible de 21.7% constituant une limite que les méthodes d'ensemble seules ne peuvent franchir.