Robustesse cross-topic des signaux d'interaction utilisateur-item dans la détection de fakenews : Une évaluation croisée sur PolitiFact et GossipCop

Details

Supervisors

Satinet, Chloé

Faculty

Louvain School of Management

Degree label

Master [120] : ingénieur de gestion, à finalité spécialisée

Abstract

frLes modèles de détection automatique de fausses informations atteignent des performances élevées lorsqu’ils sont évalués sur le type de données ayant servi à leur entraînement, mais se dégradent dès que le sujet change. Les signaux d’interaction entre utilisateurs et articles, qui décrivent la manière dont une information circule plutôt que ce qu’elle dit, sont présentés dans la littérature comme une piste d’amélioration; leur apport n’a toutefois été établi qu’à sujet constant. Ce mémoire pose dès lors la question suivante : dans quelle mesure les signaux d’interaction utilisateur-item améliorent-ils la détection de fake news et sa robustesse au changement de domaine thématique, comparativement au contenu textuel seul? Le dispositif repose sur le jeu de données UPFD, dérivé du dépôt FakeNewsNet, où chaque article est représenté par l’arbre de sa propagation plutôt que par son texte. Ses deux sous ensembles, l’un politique, l’autre relatif aux célébrités, suivent la même méthode de collecte mais diffèrent en volume et par l’organisme de vérification des étiquettes; le premier écart est contrôlé par sous-échantillonnage, le second ne l’est pas .Cinq modèles isolent chacun une source de signal, du plancher morphologique au graphe complet, deux ablations séparant la structure de propagation de la préférence utilisateur. Ils sont évalués selon un plan croisé à deux domaines, sur cinq graines aléatoires, avec tests appariés et intervalles bootstrap. Les critères de lecture ont été fixés avant les exécutions, et la métrique centrale est la chute de performance entre intra-domaine et cross-topic, non la performance brute. Les interactions améliorent nettement la détection à sujet constant, avec plus de vingt points d’écart sur le contenu seul à taille d’échantillon égale. Cet avantage ne se transporte pas : dans une direction de transfert, la chute atteint 44 points et le modèle retombe au niveau du hasard. Les ablations font apparaître une dissociation : la structure chute moins que la préférence utilisateur, sans franchir le plancher morphologique. Les signaux d’interaction se comportent dès lors comme des signaux communautaires : puis sants là où ils ont été appris, ils ne transportent presque rien lorsque la population qui commente et partage change. La contribution tient à cette mesure et au protocole qui la produit, réutilisable pour auditer un détecteur avant son déploiement.