Le Cas qui Révèle le Système
Un chercheur soumet un papier à CVPR, l'une des conférences les plus prestigieuses en vision par ordinateur. Un reviewer le rejette pour "manque de nouveauté" — et sa justification fait bondir la communauté : il a trouvé un preprint de workshop... des mêmes auteurs.
Autrement dit, le reviewer confond l'auto-plagiat et le processus normal de publication scientifique, où présenter un travail en workshop avant une soumission à une conférence majeure est pratique courante. Mais au-delà de l'erreur individuelle, cet incident expose des failles structurelles du peer review à l'ère de l'IA.
Le Problème de la "Nouveauté" en Machine Learning
En ML, la pression sur la nouveauté est devenue absurde. Les conférences majeures (NeurIPS, ICML, CVPR, ICLR) rejettent des papiers solides si les reviewers estiment que la contribution n'est pas assez "novel" — un critère vague et subjectif.
- Les chercheurs survendent leurs contributions mineures
- Les vrais travaux incrémentaux (pourtant essentiels à la science) sont dévalorisés
- Les architectures "révolutionnaires" se multiplient, souvent sans reproductibilité
Quand un reviewer googlelise un titre et trouve un preprint similaire, il conclut "pas nouveau" sans comprendre le contexte. C'est de la revue par moteur de recherche, pas par expertise.
Les Biais des Reviewers Pressés
Le peer review en ML souffre d'un problème de volume. Les grandes conférences reçoivent des milliers de soumissions. Les reviewers sont des chercheurs bénévoles, surchargés, souvent junior. Le temps accordé par papier se compte parfois en minutes.
Le biais de confirmation : Un reviewer qui a décidé de rejeter cherche des raisons. Trouver un preprint similaire confirme un jugement déjà formé.
Le biais de familiarité : Les reviewers favorisent les approches qu'ils connaissent. Un papier qui sort des sentiers battus est perçu comme risqué.
Le biais de célébrité : Malgré le double-blind theorique, les labos prestigieux sont reconnaissables à leur style, leurs datasets, leurs acknowledgments.
ArXiv et la Question du Timing
ArXiv a transformé la publication scientifique. Poster un preprint établit la priorité, permet des feedbacks précoces, accélère la diffusion des idées. Mais ce système entre en conflit avec le peer review traditionnel.
Un papier sur arXiv n'est pas "publié" au sens académique. Pourtant, il est public, citable, trouvable. Quand un reviewer cherche des travaux similaires, il tombe fatalement sur des preprints — y compris parfois celui des auteurs du papier soumis.
La règle devrait être simple : le travail des mêmes auteurs ne peut pas être utilisé contre eux pour manque de nouveauté. Mais les reviewers ne vérifient pas toujours l'identité des auteurs (blinding oblige), créant ces situations absurdes.
L'Impact de l'IA sur le Review Lui-Même
Les outils IA commencent à assister le peer review : détection de plagiat, vérification des claims statistiques, identification de travaux similaires. Paradoxalement, ces outils peuvent amplifier les problèmes.
Un système automatique qui flag "papier similaire trouvé" sans contexte induit le reviewer en erreur. La machine trouve des similarités textuelles ; elle ne comprend pas que deux papiers des mêmes auteurs à des stades différents sont normaux.
Plus inquiétant : les reviewers paresseux commencent à déléguer à ChatGPT la rédaction de leurs reviews. Des auteurs ont identifié des commentaires génériques, parfois incohérents, clairement générés. C'est le peer review par IA du peer review — une régression.
Les Propositions de Réforme
La communauté ML discute de réformes depuis des années. Quelques pistes :
Open review : Rendre les reviews publiques (comme OpenReview pour ICLR) responsabilise les reviewers. Un mauvais avis est visible de tous.
Post-publication review : Publier d'abord, évaluer ensuite. Le travail est disponible, la communauté réagit, les erreurs sont corrigées publiquement. Radical, mais aligné avec la réalité d'arXiv.
Reviewers professionnels : Payer des experts pour des reviews de qualité plutôt que de compter sur du bénévolat surchargé. Coûteux, mais efficace.
Métriques alternatives : Réduire la dépendance aux publications tier-1. Évaluer les chercheurs sur l'impact réel de leurs travaux, pas sur le prestige des conférences.
Le Fond du Problème
Le système actuel confond publication et validation. Être accepté à NeurIPS ne signifie pas que le papier est bon — ça signifie qu'il a passé un filtre imparfait, aléatoire, surchargé.
L'obsession de la nouveauté découle de cette confusion. Si une conférence est un stamp of quality, il faut des critères. "Novel" en est un, facile à invoquer, difficile à contester.
Mais la science avance aussi par réplication, par incréments, par consolidation. Un papier qui reproduit des résultats avec une meilleure méthodologie a de la valeur. Un papier qui améliore marginalement l'état de l'art a de la valeur. Pas "nouveau" au sens marketing, mais précieux pour le champ.
Conclusion
L'incident du reviewer CVPR est un symptôme. Le peer review en ML est en crise : trop de papiers, pas assez de reviewers qualifiés, des critères de sélection flous, une pression sur la nouveauté qui déforme les incitations.
La solution ne viendra pas d'un meilleur guideline pour les reviewers. Elle viendra d'une refonte du système : comment on publie, comment on évalue, comment on reconnaît la valeur scientifique au-delà du sensationnalisme de la "breakthrough".
En attendant, les chercheurs continueront à jouer le jeu, frustrés mais sans alternative. Et les reviewers continueront à googleliser des titres en croyant faire du peer review.