La plateforme de prépublications arXiv est-elle dévoyée ?
⏱ 3 minEntretien avec Nikos Paragios, directeur du Center for Visual Computing et professeur de mathématiques à CentraleSupélec au sein de l’université de Paris-Saclay. Comme d’autres chercheurs, il s’alarme de l’utilisation faite de la célèbre archive de prépublications électroniques d’articles scientifiques arXiv.
DAP : La communauté de la data science fait-elle un usage abusif d’arXiv, en y prépubliant à tout va des travaux pas forcément très aboutis ?
Nikos Paragios : En effet, dans la plupart des articles prépubliés sur arXiv dans le domaine de la data science – qui évolue très vite et notamment en deep learning -, la description de l’architecture, qui est la contribution la plus importante, est faite télégraphiquement : elle n’est pas suffisamment détaillée pour que les travaux décrits puissent être vérifiés comme il se doit. Mais les auteurs ne sont pas les seuls responsables de cette tendance… Le système universitaire et les agences de financement de la recherche mettent aussi de plus en plus de pression sur les chercheurs pour publier davantage en quantité qu’en qualité. Résultat : ils prépublient des travaux prématurés.
DAP : Malgré cela, un article sur arXiv est perçu comme une « semi-publication » : il peut être cité et bénéficie d’indicateurs de popularité donnés par Google et Google Scholar…
N.P. : Le fait que les papiers sur arXiv puissent être cités n’est pas un problème en soi. Le principal problème est que ce qui est cité n’est pas vérifiable, du moins pas immédiatement. Nombre de papiers mis en ligne sur arXiv ne sont d’ailleurs ensuite jamais publiés dans une revue ou présentés dans une conférence, après évaluation par des pairs en « double aveugle » (les pairs ne savent pas qui sont les auteurs et vice-versa). Les prépublications sur arXiv servent surtout de tampon pour s’arroger l’origine de travaux sur une thématique, bref une sorte de système pour « horodater » des contenus et méthodes scientifiques. Ceci peut couper l’herbe sous le pied à d’autres chercheurs en train d’accumuler des travaux et résultats plus complets ou plus mûrs sur ces mêmes sujets… Là, cela devient un réel problème !
DAP : Pourtant, certains chercheurs, tel le spécialiste français du deep learning Yann Le Cun, estiment que ce système de prépublications sur arXiv est plus efficace que le modèle de publications traditionnel. Qu’en pensez-vous ?
N.P. : Je devrais utiliser un joker là dessus… mais je vais répondre ! Dans le passé, la carrière universitaire et le statut académique des chercheurs étaient évalués sur la base du contenu de leurs publications, une fois évalués par les pairs. Puis nous sommes passés au nombre de publications, ensuite au nombre de fois où elles étaient citées (les fameux indicateurs de recherche), maintenant on prend aussi en compte les prépublications sur arXiv avec les dérives que je viens d’évoquer… La prochaine étape consistera-t-elle à regarder le nombre de followers sur LinkedIn et Twitter ? Le monde académique perd ses repères, l’évaluation des contributions par les pairs devient obsolète… et la séparation entre des contributions à de vraies idées qui peuvent avoir un impact et à des idées à la mode facilement « diffusables » devient difficile.
DAP : Vous allez plus loin : selon vous arXiv créé de l’inégalité. Pourquoi ?
N.P. : Avec arXiv, il n’y a plus de notion d’anonymat. Or, personne n’est assez stupide pour croire qu’un papier aura le même impact – au moins aujourd’hui- s’il est mis en ligne sous l’étiquette « MIT » (Massachussetts Institute of Technology) ou sous l’étiquette « Université Paris-Saclay ». arXiv prive la communauté scientifique d’un excellent outil pour donner la même chance à tous et enlever l’effet « prestige institutionnel » pendant l’évaluation : le processus d’évaluation à l’aveugle. C’est le seul moyen d’assurer que des travaux aient l’impact qu’ils méritent, indépendamment de leur origine : auteur, institution, pays…
