Manuel Durand-Barthez
télécharger 79.54 Kb.
|
| Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ? Manuel Durand-Barthez, Université Paul Sabatier (Toulouse 3) Exiger d’un chercheur qu’il soit cité dans des revues à fort facteur d’impact est un acte institutionnel courant, supposé garantir d’une part un avancement individuel plus rapide au chercheur lui-même, et d’autre part la consolidation des arguments de demandes de subventions pour son équipe. Les instances d’évaluation auraient tendance à privilégier la méthode bibliométrique fondée sur le recensement statistique rapide des citations. L’aisance et la célérité avec laquelle ce procédé s’exécute le font sans doute préférer à l’examen approfondi des contenus, pénalisant sur la durée et nécessitant la constitution de comités de lecture ad hoc. S’il est vrai que rapide ne signifie pas hâtif ou expéditif (le premier qualificatif recouvre objectivement la notion de durée ; les deux autres peuvent être interprétés comme des procès d’intention) il n’en reste pas moins que cette méthode revêt en apparence un caractère plutôt quantitatif que qualitatif à proprement parler. Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugene Garfield, a mis en œuvre le Science Citation Index (SCI) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (JCR) pour celle des revues 1. On connaît la très forte influence exercée par l’ISI sur la communauté scientifique internationale. Le modèle statistique qu’il a mis en œuvre conditionne l’avancement des chercheurs dans un nombre croissant de pays. Les administrations qui en ont la tutelle utilisent fréquemment la combinaison Citations des articles + Facteur d’Impact des revues dans lesquelles ils paraissent (Impact Factor) pour « noter » ces chercheurs. Si nous sommes amenés à développer ci-après la déclinaison de quelques critiques à l’encontre de ce modèle, c’est pour ensuite explorer la voie de nouvelles approches :
Mais d’abord, tentons de synthétiser une approche critique du modèle « historique », le modèle de l’ISI.
Trois types d’observations critiques sembleraient émerger : le premier repose sur le mode de calcul, le second sur des critères purement éditoriaux liés au support de l’information, le troisième sur des problèmes de relations humaines.
il s’agit de considérations d’ordre purement arithmétique dans la prise en compte des types de support. Un mensuel a plus de chances d’être cité qu’un semestriel ; un titre de revue qui change remet son compteur à zéro pour l’évaluation du facteur d’impact ; un nouveau titre (notamment « libre » de type OAI) doit effectuer un parcours minimal d’environ cinq ans pour être « connu » etc… Autant de variables indépendantes du contenu mais relevant du seul « contenant ».
C’est sans doute le plus important. Quarante ans de fonctionnement policé par l’ISI ont fini par créer un espace cooptatif quasiment tautologique, et celui-ci est de plus en plus critiqué. En 2002 et 2003, d’éminents chercheurs ont initié un débat significatif sur ce thème dans la revue Nature, à travers une chronique intitulée [Errors in citation statistics, 2002] (le titre est suffisamment éloquent). Peter Lawrence6 n’hésite pas à s’exprimer sur le népotisme croissant qui ronge les comités de lecture [Lawrence, 2003], et David Colquhoun7, évoque des problèmes identiques sous un titre parlant : Challenging the tyranny of impact factors [Colquhoun, 2003].
Il va de soi que l'analyse experte d'un papier soumis s'impose absolument. Qu'il s'agisse d'examiner la cohérence scientifique de son contenu à la lecture des formules ou du raisonnement, ou même de la réitération des expériences dans des circonstances similaires, cela peut être effectué dans des conditions à la fois courtoises et raisonnables par un groupe anonyme (vis-à-vis de l'auteur) de referees patentés, que cette fonction généralement bénévole peut honorer dans leur carrière. On peut citer l'exemple assez libéral des règles observées auprès du groupe BioMed Central8 : les auteurs proposent quatre noms de referees potentiels qu'ils jugent compétents dans le domaine, sans lien aucun avec eux, ni hiérarchique ni institutionnel. Le Comité peut toutefois se réserver le droit d'en nommer d'autres. Des témoignages convergent sur le bon fonctionnement du système. Toutefois, ce protocole assez "fluide" n'est malheureusement pas généralisé. Ces deux dernières décennies ont vu s'accroître de façon significative le nombre des chercheurs et des applications industrielles. Peu à peu, l'examen serein et impartial devient perturbé par des considérations exorbitantes du seul domaine scientifique, même si les relations humaines ont toujours exercé un poids non négligeable. Le facteur d'impact de l'analyse quantitative, passablement expéditive et peu nuancée, a tendance à primer sur l'aspect scientifiquement qualitatif du processus et les alternatives offrent des moyens de contrer un certain nombre de dérives suceptibles de s’accroître au fil du temps9. Tout d’abord, les referees ont un statut hybride, dans la mesure où leur fonction d'auteur et souvent de responsable d'équipe peut empiéter sur leur activité au sein d'un tel comité. Les revues à fort facteur d'impact ont aussi tendance à surcharger leurs comités de rédaction, ce qui ne facilite pas la sérénité de l'examen. Certains referees sont contraints d'émettre un avis tranché en moins de trois quarts d'heure de lecture [Lawrence, 2003], demandant à l'auteur candidat de faire des modifications notables, voire de renouveler telle ou telle expérience. Il arrive que l'éditeur demande à l'auteur de renvoyer son manuscrit corrigé après un premier examen, à l'ensemble des referees et d'obtenir leur accord global (BioMed va jusqu'à deux navettes). L'auteur peut à bon droit s’interroger sur l'utilité réelle des modifications requises et, plus encore, des nouvelles expériences sollicitées. Est-ce du temps perdu, surtout vis-à-vis de referees qui ne sont peut-être pas totalement au fait de sa spécialité ? Investir du temps dans l'envoi à d'autres revues, c'est, pour l'impétrant, perdre l'opportunité de satisfaire éventuellement une revue à fort facteur d'impact, dont le titre dans sa bibliographie personnelle peut optimiser son CV. Dans certains cas, ce sont plusieurs mois de travaux qui sont aussi perdus et l'auteur encourt le risque de se voir dépasser entre-temps dans le même domaine scientifique par des laboratoires concurrents. D'une façon générale, présenter son papier à plusieurs revues à la fois, dont les thématiques peuvent se chevaucher sans être identiques, fait courir un certain risque aux auteurs dont la recherche originale sort des sentiers battus10. C'est souvent le fait de chercheurs peu aguerris aux politiques éditoriales qui s'exposent inutilement et dangereusement en éparpillant leur envoi. Plus la teneur des recherches est diffusée sans certitude de publication, plus elle devient vulnérable. Autre question délicate : un referee peut-il raisonnablement soutenir le papier d'un chercheur "exogène" susceptible de nuire aux travaux en cours de son propre laboratoire ou à ceux de ses doctorants ? Une telle occurrence peut expliquer la différence entre deux avis émis sur le même papier. L'examen par trois referees permet l'approbation ou le rejet par deux sur trois. S'il est assorti d'observations pertinentes et détaillées, cela permet en outre d'éviter à l'impétrant – ce qui arrive parfois – de se retourner vers le comité de lecture, de le "démarcher" abusivement, de flatter les referees a priori favorables, de dénigrer les instigateurs de rejet, et de demander la désignation de tel ou tel autre referee. Certains auteurs vont même jusqu'à harceler des éditeurs pour identifier le nom de referees rétifs restés naturellement anonymes. Car l'anonymat reste « théoriquement » de mise. L'objectivité est aussi émoussée par la cooptation entre referees : se fréquenter régulièrement, s'inviter les uns les autres à des colloques, attribuer un prix ou "nominer" tel ou tel, peut opacifier le suivi des examens. Des litiges peuvent aussi toucher l'appropriation indue de la teneur d'un papier par le referee, qui profitera des atermoiements dans le processus d'examen pour publier sur le sujet en s'arrogeant la primeur. C'est l'éternel problème de la confidentialité qui, dans certains cas joue un rôle majeur en termes de propriété industrielle : satisfaire l'exigence d'un avancement de carrière rapide en soumettant prématurément un projet de publication ? Courir le risque d'un dérapage en matière de dépôt de brevet ? Enfin, outre l’évaluation liée à l'aspect strictement technique du papier, on demande de plus en plus au referee de juger si l'article pourrait être valablement appréhendé par un lecteur d'une revue du type de Science, i.e. « générale d'excellent niveau », autrement dit par un éventail de destinataires plus large. C'est là une (autre) source d'arguments de rejet plus ou moins spécieux, car ils sont exorbitants de la scientificité stricte du document. Sortons cependant de ces configurations passablement négatives, bien réelles quoiqu’un peu caricaturales, et voyons maintenant quelles sont les alternatives à un système fortement influencé, qu'on le veuille ou non, par les retombées de l'Impact Factor. 2.1 Citebase La première alternative à laquelle nous faisions initialement allusion est celle que proposent Stevan Harnad et Tim Brody sur le site Citebase11, à partir du miroir britannique du réservoir ArXiv.org12. C’est en 1991 que le Los Alamos National Laboratory promeut une base « libre » en Physique théorique des Hautes énergies : hep-th13. Elle constituera le noyau d’ArXiv, autour duquel se développèrent d’autres bases en mathématiques, en astrophysique et en biologie quantitative notamment. Elle représente aussi un réservoir « pionnier » dans le domaine du libre accès. Dans le droit fil de cette philosophie du droit à l’information outrepassant les barrières commerciales, Harnad et Brody conçurent le projet d’expérimenter un algorithme de citations qui, sans s’opposer frontalement à celui de l’ISI, propose dès 1999 une voie qui se veut plus objective et se concrétise dans l’interrogation de Citebase14. Le principe de ce modèle repose sur le rapport existant entre les déchargements et les citations.
Dans les Foires Aux Questions d’ArXiv, les concepteurs répondent clairement « Non » à deux questions15 :
Apparu fin 2004 sur le Net, ce satellite de la galaxie Google constitue un réservoir de liens vers des articles de périodiques scientifiques, appartenant pour une écrasante majorité d’entre eux aux domaines des sciences exactes et appliquées. L’algorithme de recherche est protégé et les contours précis de la couverture sont inconnus. Il s’agit en gros des grand éditeurs commerciaux classiques auxquels s’ajoutent les réservoirs « libres ». Ainsi, à l’inverse du modèle de l’ISI mais au contraire à l’image du concept Brody/Harnad, Scholar Google est « ouvert ». Toutefois, alors que les communautés d’ArXiv sont relativement bien cernées, les réponses affichées par Scholar Google, quoique satisfaisantes en apparence, semblent échoir de façon quelque peu aléatoire. Ignorer les modalités exactes de la couverture expose l’outil à être considéré comme une aide certes très utile à la définition d’un paysage documentaire, mais sans la rigueur d’autres bases de citations. Le module d’aide est focalisé très sensiblement sur l’insertion des références et s’adresse au chercheur qui publie ; il veut essentiellement répondre à la question basique d’un utilisateur classique du SCI: « comment puis-je retrouver mes propres articles dans Scholar Google ? » (question 1) et, plus loin : « pourquoi ne suis-je pas (encore) dans Scholar Google ? » (question 6). Plus simplement et plus objectivement, cette optique positionne Scholar Google comme une alternative au SCI, outil d’évaluation des auteurs pouvant accessoirement aider à l’élaboration d’une bibliographie. Il s’ensuit deux types d’attitudes :
|
similaire:
 | «a» indique qu’il s’agit du premier document d’enregistrement créé dans le cadre de l’instruction insn°XX, b le deuxième formulaire... |  | |
| «livre muet») pouvant utiliser bien des «voix» silencieuses. (Durand g., Les Structures anthropologiques de l'Imaginaire, introduction... | | «architecturale» du site de Croux que nous nous sommes tournés pour établir cet exposé. Etant précisé, d’ors et déjà, que l’histoire... |
| | ||
| | ||
| |