Décrié par tous mais par tous utilisé, le facteur d'impact est sans doute l'indicateur bibliométrique le plus connu et le plus employé. Il suscite pourtant de violents débats qui traversent de part en part le monde scientifique. Créé dans les années 1950, le facteur d'impact avait initialement été pensé pour aiguiller les bibliothécaires dans leurs achats de revues. Il représente le taux de citation des articles d'une revue scientifique dans l'ensemble des articles du même champ de recherche. Pourtant en soixante ans, même si son calcul n'a guère changé, le facteur d'impact a pris une importance toute autre. Il est devenu une référence internationale pour l'évaluation des scientifiques, c'est-à-dire la sélection des projets et l'attribution des fonds. Comment donc est-on passé d'un simple indicateur de lectorat à un outil mondialement utilisé pouvant s'avérer décisif dans la carrière d'un scientifique ?

Le drame se noue.

Un premier constat s'impose : c'en est fini de l'évaluation bienveillante par les pairs comme pratiquée aux débuts de la science moderne, à l'âge d'or de la recherche scientifique. Cloisonnée dans le laboratoire, la recherche était alors le fait d'une communauté solidaire régulée par l'interconnaissance et la reconnaissance mutuelle. Un monde scientifique indépendant du reste de la société, comme suspendu par un fil le reliant directement à la vérité, voilà résumée la vision d'un passé romanesque partagée par tous les chercheurs que nous avons pu interviewer. Aujourd'hui, la situation est toute autre : l'investisseur rationnel, qui a remplacé le mécène, cherche avant tout la rentabilité. Ce contexte modifie profondément la forme que prend la compétition entre scientifiques. L'enjeu n'est plus seulement d'être crédible auprès de ses confrères. Il est surtout devenu impératif d'attirer les investisseurs par la productivité, ce qui implique l'abandon de la solidarité au profit de la concurrence.
L'investisseur est un agent économique en situation d'information imparfaite. Il doit se contenter d'observations indirectes pour tenter d'objectiver ses décisions. L'ouverture de la recherche aux investisseurs a ainsi pour corollaire le développement de l'évaluation de la recherche. C'est sur cette vague que surfe le facteur d'impact : facilement calculable, facilement généralisable, l'indicateur n'a eu aucun mal à s'imposer comme référent hégémonique parmi les indicateurs bibliométriques.

Le drame se joue.

Ainsi décrit, l'avènement du facteur d'impact semble participer d'une nécessité historique contre laquelle il serait vain de lutter. Pourtant, la tendance actuelle semble être, qu'on se situe du côté des chercheurs, des agences gouvernementales (OST, AERES, ANR, …) ou des ONG, à la critique de l'indicateur-roi. Comment donc expliquer la popularité d'un indicateur qui fait plutôt consensus contre lui ?
L'histoire de la généralisation du facteur d'impact est avant tout celle d'un détournement. Ce dernier est selon nous le fait d'un acteur pivot : les éditeurs de revues scientifiques. Ce sont eux qui ont investi le facteur d'impact et l'ont diffusé massivement puisqu'il représentait un moyen efficace de structurer leur marché. Ce glissement est au cœur de la controverse que nous avons pour projet de décrire. La tension n'est pas fondamentalement entre ceux qui soutiennent et ceux qui condamnent le facteur d'impact. Elle réside davantage dans les écarts et les incompréhensions qui séparent les critiques de chaque acteur à l'égard de l'évolution du rôle de l'indicateur. Ce site raconte l'histoire de Frankenstein. La créature des maisons d'éditions semble leur avoir échappé. La question est de savoir s'il convient de l'abattre ou de la domestiquer.

Eugène Garfield est le créateur du facteur d'impact. Américain né en 1925, il s'est spécialisé dans les sciences de l'information et des bibliothèques, après avoir étudié la chimie et la linguistique. Il est l'un des fondateurs de la bibliométrie et de la scientométrie, les disciplines scientifiques ayant pour objet la mesure et l'analyse de la science. En 1958 il a fondé l'Institute for Scientific Information (ISI), depuis racheté par Thompson Reuters (1992), qui entretient plusieurs bases de données de revues scientifiques accessibles depuis le service Web of Science. Tous les ans, l'institut publie le Journal Citation Reports (JCR), qui établie un facteur d'impact pour chaque revue scientifique suivie.

Mais comment est calculé le facteur d'impact (FI) ?

Le facteur d'impact représente le nombre moyen de citations d'articles récents d'une revue scientifique et donne ainsi une mesure de la visibilité d'une revue scientifique. Il représente le rapport du nombre de citations en un an d'articles d'une revue publiés sur la période des deux ans précédente sur le nombre total d'articles de la revue publiés dans les deux ans précédents. Il est donc calculé sur une période de trois ans.

Prenons un exemple !

Ainsi, pour calculer le facteur d'impact de la revue Nature en 2012, il faut prendre en compte :

X = le nombre de fois que des articles de Nature publiés sur la période 2010-2011 ont été cités en 2012

Y = le nombre total d'articles publiés dans Nature sur la période 2010-2011

On a alors FI = X / Y (l'impact factor de 2012 ne pourra en réalité être connu qu'en 2013, puisqu'il faut attendre la fin de l'année 2012).

Pour avoir un ordre de grandeur, les deux revues scientifiques considérées comme étant les plus prestigieuses sont Nature et Science, qui ont des facteurs d'impact de l'ordre de 30. Certaines revues biomédicales ont des facteurs d'impact plus importants. A l'inverse, nombre de revues de domaines spécialisées ont des facteurs d'impact inférieurs à 5.

La parole est au chercheur-créateur

Eugène Garfield revendiquait à la création de l'impact factor que celui-ci permettrait de simplifier le travail des documentalistes et des bibliothécaires dans le choix des revues scientifiques, arguant du fait qu'ils n'ont pas le temps de lire les articles d'une revue pour les choisir, et que leur choix serait de toute manière subjectif : « When it comes time to evaluating faculty, most people do not have or care to take the time to read the articles any more! Even if they did, their judgment surely would be tempered by observing the comments of those who have cited the work ». Il ne s'attendait par ailleurs absolument pas à ce que ce simple indicateur fasse l'objet d'une controverse, cet indicateur étant initialement construit comme un outil à destination des bibliothécaires. Mais il le reconnaît lui-même, entre de mauvaises mains, il peut devenir dangereux ! « Like nuclear energy, the impact factor is a mixed blessing. I expected it to be used constructively while recognizing that in the wrong hands it might be abused »*.

D'autres indicateurs bibliométriques

Cet indicateur est aujourd'hui couramment utilisé en bibliométrie, avec l'eigenfactor et le h-index. L'eigenfactor fonctionne sur le même principe que l'impact factor, et utilise d'abord les publications du JCR, mais sur une période de cinq années, en excluant les auto-citations d'articles dans une même revue. Le h-index quant à lui s'intéresse plus particulièrement à la visibilité d'un chercheur. Ainsi, un chercheur a un indice de N s'il a publié au moins N articles qui ont été cités au moins N fois. Des chercheurs publiant énormément mais étant peu cités ont donc un h-index faible, de même que des chercheurs ayant publié exceptionnellement un article cité de nombreuses fois. La citation est donc à la base de la mesure en bibliométrie, suivant l'idée que la pertinence d'un article scientifique est confirmée par sa citation par ses pairs.

* « The Agony and the Ecstasy— The History and Meaning of the Journal Impact Factor », Eugène Garfield, 2005, http://garfield.library.upenn.edu/papers/jifchicago2005.pdf

Une mesure de l'intérêt pour le facteur d'impact à travers le monde

Utilisation de Google Insights for Search

L'utilisation de « Google Insights for Search » permet d'avoir une mesure relative de l'intérêt pour un sujet. En effet, cet outil calcule le nombre de « query » (de requêtes) sur Google depuis 2004, comportant les mots-clés, en l'occurrence ici « Impact Factor ». L'usage de cet instrument met en évidence les tendances de recherche et, dans le cas de l'impact factor, les résultats qu'ils révèlent sont particulièrement intéressants.

+

On aurait légitimement pu penser que le facteur d'impact, créé par un Américain et utilisé dans le domaine des revues scientifiques, principalement anglo-saxonnes, intéresserait, en premier lieu, aux Etats-Unis, au Royaume-Uni, en Occident en général. Le Google Insights for Search montre une tendance inverse : la requête « impact factor » est la plus fréquemment envoyée à Google dans des pays du Proche Moyen et Extrême-Orient ; en tête desquels figurent la Corée du Sud, l'Iran et l'Inde.
On peut supposer que l'intensité, dans ces pays, de recherches sur le facteur d'impact, révèle une prise de conscience, une sensibilité récente, à l'importance du facteur d'impact et de son utilisation, ces dernières années.
Réciproquement, la faible intensité de la query en Europe occidentale et aux Etats-Unis, souligne vraisemblablement que ces pays ont été plus tôt confrontés aux problématiques liées à l'impact factor.

+

La première observation est donc que, la recherche en Orient et Extrême-Orient s'est, ces dernières années, éveillés aux problématiques liées au facteur d'impact.

La nature de cet intérêt pour l'impact facteur

Utilisation de Google Insights for Search

L'instrument de mesure d'une requête – Google Insights for Search – permet également d'afficher l'évolution de l'intérêt pour l'objet, dans notre cas le facteur d'impact, et les query complètes les plus fréquentes comportant les mots-clés « Impact factor ».

Ce tableau met en évidence un regain d'intérêt, depuis 2011, pour l'impact factor, dans les requêtes Google. Par ailleurs, ce tableau indique également à l'intérieur de quelle requête complète le terme « impact factor » est le plus fréquemment utilisé, ces derniers mois ; depuis début 2012, c'est la query « Pimp my impact factor » (de l'anglais familier qui veut dire « augmente mon facteur d'impact »). Ce résultat est très intéressant car il suggère que le regain d'intérêt, sur Google, ces derniers mois, s'expliquerait, en grande partie, par le souci de chercheurs ou de revues de trouver des moyens d'augmenter leur facteur d'impact ; c'est-à-dire d'utiliser, de détourner l'impact factor à leur avantage.
En théorie, une revue ne peut augmenter un indice bibliométrique comme l'impact factor qu'en investissant dans les articles qu'elle publie afin qu'ils soient le plus cités ; un chercheur peut espérer publier dans des revues à fort facteur d'impact que s'il ne traite de thématiques au cœur de l'actualité, et qui vont être discutées.
Le fait que la query la plus fréquemment envoyée sur Google porte sur le moyen d'augmenter son facteur d'impact souligne le fait qu'il puisse exister des mécanismes de dévoiement de cet indice bibliométrique, de son usage initial.

Où sont éditées les revues à fort facteur d'impact ?

+

Les Etats-Unis dominent très largement cette cartographie des revues à plus fort facteur d'impact ; dans chaque discipline, 3 des 5 revues au plus fort facteur d'impact sont états-uniennes. L'Europe arrive en deuxième position, notamment sous l'effet des facteurs d'impact très élevés des revues éditées dans les pays nordiques. La troisième position revient à l'Inde, qui effectue une percée très remarquée dans le Journal de l'Impact Factor ces deux dernières années.
Cette cartographie révèle, d'une part, la domination des pays dont la recherche est produite en langue anglo-saxonne ; les Etats-Unis et le Royaume-Uni, les pays nordiques dans lesquels l'enseignement supérieur et la recherche se sont convertis à la langue anglaise, l'Inde ancienne colonie de l'empire britannique. Les pays où la recherche résiste encore à l'influence de la langue anglaise, au premier chef desquels la France, souffrent d'un désavantage considérable dans ce classement. Cette cartographie souligne, d'autre part, une évolution récente ; l'apparition massive dans ce classement des émergents – Inde, Japon, Corée du Sud, Brésil. Cette évolution constitue la partie immergée de l'iceberg dont la partie sous-marine était l'éveil, souligné précédemment, des pays d'Orient et d'Extrême-Orient aux problématiques liées au facteur d'impact.

Le facteur d'impact est un indicateur bibliométrique qui divise actuellement le monde scientifique. Cet indicateur a été créé pour classer les revues scientifiques et les articles, en fonction du nombre de citations que ces articles obtiennent dans les deux ans après leur parution. Or, ce facteur d'impact est également utilisé dans l'évaluation des chercheurs et dans l'attribution de budget, ce qui est dénoncé par certains scientifiques ou encore certaines institutions. Dès lors, des alternatives sont proposées pour éviter d'évaluer la qualité d'un article en fonction du nombre de citations. Au sein de la communauté scientifique, des acteurs variés s'expriment sur le rôle qu'a ou que devrait avoir le facteur d'impact. Ils sont :

• des chercheurs, qui prennent parti pour ou contre le facteur d'impact. De façon générale, les chercheurs les plus connus possédant un facteur d'impact élevé (environ 5% de la communauté scientifique) encouragent son utilisation.

• les maisons d'édition

• les gouvernements, en particulier le ministère de la Recherche. Le ministère encourage le facteur d'impact dans la mesure où il a un aspect pratique : il permet une évaluation et une distribution des budgets rapide.

• Les agences gouvernementales, telles que l'ANR, ou l'AERES utilisent massivement le facteur d'impact dans l'évaluation de la recherche et l'attribution de fonds.

• les institutions non gouvernementales, tels que les collectifs de chercheurs (Sauvons la recherche par exemple)

L'opposition la plus générale concernant le facteur d'impact a lieu entre les scientifiques, qui veulent une certaine liberté de publication, et les autorités (nationales et européennes) qui de plus en plus distribuent leurs aides financières en fonction du facteur d'impact. C'est le cas, en France, avec l'ANR qui attribue les crédits de recherche sur la base de la bibliométrie ou encore le European Research Council.
Ceci mène à une deuxième opposition au sein même des chercheurs entre ceux qui profitent de l'utilisation du facteur d'impact (puisqu'il leur permet d'avoir accès au financement de leurs recherches) et entre ceux qui au contraire sont « pénalisés » à cause de leur faible facteur d'impact.

Nous avons dès lors procédé à plusieurs interviews

Godeffroy Bodenhausen, chercheur à l'ENS
positionné contre le facteur d'impact, il critique son utilisation qui tend à transformer la pratique scientifique. En effet, il dénonce les méthodes utilisées par certains chercheurs afin d'avoir un facteur d'impact plus élevé et donc avoir plus de chances d'être publiés. Dès lors, il préconise un retour à l'évaluation par les pairs.

Ghislaine Filliatreau, directrice de l'OST 
Le problème du facteur d'impact selon G. Filliatreau est son usage administratif, c'est-à-dire son traitement comme une donnée statistique. L'OST produit l'indicateur d'impact espéré qui, selon elle, est la bonne utilisation du facteur d'impact.

Audrey Baneyx, enseignante à Sciences Po 
Elle s'oppose à l'utilisation actuelle du facteur d'impact, dans la mesure où il ne constitue qu'une vision partielle de la production scientifique. De même, l'indicateur tend à uniformiser la recherche (même tranche d'âge, même nationalités... sont représentées). Toutefois, elle affirme qu'il existe une bonne utilisation de cet indicateur.

Olivier Gandrillon et Alain Polian membres du collectif « Sauvons la recherche » 
Fortement opposés au facteur d'impact, ils rappellent la complexité du concept de « qualité scientifique ». Cet indicateur ne permet pas de rendre compte des innovations produites par chaque chercheur.

Somnath Saha, médecin américain, éditeur adjoint du « Journal of General Internal Medicine » 
S. Saha se positionne en faveur du facteur d'impact mais admet que le risque d'erreur est très important. Dès lors, il s'oppose à son utilisation dans l'allocation des budgets. De plus, il confirme que les chercheurs qui publient dans « Journal of General Internal Medicine » sont toujours à la recherche de moyens pour augmenter leur facteur d'impact. Enfin, selon S. Saha il est peu probable qu'un autre indicateur puisse remplacer le facteur d'impact dans l'avenir.

Nous avons aussi tenté de contacter d'autres acteurs de la controverse, mais malheureusement nos tentatives ont été infructueuses :

L'agence Reuters
propriétaire du facteur d'impact, il nous semblait important de connaître leur avis sur l'utilisation du facteur d'impact et ses arguments face aux critiques.

Un membre du « Ministère de l'enseignement supérieur et de la recherche »
une des critiques faite par les chercheurs était le fait d'attribuer les fonds de recherche selon le facteur d'impact. Nous souhaitions dès lors rencontrer un membre du Ministère de la recherche pour connaitre le rôle effectif de l'indicateur dans l'allocation des budgets.

Des éditeurs de revues scientifiques
nous souhaitions savoir si le facteur d'impact avait une influence dans le choix de publier un article.

À l'origine simple indicateur de popularité, le facteur d'impact s'impose désormais comme une mesure de la qualité d'une revue. Pour comprendre ce détournement, on va s'attacher à retracer l'histoire de l'usage de l'impact factor.

À l'origine, l'instrument des bibliothécaires

Les bibliothécaires sont confrontés quotidiennement au choix des périodiques auxquels s'abonner. Or, dans la profusion de quotidiens, d'hebdomadaires, de mensuels, de trimestriels qui paraissent dans le monde chaque année, comment faire le tri ? Trouver les perles rares ?

Par ailleurs, les bibliothécaires sont soumis à un impératif : l'argent public doit être utilisé efficacement. Par conséquent, les revues adoptées doivent être correctement ciblées pour être lues. D'autant plus en ce qui concerne les revues scientifiques : d'une part, dans la mesure où elles sont relativement coûteuses ; d'autre part, parce qu'elles sont lues essentiellement par des chercheurs qui y puisent leurs objets de recherche ou leurs idées. Elles sont donc un objet de création et de diffusion de la connaissance scientifique.

Mais, rien ne garantit que les choix satisfassent le lectorat. Le meilleur moyen de réduire le risque est donc d'observer ce qui se fait ailleurs ; voir les périodiques qui en moyenne, sont le plus lus, commentés. L'impact factor permet d'observer ces régularités statistiques et est ainsi venu apporter une réponse au besoin d'information qu'exprimaient les bibliothécaires.

Cet extrait du journal de l'impact factor 2011 met en évidence les destinataires premiers du facteur d'impact ; les bibliothécaires. En effet, figure à côté de chaque revue le code ISSN qui permet aux bibliothécaires de commander à partir de leurs ordinateurs, les revues auxquelles ils souhaitent s'abonner.

ISSN (International Standard Serial Number) facilite la gestion informatique des publications dans les bibliothèques et les services de documentation.

Le détournement : l'usage des maisons d'édition

La structure d'une maison d'édition est analogue à celle du portefeuille de n'importe quel actionnaire : la maison d'édition publie plusieurs revues, dont elle souhaite évaluer la rentabilité, de la même façon qu'un actionnaire qui a un portefeuille d'actions diversifié compare quelle action lui rapporte les dividendes les plus élevés. L'impact factor, indice de popularité de la revue, indique à la maison d'édition, quelles sont les revues qu'elle publie, qui sont les plus lues, les plus commentées, et par conséquent, les plus efficientes financièrement. À l'instar des actionnaires, la maison d'édition décide de délaisse les « actifs financiers » (les revues) les moins rentables et de développer les plus efficientes. Mais, à l'inverse des actifs financiers, les revues ne sont pas interchangeables, neutres, vides de contenu. Par conséquent, il faut justifier auprès des abonnés, des lecteurs occasionnels et des professionnels les raisons du choix qui poussent les maisons d'édition à investir dans une revue et désinvestir d'autres. Dans le monde de la recherche scientifique, la justification financière peut être frappée d'illégitimité. C'est pourquoi, les maisons d'édition explicitent leurs choix en termes de qualité des différentes revues. Les maisons d'édition introduisent le détournement de cet indice quantitatif qu'est l'impact factor, en un indice qualitatif.

Un des points clés de la controverse réside dans le fait que beaucoup n'opèrent pas la distinction qu'il convient d'effectuer entre un indicateur et une statistique descriptive. Si ces deux objets prennent la même forme, celle d'un chiffre, leurs utilisations doivent être radicalement opposées tant leurs natures sont différentes.
Une statistique est par essence descriptive, il s'agit d'une forme de dénombrement dont la validité ne peut être contestée dans la mesure où elle ne laisse aucune place à l'interprétation humaine. Elle procure une information brute, qui peut ensuite être traitée et administrée comme une donnée, comme un fait extérieur à son lecteur. C'est le cas de la population, de l'altitude, etc.

Dans le cas d'un indicateur au contraire, des choix se dissimulent derrière le chiffre. On ne peut lire un indicateur de manière satisfaisante qu'à la lumière de ces postulats. Les indicaturs sont indissociables de l'interprétation de celui qui les lit. C'est le cas des indicateurs de chômage par exemple, que l'on a choisi de calculer en fonction de la population active, plutôt qu'au regard de la population globale. C'est en cela que les indicateurs sont sujets à débat : qui dit interprétation dit subjectivité et donc incompréhensions potentielles.

Le facteur d'impact fait sans conteste partie de la seconde catégorie, celle des indicateurs. Comme nous l'avons vu précédemment, les maisons d'édition ont eu tout intérêt à opérer l'amalgame entre la citation et la qualité pour des questions de profit et de prestige. C'est précisément dans ce glissement que réside le passage d'une statistique à un indicateur : d'un simple dénombrement permettant d'obtenir la fréquence de citation, on obtient un indicateur de qualité d'une revue. Le présupposé est ici bien visible : on assimile la citation à la qualité. A partir de là, toute utilisation du facteur d'impact qui ne tient pas compte de ce choix – qui peut par ailleurs se justifier – est sujette à reproches. C'est bien, selon Ghislaine Filliatreau, le problème des agences gouvernementales chargées de l'attribution des fonds de recherches : dans un souci d'objectivation de leurs décisions, elles omettent ce postulat et administrent les facteurs d'impact comme des données statistiques, ce qu'ils ne sont absolument plus. Une importante ligne de faille apparaît donc entre les différents acteurs du fait de cet oubli – volontaire ou pas – motivé par l'efficacité et la nécessité de la décision.

Une autre séparation peut s'expliquer par cette distinction : celle de l'écart qui existe entre sciences dures et sciences sociales dans l'utilisation des indicateurs bibliométriques et notamment du facteur d'impact. Les indicateurs sont intrinsèquement liés à la démarche expérimentale. Il s'agit toujours d'approximer un fait, dont la mesure directe est impossible, par un proxy, un indicateur. On ne peut pas mesurer directement la qualité d'un article, on l'approxime donc par la citation. Il s'agit d'une démarche très souvent utilisée en sciences physiques ou en biologie, avec par exemple l'utilisation d'indicateurs colorimétriques pour mesurer le pH. C'est sans doute un facteur explicatif très important pour ce qui concerne la familiarité des indicateurs avec les domaines tels que la biologie et la médecine ainsi que l'aversion des sociologues ou des philosophes à l'endroit de ces mêmes indicateurs. Le rapport au chiffre de la discipline conditionne en grande partie le rapport à l'indicateur. +

L'impact factor est un indicateur bibliométrique. Il se propose de répondre en outil quantitatif à un besoin d'information. La production scientifique étant toujours plus conséquente et le nombre de revues scientifiques toujours plus grand la communauté scientifique ressent en effet le besoin de classer toute cette information et de pouvoir faire facilement le tri. L'impact factor se veut donc un outil permettant aux meilleures publications d'émerger et donc permettant à la production scientifique de s'inscrire dans un cercle vertueux où le classement entre les différentes revues scientifiques ne seraient dû qu'à des critères objectifs, venant remplacer des critères subjectifs tels que l'inertie historique : les chercheurs ne lisant que certaine revue par habitude et non en raison de la qualité de ces dernières. L'impact factor serait un outil de remise en cause d'un processus de publication et de lecture vu comme potentiellement fallacieux.

Cependant, l'impact factor n'est pas à l'abri de tout abus ou de toute instrumentalisation. En effet, lorsque l'on analyse sur google inside research les mots les plus souvent associés sur google au terme « impact factor » son « pimp my » (i.e « améliorer mon »). Ceci est bien exemplaire du fait que cet outil fait l'objet d'instrumentalisation ou du moins d'une utilisation qui voudrait, au-delà de la qualité des articles publiés, dans la revue améliorer le niveau de l'impact factor de cette revue.

Dans quelle mesure l'impact factor influence-t-il le déroulement et la structure du processus de publication scientifique ?

Nous verrons que si Reuters présente l'impact factor comme un outil d'observation des grandes tendances de la publication scientifique, les acteurs critiques vis-à-vis de l'impact factor en font le moteur d'un chemin de dépendance et de circonvolution vicieuse de la publication scientifique.

Les principaux tenants de la première thèse faisant de l'impact factor un outil de la circonvolution vertueuse de la publication scientifique sont ceux qui tirent profits de son utilisation. Les relayeurs de cette thèse sont donc avant tout Eugène Garfield, l'inventeur de l'impact factor et le fondateur de Institute for Scientific Information (ISI), et Reuters, l'entreprise ayant racheté l'ISI et calculant l'impact factor de la plupart des revues scientifiques.
Pour eux, l'impact factor est un outil qui permet de faire une sélection « rapide et efficace » parmi l'important nombre de citation scientifique. Il présente la mesure de la citation comme « processus de sélection est neutre », qui permettrait de faire un classement sans a priori de la recherche scientifique en laissant aux scientifiques de faire eux-mêmes leur choix. Pour eux, l'impact factor n'est seulement que la retranscription des tendances des chercheurs et na donc pas de conséquence sur les comportements des chercheurs. L'utilisation de l'impact factor est ici présentée comme une simple objectivation sans moindre influence dans le processus de publication scientifique. Ils s'opposent ainsi à la théorie de l'acteur réseau, qui conçoit les objets d'une controverse comme des acteurs à part entière de celle-ci.
Par ailleurs, Reuters présente l'impact factor comme un outil de la recherche.

+

L'impact factor est en dehors de la recherche.

Les institutions d'évaluation de la recherche comme O.S.T ou l'AERES ont une position intermédiaire qui bien qu'ayant conscience des effets de l'impact factor, lui accorde un rôle moindre dans le processus de publication scientifique.

+

À l'inverse, les chercheurs critiquent vis-à-vis de l'impact factor ont une perception plus grande du rôle de l'impact factor dans le processus de publication qui est vu comme une suite de cercle concentrique et entremêlés.

+

1 . Un chercheur soumet un article à une revue scientifique.

2 . La revue peut choisir de publier l'article proposé par le chercheur. Ce choix se fait maintenant notamment en pensant à son facteur d'impact (8).

3 . Des chercheurs citent dans leurs articles l'article publié par la revue. Cette citation permet à l'auteur de publier d'autres articles en citant lui-même les auteurs qui l'ont cité.

4 . Reuters analyse les citations des articles publiés dans les revues.

5 . Il produit un indicateur : l'impact factor.

6 . Les chercheurs lisent le journal de l'impact factor et repères les revues qui sont le mieux classée via cet indicateur. Ils choisissent donc les revues dans lesquelles ils souhaiteraient être publiés.

7 . Les chercheurs sont incités par les revues à citer dans leurs articles des articles ayant été publiés dans leurs revues, pour augmenter leur propre impact factor.

8 . Les revues adoptent des politiques et des lignes éditoriales pour améliorer leur visibilité et leur impact factor.

9 . Les chercheurs choisissent les revues scientifiques qu'ils vont lire en fonction de l'impact factor de celles-ci, ce qui augmente la probabilité qu'ils citent dans leurs propres articles des articles de revues à haut impact factor.

Les revues avec un meilleur factor d'impact sont structurellement avantagées selon la grille de lecture des adverses de l'utilisation de l'impact factor.

La statistique et les mathématiques sont souvent présentées comme un outil neutre. En effet, les sciences, interprétations du réel, sont par essence sujettes à une contingence culturelle. Les mathématiques se veulent et se présentent comme une suite de raisonnements logiques et nécessaires et donc essentiellement neutres politiquement ou culturellement. C'est bien pourquoi ces outils se sont vites imposés comme éléments d'une prétendue objectivisation des mécanismes régissant le monde. Mais l'émergence même de la statistique et des mathématiques comme instrument est éminemment contingente et n'est donc pas neutre. De plus, ces outils et en particulier les indicateurs bibliométriques comme l'impact factor ont une valeur performatrice, ils influent sur et modifie cela même qu'il prétende observer.

En quoi les indicateurs bibliométriques en tant qu'outils numériques ont-ils pu s'imposer dans le processus décisionnel de la recherche ? Et pourquoi sont-ils critiqués ?

La caractéristique numéraire et numérique de l'impact factor répondant d'abord à un besoin de classement de publications toujours plus nombreuses a permis à l'impact factor, et les indicateurs bibliométriques en général, de s'imposer dans le processus décisionnel de l'évaluation de la recherche scientifique.

Durant les soixante-dix dernières années, la démocratisation de l'enseignement supérieur, les évolutions techniques et la mise en commun des connaissances à l'échelle planétaire ont été parmi d'autres des facteurs favorisant une explosion des publications scientifiques. Face à cette publication en explosion s'est donc développé le besoin d'outils permettant de faire un tri parmi cette littérature scientifique devenant techniquement illisible. C'est alors que les indicateurs bibliométriques, tel que l'impact factor, se sont imposés comme outils, perçus comme neutres, parce que statistique et mathématique, de classement de la littérature scientifique. Il s'est d'ailleurs d'abord imposé chez les bibliothécaires des universités scientifiques américaines qui ne savaient à quelles revues s'abonner en priorité. La force des ces outils réside essentiellement dans le fait qu'ils sont numériques. En effet, cela permet d'établir un classement précis des différentes revues. De plus, ils donnent à voir clairement et sans possibilité de critique les méthodes de calcul qui lui sont inhérentes. Ils sont donc placés hors de toute critique.

C'est la même logique qui a abouti à l'imposition de ces indicateurs et de l'impact factor en particulier, dans l'évaluation de la recherche et en particulier dans le processus d'allocation des subsides étatiques. L'État s'est vite imposé comme un acteur important du mécénat de la recherche scientifique. Il s'est donc construit un modèle de financement de la recherche scientifique qui accordait une part importante à l'investissement étatique. Sur ce modèle, s'est développée une communauté de chercheurs scientifiques toujours plus importante. Parallèlement, l'État soumis à des logiques de restrictions budgétaires à restreint son soutien à la recherche et laisser une place toujours plus importants aux acteurs non-étatiques et financiers dans le financement de la recherche scientifique. Cette évolution a entrainé une advenue des logiques des investisseurs privées dans la sélection des recherches à financer. Ces acteurs extra-scientifiques voyaient dans les indicateurs bibliométriques un outil permettant de ramener une réalité scientifique (et donc étrangère pour eux) à une réalité en affinité avec leur monde mue par une réalité dominé par les chiffres.

Après ce récit linéaire de l'imposition des indicateurs bibliométriques dans l'évaluation de la recherche scientifique, il ne faudrait pas croire que ceux-ci font consensus, bien au contraire. Mais là encore, il y a deux types de critiques. D'un part, celles qui remettent en cause le calcul même de l'impact factor ou l'opacité de celui-ci. D'autre part, certaines critiques vont jusqu'à remettre en cause l'utilisation même d'outils mathématiques pour juger de la qualité de la recherche scientifique. Ils refusent la réduction d'une réalité complexe et par essence multidimensionnelle et multifactorielle à une entité numérique telle que la valeur de l'impact factor. Ils critiquent d'ailleurs l'utilisation de la citation, réalité complexe qui peut avoir plusieurs raisons, comme d'une réalité binaire et numérique. Cela ne signifie pas la même chose de citer un article pour le prendre en exemple ou pour le critiquer.

La puissance des indicateurs et des nombres est aussi leur plus grande faiblesse. Ils permettent certes de réduire à une réalité très facilement analysable, une réalité éminemment complexe et difficilement lisible. Mais cette réduction se fait au détriment de la réalité même. En voulant réduire les faits scientifiques, ils ne les sauvent pas.
L'imposition de ces indicateurs s'explique par une tension importante sur le besoin d'information créé par l'explosion de la littérature scientifique et par une imposition d'acteurs non-scientifiques dans le processus de financement et d'évaluation de la science.

Lors de notre enquête, la plupart des scientifiques se positionnant contre l'usage du facteur d'impact, en particulier au sein du collectif Sauvons la recherche, nous ont décrit les limites méthodologiques du facteur d'impact auxquelles ils sont confrontés. Au-delà d'une critique sur l'utilisation d'indicateurs bibliométriques en général, ces défauts concernent le calcul du facteur d'impact en lui-même.

Un des premier biais du facteur d'impact est la période courte prise en compte pour le dénombrement des citations. Ainsi, le facteur d'impact comptabilise les citations d'un article pendant deux ans. Or, un article novateur peut être reconnu bien après cette période de deux ans. C'est notamment l'exemple des travaux d'Einstein sur la relativité, donné par G. Bodenhausen (lien vers l'interview en Annexe) lors de son interview. En effet, si le travail d'Einstein est reconnu comme fondateur aujourd'hui, son facteur d'impact aurait été très faible, les articles produits n'ayant été reconnus que longtemps après leur parution. L'impact factor ne permettrait donc pas de repérer le nouvel Einstein.

Selon certains chercheurs, un autre défaut majeur du facteur d'impact est qu'il favorise les sujets « à la mode ». Ainsi, un très bon article traitant d'un sujet qui intéresse peu de chercheurs sera peu cité et donc aura un faible facteur d'impact, malgré sa qualité intrinsèque.

La barrière de la langue est également à prendre en compte. En effet, les chercheurs ne rédigeant pas leurs articles en Anglais sont largement désavantagés par le système du facteur d'impact. Leurs articles, rarement lus par la communauté anglo-saxonne des chercheurs, sont rarement cités, et obtiennent des facteurs d'impact faibles, indépendamment de leur qualité.

Un autre biais très important du facteur d'impact est que les articles cités par les chercheurs ne le sont pas forcément pour de bonnes raisons. Ainsi, un article très mauvais, voire faux, peut être cité par de nombreux scientifiques qui s'en servent comme contre-exemple dans leur démonstration. Ces mauvais articles auront donc un facteur d'impact très élevé, voire plus élevé que celui d'articles justes.

Enfin, d'autres caractéristiques méthodologiques du facteur d'impact peuvent biaiser la représentation de la qualité d'un article, ou encore des qualités d'un chercheur. Ainsi, des problèmes liés à l'homonymie (dans les noms des chercheurs) ou encore liés aux noms composés de ceux-ci sont souvent signalés.

Les confusions liées au calcul du facteur d'impact sont donc nombreuses et ces critiques méthodologiques sont soulevées par des acteurs très divers au sein de la controverse.

Aux vues de l'importance de cet indicateur dans l'évaluation de la recherche, tous ou presque s'accordent sur l'importance d'une refonte méthodologique du facteur d'impact pour le rendre plus juste.

Au regard des différentes critiques méthodologiques décrites précédemment quant à l'impact factor, une première réponse peut être avancée quant à l'utilisation toujours massive de l'impact factor dans l'évaluation des chercheurs et de la recherche, celle de l'inertie historique.

La théorie de la dépendance des sentiers

Cette inertie historique est définie comme le processus de développement d'une technologie qui est sensible au micro-évènements qui se produisent dans les stades initiaux de son développement, c'est-à-dire que le passé a prédéterminé. Elle est expliquée par Paul A. David dans « Clio and the economics of QWERTY ». Ainsi, certains évènements en apparence anecdotiques au cours de l'émergence d'un objet technique permettraient d'expliquer pourquoi cet objet a pris une telle importance par rapport à d'autres objets techniques qui pourraient paraître plus optimaux. Cette théorie a été mise en place pour expliquer des « échecs de marché », le marché retient des objets qui ne sont pas les plus optimaux, du fait de l'influence d'évènements passés.

L'impact factor et le clavier QWERTY, deux objets techniques, une même trajectoire historique ?

Dans le cas du clavier QWERTY, il s'est imposé, pour deux facteurs historiques. Initialement créé pour les machines à écrire afin d'avoir des touches bien réparties. Ensuite, Franck McGurin a gagné un concours de dactylographie avec ce clavier et l'idée s'est imposée qu'il s'agit du clavier permettant d'écrire le plus vite possible. De ce fait, la standardisation a fait que c'est ce clavier qui s'est imposé par rapport à tous les autres.

La question est donc la suivante, l'impact factor a-t-il également été l'objet de facteurs historiques expliquant son importance en tant qu'indicateur bibliométrique ?

Le « lock-in » de l'impact factor

Les revues précédentes ont pointé l'émergence du besoin d'indicateurs fondés sur des méthodes mathématiques et statistiques, car sources d'objectivité, tout en pointant les défauts de l'impact factor. L'impact factor étant couramment employé dans le monde de la recherche, une inertie historique peut donc également expliquer son utilisation.

Le fait est qu'à sa création, Eugène Garfield figurait parmi les pionniers s'intéressant à ce genre d'indicateurs, bien avant l'effervescence des besoins du monde de la recherche pour l'évaluation.

Publiant une revue annuelle, l'ISI a ainsi permis d'imposer l'impact factor parmi les bibliothécaires tout d'abord, puis parmi les éditeurs et les chercheurs, étant donné sa disponibilité. Le rachat par Thompson Reuters a également apporté un soutien financier, autant qu'une visibilité importante.

Des évènements passés irréversibles ?

La comparaison de l'impact factor et l'inscription de l'impact factor dans la théorie de la dépendance des sentiers pourraient apporter une conclusion à la controverse d'un point de vue méthodologique, car Paul A. David parle « d'évènements passés irréversibles » par rapport à l'inertie historique. Ainsi, l'utilisation de l'impact factor ne pourrait pas être discutée puisqu'il n'y aurait aucun moyen d'arrêter d'utiliser l'impact factor.

Cependant, il existe une différence de taille par rapport au clavier QWERTY. L'impact factor est un outil mathématique, une formule, on peut donc la changer, et cela ne fera que modifier les prochains rapports annuels. La revue précédente a présenté un certain nombre de critiques méthodologiques sur le calcul même de l'impact factor, qui pourraient être prise en compte en corrigeant la formule de l'impact factor.

Ainsi, la comparaison de l'impact factor avec l'hypothèse de l'inertie historique permet de comprendre pourquoi l'impact factor s'est imposé par rapport à d'autres indicateurs bibliométriques, dont certains ont déjà été présentés. Elle n'apporte cependant pas une solution à notre contreverse, et tel n'est pas notre but fondamental ici, mais un éclairage sur la compréhension de cette controverse d'un point de vue méthodologique.

Notre adaptation de la théorie ne rejette pas les propositions de modification du calcul de cet indicateur, nous permettant de parler d'un camp de la réforme pour cette partie de la controverse.