EDITO

"J'AI UN FACTEUR D'IMPACT PLUS ÉLEVÉ QU'EINSTEIN !"

Décrié par tous mais par tous utilisé, le facteur d'impact est sans doute l'indicateur bibliométrique le plus connu et le plus employé. Il suscite pourtant de violents débats qui traversent de part en part le monde scientifique. Créé dans les années 1950, le facteur d'impact avait initialement été pensé pour aiguiller les bibliothécaires dans leurs achats de revues. Il représente le taux de citation des articles d'une revue scientifique dans l'ensemble des articles du même champ de recherche. Pourtant en soixante ans, même si son calcul n'a guère changé, le facteur d'impact a pris une importance toute autre. Il est devenu une référence internationale pour l'évaluation des scientifiques, c'est-à-dire la sélection des projets et l'attribution des fonds. Comment donc est-on passé d'un simple indicateur de lectorat à un outil mondialement utilisé pouvant s'avérer décisif dans la carrière d'un scientifique ?

Le drame se noue.

Un premier constat s'impose : c'en est fini de l'évaluation bienveillante par les pairs comme pratiquée aux débuts de la science moderne, à l'âge d'or de la recherche scientifique. Cloisonnée dans le laboratoire, la recherche était alors le fait d'une communauté solidaire régulée par l'interconnaissance et la reconnaissance mutuelle. Un monde scientifique indépendant du reste de la société, comme suspendu par un fil le reliant directement à la vérité, voilà résumée la vision d'un passé romanesque partagée par tous les chercheurs que nous avons pu interviewer. Aujourd'hui, la situation est toute autre : l'investisseur rationnel, qui a remplacé le mécène, cherche avant tout la rentabilité. Ce contexte modifie profondément la forme que prend la compétition entre scientifiques. L'enjeu n'est plus seulement d'être crédible auprès de ses confrères. Il est surtout devenu impératif d'attirer les investisseurs par la productivité, ce qui implique l'abandon de la solidarité au profit de la concurrence.
L'investisseur est un agent économique en situation d'information imparfaite. Il doit se contenter d'observations indirectes pour tenter d'objectiver ses décisions. L'ouverture de la recherche aux investisseurs a ainsi pour corollaire le développement de l'évaluation de la recherche. C'est sur cette vague que surfe le facteur d'impact : facilement calculable, facilement généralisable, l'indicateur n'a eu aucun mal à s'imposer comme référent hégémonique parmi les indicateurs bibliométriques.

Le drame se joue.

Ainsi décrit, l'avènement du facteur d'impact semble participer d'une nécessité historique contre laquelle il serait vain de lutter. Pourtant, la tendance actuelle semble être, qu'on se situe du côté des chercheurs, des agences gouvernementales (OST, AERES, ANR, …) ou des ONG, à la critique de l'indicateur-roi. Comment donc expliquer la popularité d'un indicateur qui fait plutôt consensus contre lui ?
L'histoire de la généralisation du facteur d'impact est avant tout celle d'un détournement. Ce dernier est selon nous le fait d'un acteur pivot : les éditeurs de revues scientifiques. Ce sont eux qui ont investi le facteur d'impact et l'ont diffusé massivement puisqu'il représentait un moyen efficace de structurer leur marché. Ce glissement est au cœur de la controverse que nous avons pour projet de décrire. La tension n'est pas fondamentalement entre ceux qui soutiennent et ceux qui condamnent le facteur d'impact. Elle réside davantage dans les écarts et les incompréhensions qui séparent les critiques de chaque acteur à l'égard de l'évolution du rôle de l'indicateur. Ce site raconte l'histoire de Frankenstein. La créature des maisons d'éditions semble leur avoir échappé. La question est de savoir s'il convient de l'abattre ou de la domestiquer.

LA GENÈSE DU FACTEUR D'IMPACT

+

Eugène Garfield est le créateur du facteur d'impact. Américain né en 1925, il s'est spécialisé dans les sciences de l'information et des bibliothèques, après avoir étudié la chimie et la linguistique. Il est l'un des fondateurs de la bibliométrie et de la scientométrie, les disciplines scientifiques ayant pour objet la mesure et l'analyse de la science. En 1958 il a fondé l'Institute for Scientific Information (ISI), depuis racheté par Thompson Reuters (1992), qui entretient plusieurs bases de données de revues scientifiques accessibles depuis le service Web of Science. Tous les ans, l'institut publie le Journal Citation Reports (JCR), qui établie un facteur d'impact pour chaque revue scientifique suivie.

Mais comment est calculé le facteur d'impact (FI) ?

Le facteur d'impact représente le nombre moyen de citations d'articles récents d'une revue scientifique et donne ainsi une mesure de la visibilité d'une revue scientifique. Il représente le rapport du nombre de citations en un an d'articles d'une revue publiés sur la période des deux ans précédente sur le nombre total d'articles de la revue publiés dans les deux ans précédents. Il est donc calculé sur une période de trois ans.

Prenons un exemple !

Ainsi, pour calculer le facteur d'impact de la revue Nature en 2012, il faut prendre en compte :

X = le nombre de fois que des articles de Nature publiés sur la période 2010-2011 ont été cités en 2012

Y = le nombre total d'articles publiés dans Nature sur la période 2010-2011

On a alors FI = X / Y (l'impact factor de 2012 ne pourra en réalité être connu qu'en 2013, puisqu'il faut attendre la fin de l'année 2012).

Pour avoir un ordre de grandeur, les deux revues scientifiques considérées comme étant les plus prestigieuses sont Nature et Science, qui ont des facteurs d'impact de l'ordre de 30. Certaines revues biomédicales ont des facteurs d'impact plus importants. A l'inverse, nombre de revues de domaines spécialisées ont des facteurs d'impact inférieurs à 5.

La parole est au chercheur-créateur

Eugène Garfield revendiquait à la création de l'impact factor que celui-ci permettrait de simplifier le travail des documentalistes et des bibliothécaires dans le choix des revues scientifiques, arguant du fait qu'ils n'ont pas le temps de lire les articles d'une revue pour les choisir, et que leur choix serait de toute manière subjectif : « When it comes time to evaluating faculty, most people do not have or care to take the time to read the articles any more! Even if they did, their judgment surely would be tempered by observing the comments of those who have cited the work ». Il ne s'attendait par ailleurs absolument pas à ce que ce simple indicateur fasse l'objet d'une controverse, cet indicateur étant initialement construit comme un outil à destination des bibliothécaires. Mais il le reconnaît lui-même, entre de mauvaises mains, il peut devenir dangereux ! « Like nuclear energy, the impact factor is a mixed blessing. I expected it to be used constructively while recognizing that in the wrong hands it might be abused »*.

D'autres indicateurs bibliométriques

Cet indicateur est aujourd'hui couramment utilisé en bibliométrie, avec l'eigenfactor et le h-index. L'eigenfactor fonctionne sur le même principe que l'impact factor, et utilise d'abord les publications du JCR, mais sur une période de cinq années, en excluant les auto-citations d'articles dans une même revue. Le h-index quant à lui s'intéresse plus particulièrement à la visibilité d'un chercheur. Ainsi, un chercheur a un indice de N s'il a publié au moins N articles qui ont été cités au moins N fois. Des chercheurs publiant énormément mais étant peu cités ont donc un h-index faible, de même que des chercheurs ayant publié exceptionnellement un article cité de nombreuses fois. La citation est donc à la base de la mesure en bibliométrie, suivant l'idée que la pertinence d'un article scientifique est confirmée par sa citation par ses pairs.

* « The Agony and the Ecstasy— The History and Meaning of the Journal Impact Factor », Eugène Garfield, 2005, http://garfield.library.upenn.edu/papers/jifchicago2005.pdf

LE FACTEUR D'IMPACT DEPUIS LES ANNÉES 1950

LE FACTEUR D'IMPACT À TRAVERS LE MONDE 

Une mesure de l'intérêt pour le facteur d'impact à travers le monde

Utilisation de Google Insights for Search

L'utilisation de « Google Insights for Search » permet d'avoir une mesure relative de l'intérêt pour un sujet. En effet, cet outil calcule le nombre de « query » (de requêtes) sur Google depuis 2004, comportant les mots-clés, en l'occurrence ici « Impact Factor ». L'usage de cet instrument met en évidence les tendances de recherche et, dans le cas de l'impact factor, les résultats qu'ils révèlent sont particulièrement intéressants.

+

On aurait légitimement pu penser que le facteur d'impact, créé par un Américain et utilisé dans le domaine des revues scientifiques, principalement anglo-saxonnes, intéresserait, en premier lieu, aux Etats-Unis, au Royaume-Uni, en Occident en général. Le Google Insights for Search montre une tendance inverse : la requête « impact factor » est la plus fréquemment envoyée à Google dans des pays du Proche Moyen et Extrême-Orient ; en tête desquels figurent la Corée du Sud, l'Iran et l'Inde.
On peut supposer que l'intensité, dans ces pays, de recherches sur le facteur d'impact, révèle une prise de conscience, une sensibilité récente, à l'importance du facteur d'impact et de son utilisation, ces dernières années.
Réciproquement, la faible intensité de la query en Europe occidentale et aux Etats-Unis, souligne vraisemblablement que ces pays ont été plus tôt confrontés aux problématiques liées à l'impact factor.

+

La première observation est donc que, la recherche en Orient et Extrême-Orient s'est, ces dernières années, éveillés aux problématiques liées au facteur d'impact.

La nature de cet intérêt pour l'impact facteur

Utilisation de Google Insights for Search

L'instrument de mesure d'une requête – Google Insights for Search – permet également d'afficher l'évolution de l'intérêt pour l'objet, dans notre cas le facteur d'impact, et les query complètes les plus fréquentes comportant les mots-clés « Impact factor ».

Ce tableau met en évidence un regain d'intérêt, depuis 2011, pour l'impact factor, dans les requêtes Google. Par ailleurs, ce tableau indique également à l'intérieur de quelle requête complète le terme « impact factor » est le plus fréquemment utilisé, ces derniers mois ; depuis début 2012, c'est la query « Pimp my impact factor » (de l'anglais familier qui veut dire « augmente mon facteur d'impact »). Ce résultat est très intéressant car il suggère que le regain d'intérêt, sur Google, ces derniers mois, s'expliquerait, en grande partie, par le souci de chercheurs ou de revues de trouver des moyens d'augmenter leur facteur d'impact ; c'est-à-dire d'utiliser, de détourner l'impact factor à leur avantage.
En théorie, une revue ne peut augmenter un indice bibliométrique comme l'impact factor qu'en investissant dans les articles qu'elle publie afin qu'ils soient le plus cités ; un chercheur peut espérer publier dans des revues à fort facteur d'impact que s'il ne traite de thématiques au cœur de l'actualité, et qui vont être discutées.
Le fait que la query la plus fréquemment envoyée sur Google porte sur le moyen d'augmenter son facteur d'impact souligne le fait qu'il puisse exister des mécanismes de dévoiement de cet indice bibliométrique, de son usage initial.

Où sont éditées les revues à fort facteur d'impact ?

+

Les Etats-Unis dominent très largement cette cartographie des revues à plus fort facteur d'impact ; dans chaque discipline, 3 des 5 revues au plus fort facteur d'impact sont états-uniennes. L'Europe arrive en deuxième position, notamment sous l'effet des facteurs d'impact très élevés des revues éditées dans les pays nordiques. La troisième position revient à l'Inde, qui effectue une percée très remarquée dans le Journal de l'Impact Factor ces deux dernières années.
Cette cartographie révèle, d'une part, la domination des pays dont la recherche est produite en langue anglo-saxonne ; les Etats-Unis et le Royaume-Uni, les pays nordiques dans lesquels l'enseignement supérieur et la recherche se sont convertis à la langue anglaise, l'Inde ancienne colonie de l'empire britannique. Les pays où la recherche résiste encore à l'influence de la langue anglaise, au premier chef desquels la France, souffrent d'un désavantage considérable dans ce classement. Cette cartographie souligne, d'autre part, une évolution récente ; l'apparition massive dans ce classement des émergents – Inde, Japon, Corée du Sud, Brésil. Cette évolution constitue la partie immergée de l'iceberg dont la partie sous-marine était l'éveil, souligné précédemment, des pays d'Orient et d'Extrême-Orient aux problématiques liées au facteur d'impact.

NOTRE ENQUÊTE

Le facteur d'impact est un indicateur bibliométrique qui divise actuellement le monde scientifique. Cet indicateur a été créé pour classer les revues scientifiques et les articles, en fonction du nombre de citations que ces articles obtiennent dans les deux ans après leur parution. Or, ce facteur d'impact est également utilisé dans l'évaluation des chercheurs et dans l'attribution de budget, ce qui est dénoncé par certains scientifiques ou encore certaines institutions. Dès lors, des alternatives sont proposées pour éviter d'évaluer la qualité d'un article en fonction du nombre de citations. Au sein de la communauté scientifique, des acteurs variés s'expriment sur le rôle qu'a ou que devrait avoir le facteur d'impact. Ils sont :

• des chercheurs, qui prennent parti pour ou contre le facteur d'impact. De façon générale, les chercheurs les plus connus possédant un facteur d'impact élevé (environ 5% de la communauté scientifique) encouragent son utilisation.

les maisons d'édition

• les gouvernements, en particulier le ministère de la Recherche. Le ministère encourage le facteur d'impact dans la mesure où il a un aspect pratique : il permet une évaluation et une distribution des budgets rapide.

• Les agences gouvernementales, telles que l'ANR, ou l'AERES utilisent massivement le facteur d'impact dans l'évaluation de la recherche et l'attribution de fonds.

• les institutions non gouvernementales, tels que les collectifs de chercheurs (Sauvons la recherche par exemple)

L'opposition la plus générale concernant le facteur d'impact a lieu entre les scientifiques, qui veulent une certaine liberté de publication, et les autorités (nationales et européennes) qui de plus en plus distribuent leurs aides financières en fonction du facteur d'impact. C'est le cas, en France, avec l'ANR qui attribue les crédits de recherche sur la base de la bibliométrie ou encore le European Research Council.
Ceci mène à une deuxième opposition au sein même des chercheurs entre ceux qui profitent de l'utilisation du facteur d'impact (puisqu'il leur permet d'avoir accès au financement de leurs recherches) et entre ceux qui au contraire sont « pénalisés » à cause de leur faible facteur d'impact.

Nous avons dès lors procédé à plusieurs interviews

Godeffroy Bodenhausen, chercheur à l'ENS
positionné contre le facteur d'impact, il critique son utilisation qui tend à transformer la pratique scientifique. En effet, il dénonce les méthodes utilisées par certains chercheurs afin d'avoir un facteur d'impact plus élevé et donc avoir plus de chances d'être publiés. Dès lors, il préconise un retour à l'évaluation par les pairs.

Ghislaine Filliatreau, directrice de l'OST 
Le problème du facteur d'impact selon G. Filliatreau est son usage administratif, c'est-à-dire son traitement comme une donnée statistique. L'OST produit l'indicateur d'impact espéré qui, selon elle, est la bonne utilisation du facteur d'impact.

Audrey Baneyx, enseignante à Sciences Po 
Elle s'oppose à l'utilisation actuelle du facteur d'impact, dans la mesure où il ne constitue qu'une vision partielle de la production scientifique. De même, l'indicateur tend à uniformiser la recherche (même tranche d'âge, même nationalités... sont représentées). Toutefois, elle affirme qu'il existe une bonne utilisation de cet indicateur.

Olivier Gandrillon et Alain Polian membres du collectif « Sauvons la recherche » 
Fortement opposés au facteur d'impact, ils rappellent la complexité du concept de « qualité scientifique ». Cet indicateur ne permet pas de rendre compte des innovations produites par chaque chercheur.

Somnath Saha, médecin américain, éditeur adjoint du « Journal of General Internal Medicine » 
S. Saha se positionne en faveur du facteur d'impact mais admet que le risque d'erreur est très important. Dès lors, il s'oppose à son utilisation dans l'allocation des budgets. De plus, il confirme que les chercheurs qui publient dans « Journal of General Internal Medicine » sont toujours à la recherche de moyens pour augmenter leur facteur d'impact. Enfin, selon S. Saha il est peu probable qu'un autre indicateur puisse remplacer le facteur d'impact dans l'avenir.

Nous avons aussi tenté de contacter d'autres acteurs de la controverse, mais malheureusement nos tentatives ont été infructueuses :

L'agence Reuters
propriétaire du facteur d'impact, il nous semblait important de connaître leur avis sur l'utilisation du facteur d'impact et ses arguments face aux critiques.

Un membre du « Ministère de l'enseignement supérieur et de la recherche »
une des critiques faite par les chercheurs était le fait d'attribuer les fonds de recherche selon le facteur d'impact. Nous souhaitions dès lors rencontrer un membre du Ministère de la recherche pour connaitre le rôle effectif de l'indicateur dans l'allocation des budgets.

Des éditeurs de revues scientifiques
nous souhaitions savoir si le facteur d'impact avait une influence dans le choix de publier un article.

L'INSTRUMENT DES MAISONS D'ÉDITION

À l'origine simple indicateur de popularité, le facteur d'impact s'impose désormais comme une mesure de la qualité d'une revue. Pour comprendre ce détournement, on va s'attacher à retracer l'histoire de l'usage de l'impact factor.

À l'origine, l'instrument des bibliothécaires

Les bibliothécaires sont confrontés quotidiennement au choix des périodiques auxquels s'abonner. Or, dans la profusion de quotidiens, d'hebdomadaires, de mensuels, de trimestriels qui paraissent dans le monde chaque année, comment faire le tri ? Trouver les perles rares ?

Par ailleurs, les bibliothécaires sont soumis à un impératif : l'argent public doit être utilisé efficacement. Par conséquent, les revues adoptées doivent être correctement ciblées pour être lues. D'autant plus en ce qui concerne les revues scientifiques : d'une part, dans la mesure où elles sont relativement coûteuses ; d'autre part, parce qu'elles sont lues essentiellement par des chercheurs qui y puisent leurs objets de recherche ou leurs idées. Elles sont donc un objet de création et de diffusion de la connaissance scientifique.

Mais, rien ne garantit que les choix satisfassent le lectorat. Le meilleur moyen de réduire le risque est donc d'observer ce qui se fait ailleurs ; voir les périodiques qui en moyenne, sont le plus lus, commentés. L'impact factor permet d'observer ces régularités statistiques et est ainsi venu apporter une réponse au besoin d'information qu'exprimaient les bibliothécaires.

Cet extrait du journal de l'impact factor 2011 met en évidence les destinataires premiers du facteur d'impact ; les bibliothécaires. En effet, figure à côté de chaque revue le code ISSN qui permet aux bibliothécaires de commander à partir de leurs ordinateurs, les revues auxquelles ils souhaitent s'abonner.

ISSN (International Standard Serial Number) facilite la gestion informatique des publications dans les bibliothèques et les services de documentation.

Le détournement : l'usage des maisons d'édition

La structure d'une maison d'édition est analogue à celle du portefeuille de n'importe quel actionnaire : la maison d'édition publie plusieurs revues, dont elle souhaite évaluer la rentabilité, de la même façon qu'un actionnaire qui a un portefeuille d'actions diversifié compare quelle action lui rapporte les dividendes les plus élevés. L'impact factor, indice de popularité de la revue, indique à la maison d'édition, quelles sont les revues qu'elle publie, qui sont les plus lues, les plus commentées, et par conséquent, les plus efficientes financièrement. À l'instar des actionnaires, la maison d'édition décide de délaisse les « actifs financiers » (les revues) les moins rentables et de développer les plus efficientes. Mais, à l'inverse des actifs financiers, les revues ne sont pas interchangeables, neutres, vides de contenu. Par conséquent, il faut justifier auprès des abonnés, des lecteurs occasionnels et des professionnels les raisons du choix qui poussent les maisons d'édition à investir dans une revue et désinvestir d'autres. Dans le monde de la recherche scientifique, la justification financière peut être frappée d'illégitimité. C'est pourquoi, les maisons d'édition explicitent leurs choix en termes de qualité des différentes revues. Les maisons d'édition introduisent le détournement de cet indice quantitatif qu'est l'impact factor, en un indice qualitatif.

INDICATEUR OU STATISTIQUE ?

Un des points clés de la controverse réside dans le fait que beaucoup n'opèrent pas la distinction qu'il convient d'effectuer entre un indicateur et une statistique descriptive. Si ces deux objets prennent la même forme, celle d'un chiffre, leurs utilisations doivent être radicalement opposées tant leurs natures sont différentes.
Une statistique est par essence descriptive, il s'agit d'une forme de dénombrement dont la validité ne peut être contestée dans la mesure où elle ne laisse aucune place à l'interprétation humaine. Elle procure une information brute, qui peut ensuite être traitée et administrée comme une donnée, comme un fait extérieur à son lecteur. C'est le cas de la population, de l'altitude, etc.

Dans le cas d'un indicateur au contraire, des choix se dissimulent derrière le chiffre. On ne peut lire un indicateur de manière satisfaisante qu'à la lumière de ces postulats. Les indicaturs sont indissociables de l'interprétation de celui qui les lit. C'est le cas des indicateurs de chômage par exemple, que l'on a choisi de calculer en fonction de la population active, plutôt qu'au regard de la population globale. C'est en cela que les indicateurs sont sujets à débat : qui dit interprétation dit subjectivité et donc incompréhensions potentielles.

Le facteur d'impact fait sans conteste partie de la seconde catégorie, celle des indicateurs. Comme nous l'avons vu précédemment, les maisons d'édition ont eu tout intérêt à opérer l'amalgame entre la citation et la qualité pour des questions de profit et de prestige. C'est précisément dans ce glissement que réside le passage d'une statistique à un indicateur : d'un simple dénombrement permettant d'obtenir la fréquence de citation, on obtient un indicateur de qualité d'une revue. Le présupposé est ici bien visible : on assimile la citation à la qualité. A partir de là, toute utilisation du facteur d'impact qui ne tient pas compte de ce choix – qui peut par ailleurs se justifier – est sujette à reproches. C'est bien, selon Ghislaine Filliatreau, le problème des agences gouvernementales chargées de l'attribution des fonds de recherches : dans un souci d'objectivation de leurs décisions, elles omettent ce postulat et administrent les facteurs d'impact comme des données statistiques, ce qu'ils ne sont absolument plus. Une importante ligne de faille apparaît donc entre les différents acteurs du fait de cet oubli – volontaire ou pas – motivé par l'efficacité et la nécessité de la décision.

Une autre séparation peut s'expliquer par cette distinction : celle de l'écart qui existe entre sciences dures et sciences sociales dans l'utilisation des indicateurs bibliométriques et notamment du facteur d'impact. Les indicateurs sont intrinsèquement liés à la démarche expérimentale. Il s'agit toujours d'approximer un fait, dont la mesure directe est impossible, par un proxy, un indicateur. On ne peut pas mesurer directement la qualité d'un article, on l'approxime donc par la citation. Il s'agit d'une démarche très souvent utilisée en sciences physiques ou en biologie, avec par exemple l'utilisation d'indicateurs colorimétriques pour mesurer le pH. C'est sans doute un facteur explicatif très important pour ce qui concerne la familiarité des indicateurs avec les domaines tels que la biologie et la médecine ainsi que l'aversion des sociologues ou des philosophes à l'endroit de ces mêmes indicateurs. Le rapport au chiffre de la discipline conditionne en grande partie le rapport à l'indicateur. +

UN CONSTAT PARTAGE : L'HISTOIRE D'UN DETOURNEMENT
CERCLE VERTUEUX OU CERCLE VICIEUX ?

L'impact factor est un indicateur bibliométrique. Il se propose de répondre en outil quantitatif à un besoin d'information. La production scientifique étant toujours plus conséquente et le nombre de revues scientifiques toujours plus grand la communauté scientifique ressent en effet le besoin de classer toute cette information et de pouvoir faire facilement le tri. L'impact factor se veut donc un outil permettant aux meilleures publications d'émerger et donc permettant à la production scientifique de s'inscrire dans un cercle vertueux où le classement entre les différentes revues scientifiques ne seraient dû qu'à des critères objectifs, venant remplacer des critères subjectifs tels que l'inertie historique : les chercheurs ne lisant que certaine revue par habitude et non en raison de la qualité de ces dernières. L'impact factor serait un outil de remise en cause d'un processus de publication et de lecture vu comme potentiellement fallacieux.

Cependant, l'impact factor n'est pas à l'abri de tout abus ou de toute instrumentalisation. En effet, lorsque l'on analyse sur google inside research les mots les plus souvent associés sur google au terme « impact factor » son « pimp my » (i.e « améliorer mon »). Ceci est bien exemplaire du fait que cet outil fait l'objet d'instrumentalisation ou du moins d'une utilisation qui voudrait, au-delà de la qualité des articles publiés, dans la revue améliorer le niveau de l'impact factor de cette revue.

Dans quelle mesure l'impact factor influence-t-il le déroulement et la structure du processus de publication scientifique ?

Nous verrons que si Reuters présente l'impact factor comme un outil d'observation des grandes tendances de la publication scientifique, les acteurs critiques vis-à-vis de l'impact factor en font le moteur d'un chemin de dépendance et de circonvolution vicieuse de la publication scientifique.

Les principaux tenants de la première thèse faisant de l'impact factor un outil de la circonvolution vertueuse de la publication scientifique sont ceux qui tirent profits de son utilisation. Les relayeurs de cette thèse sont donc avant tout Eugène Garfield, l'inventeur de l'impact factor et le fondateur de Institute for Scientific Information (ISI), et Reuters, l'entreprise ayant racheté l'ISI et calculant l'impact factor de la plupart des revues scientifiques.
Pour eux, l'impact factor est un outil qui permet de faire une sélection « rapide et efficace » parmi l'important nombre de citation scientifique. Il présente la mesure de la citation comme « processus de sélection est neutre », qui permettrait de faire un classement sans a priori de la recherche scientifique en laissant aux scientifiques de faire eux-mêmes leur choix. Pour eux, l'impact factor n'est seulement que la retranscription des tendances des chercheurs et na donc pas de conséquence sur les comportements des chercheurs. L'utilisation de l'impact factor est ici présentée comme une simple objectivation sans moindre influence dans le processus de publication scientifique. Ils s'opposent ainsi à la théorie de l'acteur réseau, qui conçoit les objets d'une controverse comme des acteurs à part entière de celle-ci.
Par ailleurs, Reuters présente l'impact factor comme un outil de la recherche.

+

L'impact factor est en dehors de la recherche.

Les institutions d'évaluation de la recherche comme O.S.T ou l'AERES ont une position intermédiaire qui bien qu'ayant conscience des effets de l'impact factor, lui accorde un rôle moindre dans le processus de publication scientifique.

+

À l'inverse, les chercheurs critiquent vis-à-vis de l'impact factor ont une perception plus grande du rôle de l'impact factor dans le processus de publication qui est vu comme une suite de cercle concentrique et entremêlés.

+

1 . Un chercheur soumet un article à une revue scientifique.

2 . La revue peut choisir de publier l'article proposé par le chercheur. Ce choix se fait maintenant notamment en pensant à son facteur d'impact (8).

3 . Des chercheurs citent dans leurs articles l'article publié par la revue. Cette citation permet à l'auteur de publier d'autres articles en citant lui-même les auteurs qui l'ont cité.

4 . Reuters analyse les citations des articles publiés dans les revues.

5 . Il produit un indicateur : l'impact factor.

6 . Les chercheurs lisent le journal de l'impact factor et repères les revues qui sont le mieux classée via cet indicateur. Ils choisissent donc les revues dans lesquelles ils souhaiteraient être publiés.

7 . Les chercheurs sont incités par les revues à citer dans leurs articles des articles ayant été publiés dans leurs revues, pour augmenter leur propre impact factor.

8 . Les revues adoptent des politiques et des lignes éditoriales pour améliorer leur visibilité et leur impact factor.

9 . Les chercheurs choisissent les revues scientifiques qu'ils vont lire en fonction de l'impact factor de celles-ci, ce qui augmente la probabilité qu'ils citent dans leurs propres articles des articles de revues à haut impact factor.

Les revues avec un meilleur factor d'impact sont structurellement avantagées selon la grille de lecture des adverses de l'utilisation de l'impact factor.

LE CHIFFRE ET LA DÉCISION

La statistique et les mathématiques sont souvent présentées comme un outil neutre. En effet, les sciences, interprétations du réel, sont par essence sujettes à une contingence culturelle. Les mathématiques se veulent et se présentent comme une suite de raisonnements logiques et nécessaires et donc essentiellement neutres politiquement ou culturellement. C'est bien pourquoi ces outils se sont vites imposés comme éléments d'une prétendue objectivisation des mécanismes régissant le monde. Mais l'émergence même de la statistique et des mathématiques comme instrument est éminemment contingente et n'est donc pas neutre. De plus, ces outils et en particulier les indicateurs bibliométriques comme l'impact factor ont une valeur performatrice, ils influent sur et modifie cela même qu'il prétende observer.

En quoi les indicateurs bibliométriques en tant qu'outils numériques ont-ils pu s'imposer dans le processus décisionnel de la recherche ? Et pourquoi sont-ils critiqués ?

La caractéristique numéraire et numérique de l'impact factor répondant d'abord à un besoin de classement de publications toujours plus nombreuses a permis à l'impact factor, et les indicateurs bibliométriques en général, de s'imposer dans le processus décisionnel de l'évaluation de la recherche scientifique.

Durant les soixante-dix dernières années, la démocratisation de l'enseignement supérieur, les évolutions techniques et la mise en commun des connaissances à l'échelle planétaire ont été parmi d'autres des facteurs favorisant une explosion des publications scientifiques. Face à cette publication en explosion s'est donc développé le besoin d'outils permettant de faire un tri parmi cette littérature scientifique devenant techniquement illisible. C'est alors que les indicateurs bibliométriques, tel que l'impact factor, se sont imposés comme outils, perçus comme neutres, parce que statistique et mathématique, de classement de la littérature scientifique. Il s'est d'ailleurs d'abord imposé chez les bibliothécaires des universités scientifiques américaines qui ne savaient à quelles revues s'abonner en priorité. La force des ces outils réside essentiellement dans le fait qu'ils sont numériques. En effet, cela permet d'établir un classement précis des différentes revues. De plus, ils donnent à voir clairement et sans possibilité de critique les méthodes de calcul qui lui sont inhérentes. Ils sont donc placés hors de toute critique.

C'est la même logique qui a abouti à l'imposition de ces indicateurs et de l'impact factor en particulier, dans l'évaluation de la recherche et en particulier dans le processus d'allocation des subsides étatiques. L'État s'est vite imposé comme un acteur important du mécénat de la recherche scientifique. Il s'est donc construit un modèle de financement de la recherche scientifique qui accordait une part importante à l'investissement étatique. Sur ce modèle, s'est développée une communauté de chercheurs scientifiques toujours plus importante. Parallèlement, l'État soumis à des logiques de restrictions budgétaires à restreint son soutien à la recherche et laisser une place toujours plus importants aux acteurs non-étatiques et financiers dans le financement de la recherche scientifique. Cette évolution a entrainé une advenue des logiques des investisseurs privées dans la sélection des recherches à financer. Ces acteurs extra-scientifiques voyaient dans les indicateurs bibliométriques un outil permettant de ramener une réalité scientifique (et donc étrangère pour eux) à une réalité en affinité avec leur monde mue par une réalité dominé par les chiffres.

Après ce récit linéaire de l'imposition des indicateurs bibliométriques dans l'évaluation de la recherche scientifique, il ne faudrait pas croire que ceux-ci font consensus, bien au contraire. Mais là encore, il y a deux types de critiques. D'un part, celles qui remettent en cause le calcul même de l'impact factor ou l'opacité de celui-ci. D'autre part, certaines critiques vont jusqu'à remettre en cause l'utilisation même d'outils mathématiques pour juger de la qualité de la recherche scientifique. Ils refusent la réduction d'une réalité complexe et par essence multidimensionnelle et multifactorielle à une entité numérique telle que la valeur de l'impact factor. Ils critiquent d'ailleurs l'utilisation de la citation, réalité complexe qui peut avoir plusieurs raisons, comme d'une réalité binaire et numérique. Cela ne signifie pas la même chose de citer un article pour le prendre en exemple ou pour le critiquer.

La puissance des indicateurs et des nombres est aussi leur plus grande faiblesse. Ils permettent certes de réduire à une réalité très facilement analysable, une réalité éminemment complexe et difficilement lisible. Mais cette réduction se fait au détriment de la réalité même. En voulant réduire les faits scientifiques, ils ne les sauvent pas.
L'imposition de ces indicateurs s'explique par une tension importante sur le besoin d'information créé par l'explosion de la littérature scientifique et par une imposition d'acteurs non-scientifiques dans le processus de financement et d'évaluation de la science.

LES CRITIQUES MÉTHODOLOGIQUES

Lors de notre enquête, la plupart des scientifiques se positionnant contre l'usage du facteur d'impact, en particulier au sein du collectif Sauvons la recherche, nous ont décrit les limites méthodologiques du facteur d'impact auxquelles ils sont confrontés. Au-delà d'une critique sur l'utilisation d'indicateurs bibliométriques en général, ces défauts concernent le calcul du facteur d'impact en lui-même.

Un des premier biais du facteur d'impact est la période courte prise en compte pour le dénombrement des citations. Ainsi, le facteur d'impact comptabilise les citations d'un article pendant deux ans. Or, un article novateur peut être reconnu bien après cette période de deux ans. C'est notamment l'exemple des travaux d'Einstein sur la relativité, donné par G. Bodenhausen (lien vers l'interview en Annexe) lors de son interview. En effet, si le travail d'Einstein est reconnu comme fondateur aujourd'hui, son facteur d'impact aurait été très faible, les articles produits n'ayant été reconnus que longtemps après leur parution. L'impact factor ne permettrait donc pas de repérer le nouvel Einstein.

Selon certains chercheurs, un autre défaut majeur du facteur d'impact est qu'il favorise les sujets « à la mode ». Ainsi, un très bon article traitant d'un sujet qui intéresse peu de chercheurs sera peu cité et donc aura un faible facteur d'impact, malgré sa qualité intrinsèque.

La barrière de la langue est également à prendre en compte. En effet, les chercheurs ne rédigeant pas leurs articles en Anglais sont largement désavantagés par le système du facteur d'impact. Leurs articles, rarement lus par la communauté anglo-saxonne des chercheurs, sont rarement cités, et obtiennent des facteurs d'impact faibles, indépendamment de leur qualité.

Un autre biais très important du facteur d'impact est que les articles cités par les chercheurs ne le sont pas forcément pour de bonnes raisons. Ainsi, un article très mauvais, voire faux, peut être cité par de nombreux scientifiques qui s'en servent comme contre-exemple dans leur démonstration. Ces mauvais articles auront donc un facteur d'impact très élevé, voire plus élevé que celui d'articles justes.

Enfin, d'autres caractéristiques méthodologiques du facteur d'impact peuvent biaiser la représentation de la qualité d'un article, ou encore des qualités d'un chercheur. Ainsi, des problèmes liés à l'homonymie (dans les noms des chercheurs) ou encore liés aux noms composés de ceux-ci sont souvent signalés.

Les confusions liées au calcul du facteur d'impact sont donc nombreuses et ces critiques méthodologiques sont soulevées par des acteurs très divers au sein de la controverse.

Aux vues de l'importance de cet indicateur dans l'évaluation de la recherche, tous ou presque s'accordent sur l'importance d'une refonte méthodologique du facteur d'impact pour le rendre plus juste.

L'INERTIE HISTORIQUE

Au regard des différentes critiques méthodologiques décrites précédemment quant à l'impact factor, une première réponse peut être avancée quant à l'utilisation toujours massive de l'impact factor dans l'évaluation des chercheurs et de la recherche, celle de l'inertie historique.

La théorie de la dépendance des sentiers

Cette inertie historique est définie comme le processus de développement d'une technologie qui est sensible au micro-évènements qui se produisent dans les stades initiaux de son développement, c'est-à-dire que le passé a prédéterminé. Elle est expliquée par Paul A. David dans « Clio and the economics of QWERTY ». Ainsi, certains évènements en apparence anecdotiques au cours de l'émergence d'un objet technique permettraient d'expliquer pourquoi cet objet a pris une telle importance par rapport à d'autres objets techniques qui pourraient paraître plus optimaux. Cette théorie a été mise en place pour expliquer des « échecs de marché », le marché retient des objets qui ne sont pas les plus optimaux, du fait de l'influence d'évènements passés.

L'impact factor et le clavier QWERTY, deux objets techniques, une même trajectoire historique ?

Dans le cas du clavier QWERTY, il s'est imposé, pour deux facteurs historiques. Initialement créé pour les machines à écrire afin d'avoir des touches bien réparties. Ensuite, Franck McGurin a gagné un concours de dactylographie avec ce clavier et l'idée s'est imposée qu'il s'agit du clavier permettant d'écrire le plus vite possible. De ce fait, la standardisation a fait que c'est ce clavier qui s'est imposé par rapport à tous les autres.

La question est donc la suivante, l'impact factor a-t-il également été l'objet de facteurs historiques expliquant son importance en tant qu'indicateur bibliométrique ?

Le « lock-in » de l'impact factor

Les revues précédentes ont pointé l'émergence du besoin d'indicateurs fondés sur des méthodes mathématiques et statistiques, car sources d'objectivité, tout en pointant les défauts de l'impact factor. L'impact factor étant couramment employé dans le monde de la recherche, une inertie historique peut donc également expliquer son utilisation.

Le fait est qu'à sa création, Eugène Garfield figurait parmi les pionniers s'intéressant à ce genre d'indicateurs, bien avant l'effervescence des besoins du monde de la recherche pour l'évaluation.

Publiant une revue annuelle, l'ISI a ainsi permis d'imposer l'impact factor parmi les bibliothécaires tout d'abord, puis parmi les éditeurs et les chercheurs, étant donné sa disponibilité. Le rachat par Thompson Reuters a également apporté un soutien financier, autant qu'une visibilité importante.

Des évènements passés irréversibles ?

La comparaison de l'impact factor et l'inscription de l'impact factor dans la théorie de la dépendance des sentiers pourraient apporter une conclusion à la controverse d'un point de vue méthodologique, car Paul A. David parle « d'évènements passés irréversibles » par rapport à l'inertie historique. Ainsi, l'utilisation de l'impact factor ne pourrait pas être discutée puisqu'il n'y aurait aucun moyen d'arrêter d'utiliser l'impact factor.

Cependant, il existe une différence de taille par rapport au clavier QWERTY. L'impact factor est un outil mathématique, une formule, on peut donc la changer, et cela ne fera que modifier les prochains rapports annuels. La revue précédente a présenté un certain nombre de critiques méthodologiques sur le calcul même de l'impact factor, qui pourraient être prise en compte en corrigeant la formule de l'impact factor.

Ainsi, la comparaison de l'impact factor avec l'hypothèse de l'inertie historique permet de comprendre pourquoi l'impact factor s'est imposé par rapport à d'autres indicateurs bibliométriques, dont certains ont déjà été présentés. Elle n'apporte cependant pas une solution à notre contreverse, et tel n'est pas notre but fondamental ici, mais un éclairage sur la compréhension de cette controverse d'un point de vue méthodologique.

Notre adaptation de la théorie ne rejette pas les propositions de modification du calcul de cet indicateur, nous permettant de parler d'un camp de la réforme pour cette partie de la controverse.

SCIENCE ET SOCIÉTÉ

L'acceptation ou non du principe du facteur d'impact est révélateur de l'existence de conceptions différentes du monde de la recherche, et en particulier du lien que celui-ci doit ou non entretenir avec l'ensemble de la société.

Nous avons précédemment étudié les positions des partisans d'une réforme de l'impact factor. Cette première catégorie d'acteurs accepte le postulat lié à la pratique du facteur d'impact, qui est que le nombre de citations est représentatif de la qualité d'un article. C'est une amélioration de l'impact factor en lui-même et de son calcul qu'il faut alors effectuer, son principe général n'étant pas remis en question.

Cette première vision peut être associée à une tradition philosophique particulière, une vision de la science et de son lien avec la société. La science serait un moyen de servir la société, notamment en s'adaptant aux sujets qui intéressent un maximum d'acteurs. Se baser sur l'impact factor, et en particulier sur le nombre de citations, serait ainsi un bon moyen de connaitre les principaux centres d'intérêts des lecteurs et de les mettre en valeurs. En effet, le nombre de citations d'un article parait significatif de son succès. Un article qui a un faible impact factor, et donc qui intéresse peu de monde, est moins utile à la société même s'il est juste scientifiquement.

Cependant, une autre tendance s'oppose à cette première philosophie. Pour certains, la science doit en effet être uniquement une recherche de la vérité, qui ne doit pas se laisser influencer par la société. Ces deux positions opposées sont représentées sur le schéma, la flèche droite représentant l'influence de la société sur la sphère scientifique, tandis que la seconde flèche représente un repli du monde scientifique sur lui-même.

Cette deuxième tendance peut être mise en parallèle avec un deuxième groupe d'acteurs de notre controverse : les partisans d'une révolution dans l'évaluation de la recherche. Selon ces acteurs, représentés en particulier par les collectifs de chercheurs, du type Sauvons la recherche, l'évaluation de la recherche doit être faite par les pairs. Ainsi, le monde scientifique est évalué uniquement par lui-même et non par la société dans son ensemble, et le succès auprès d'acteurs extérieurs de certains sujets n'est pas pris en compte.

C'est cette deuxième catégorie d'acteurs, partisans d'une suppression définitive du facteur d'impact, ainsi que leurs positions que nous présentons dans ce second temps de l'étude de notre controverse.

Source: « Science's Blood flow » in Pandora's Hope, Bruno Latour

+

LE RÔLE DE L'ARGENT

L'argent est la condition même de la recherche scientifique : sans moyen financier, il est tout bonnement impossible pour un scientifique de mener à bien sa mission. Par ailleurs, les maisons d'éditions et les propriétaires d'indicateurs bibliométriques cherchent avant tout le profit. L'argent est donc un enjeu majeur de la controverse autour du facteur d'impact : qu'on débatte de son utilisation ou de son influence, il explique une grande part des tensions qui se font jour quand on vient à parler du facteur d'impact.

Pour le dire en des termes marxistes, le problème est celui de la répartition de la valeur ajoutée produite par les scientifiques. Une critique redondante dans les interviews que nous avons pu réaliser s'en prend aux profits colossaux réalisés par les maisons d'éditions et en particulier Thomson Reuters. Il s'agirait d'une forme d'exploitation par les maisons d'édition des fruits du travail scientifique, matérialisés par le succès des parutions. Dans l'esprit de certains, comme par exemple le collectif Sauvons la Recherche , la séparation s'exprime bien en ces termes : les scientifiques, pour qui la publication est vitale et consubstantielle à leur profession, sont spoliés par les éditeurs qui réalisent des profits frôlant l'indécence.

Le facteur d'impact, quant à lui, se maintiendrait puisqu'il profite à ceux qui, seuls, auraient le pouvoir d'abolir son hégémonie : les maisons d'éditions, les compagnies comme Thomson Reuters et les revues à fort facteur d'impact. En effet, l'indicateur, dès lors qu'il reflète la qualité par delà la citation, devient un signal d'achat : une revue à fort facteur d'impact se vend beaucoup. On n'achète plus une revue parce qu'elle est de bonne qualité – acte qui devrait faire grimper son facteur d'impact - mais parce que son facteur d'impact est haut. C'est donc un mécanisme auto-entretenu que les « bien lotis » n'ont aucune raison de briser puisqu'il permet la démultiplication des profits par la naturalisation de la hiérarchie établie par le facteur d'impact. Parmi eux, on trouve même certains scientifiques qui, se trouvant avantagés par le système, ont vu tout le profit qu'ils pouvaient en tirer.

Sans aller jusqu'à faire une interprétation marxiste de la controverse, il semble idéaliste de penser que la répartition des bénéfices ne joue aucun rôle dans les tensions observées entre le monde la recherche et les maisons d'édition. Si la marchandisation de la recherche pose un problème d'ordre philosophique, l'attribution des fonds et l'accaparement de ceux-ci par les éditeurs fait, à un niveau bassement matérialiste, couler beaucoup d'encre. L'argent est donc un acteur à part entière, dans la mesure où il influence les décisions des protagonistes de la controverse.

UNE QUESTION DE VALEURS

Au-delà de l'application d'un schéma marxiste à notre controverse, il s'agit ici de souligner une controverse sur un certain nombre de valeurs. La pratique de l'impact factor implique des positionnements et des critiques d'ordre plus philosophique sur la place, le rôle et l'indépendance du scientifique par rapport à la société.

Un rôle moteur dans la recherche scientifique

L'impact factor joue un rôle d'interface, de messager de la recherche scientifique, puisqu'il permet simplement pour les agents qui en sont extérieurs de connaître les chercheurs qui ont une notoriété importante dans la recherche (étant plus souvent cités), mais aussi les domaines et les sujets scientifiques.

Influer sur le scientifique

L'impact factor n'est pas un indicateur d'évaluation de la production scientifique purement utilisé entre les chercheurs, mais aussi par des éditeurs, des ministères, des fonds privés, en somme des profanes puisqu'ils n'appartiennent pas au monde des scientifiques.

Ils en sont extérieurs car ils ne sont pas dans la pratique du monde scientifique, mais cet indicateur permet d'en avoir un aperçu, en identifiant des chercheurs et des publications à fort impact factor.

Profanes et scientifiques se retrouvent donc liés, et étant donné que c'est à partir de cet indicateur que le profane décide de la notoriété des chercheurs, cela permet d'exercer une influence sur le monde de la recherche.

L'impact factor est donc un instrument qui questionne la position de la science par rapport à la société, car si l'indicateur permet d'influencer la science de l'extérieur, on penche donc vers le modèle d'une science qui répond aux besoins de la société.

Pour les adversaires à ce modèle-type au contraire, l'impact factor est néfaste car il éloigne la science de sa quête de la vérité, qui ne peut supporter de pressions sociales. La science n'à pas à s'orienter dans des directions sources de retombées économiques pour la société. Elle doit prendre le chemin d'une recherche fondamentale économiquement et socialement désintéressée, mais orientée vers la vérité.

Si la nécessité de se passer d'agents financeurs apparaît difficile, certains chercheurs revendiquent cependant leur but "noble", face à des chercheurs presque corrompus, puisque détournés de leur recherche de vérité, par leur recherche de ressources économiques.

L'instrument de l'impact factor, par son influence sur la recherche scientifique, fait donc l'objet d'une controverse se rapportant à ce que doit être le but et l'indépendance de la science par rapport aux profanes qui pourtant la financent, membres de la société.

La mesure du scientifique, une domination ?

Mais au-delà des aspects purement économiques qui permettent d'influer sur la recherche de l'extérieur, la mesure de la recherche par l'impact factor devient un élément de domination sur lui. En effet, mesurer, évaluer la recherche scientifique c'est la diriger, l'orienter et donc la dominer.

La controverse autour de l'impact factor a donc une dimension clairement philosophique, portée sur les conséquences de l'utilisation de l'impact factor.

L'évaluation scientifique n'est pas nouvelle, les chercheurs les plus opposés à l'impact factor pensent eux-mêmes que la recherche scientifique doit être soumise à l'évaluation, pour l'allocation des fonds de recherche, mais aussi éventuellement pour permettre de conseiller les chercheurs qui s'orientent dans des directions fallacieuses, les interviews de Geoffrey Bodenhausen et Olivier Gandrillon le soulignant. Alors en quoi l'impact factor est-il particulièrement concerné ?

Le fait est que la construction de cet indicateur permet une intervention exogène dans le milieu scientifique. L'évaluation des centres de recherche a longtemps passé par les pairs, dans une volonté d'approche qualitative, où les équipes d'évaluation prenaient le temps de comprendre la démarche du chercheur, de lire ses publications, d'avoir des entretiens avec lui.

Même si ces formes d'évaluation qualitative ne sont pas complètement abandonnées, le fait est que les indicateurs bibliométriques dont l'impact factor fait partie permettent deux choses. D'une part ils rendent l'évaluation beaucoup plus rapide.
D'autre part, ils permettent à des profanes de devenir eux-mêmes évaluateurs.

En somme, l'impact factor rend possible une évaluation de l'extérieur du milieu scientifique, signifiant pour les détracteurs de l'impact factor une perte d'indépendance et une domination par des profanes.

UN EXEMPLE DE SOUS-CONTROVERSE

Lors de notre étude de la controverse autour de l'utilisation de l'impact factor, nous avons été amené à constater qu'il existait plusieurs sous-controverse. C'est-à-dire qu'au sein même de la controverse, il existe des points particuliers d'affrontement et de débats entre les différents acteurs de la controverse. Nous avons donc décidé de vous présenter ici un exemple de sous-controverse. La présentation de cet exemple, nous permet de saisir les mécanismes de diffusion, de développement et d'évolution d'une controverse.

Cette controverse concerne des possibles discussion pré-référencement entre les revues et Reuters pour déterminer les articles qui pouvaient être utilisés pour le référencement de l'impact factor.

Cette sous-controverse débuta en 2007 avec la publication dans The journal of cell biology (lien vers l'article du Journal of cell biology) d'un article critiquant l'opacité du calcule de l'impact factor et une possible négociation entre les Reuters et les revues avant le référencement de l'impact factor.

Cet article fut repris sur un blog suédois assez proche du mouvement défendant la lise à disposition gratuite et en ligne des travaux de recherche. Celui-ci exprima les différentes que l'on pouvait faire de ces négociations.

Ensuite cet article parvint via les commentaires jusqu'au blog d'Antoine Blanchard. ( lien vers http://www.enroweb.com/blogsciences/index.php?2007/12/21/245-facteur-d-impact-des-donnees-en-question#c10803 )

Antoine Blanchard se fit le porte-parole et le relayeur des actualités correspondant à cette controverse. Son blog devint alors l'un des lieux les plus actifs en France pour la controverse autour de l'impact factor.

Il relaya également la réponse de Reuters aux différentes accusation qui lui étaient faites :

Les réponses de Thomson d'ailleurs, bien que typique d'une sous-estimations du rôle des l'impact factor dans le comportements scientifiques, réussi à convaincre plusieurs de ces détracteurs du départ. (lien vers http://www.enroweb.com/blogsciences/index.php?2008/01/11/251-facteur-d-impact-et-thomson-scientific-suite-de-l-affaire) .

CARTOGRAPHIE DU WEB

Nous avons été amené à réaliser une analyse-réseau des sites relayant la controverse autour de l'utilisation de l'impact factor.

En quoi une analyse des liens qui peuvent liés les différentes relatant la controverse autour de l'utilisation de l'impact factor peut nous apporter une intelligence plus grande de celle-ci ?

Après avoir fait des remarques générales sur la démarche, je détaillerai les différentes conclusions apportées par notre analyse réseau.

Premièrement, le principal problème que nous avons rencontré est, comme dit ci-dessus, la relative rareté des pages web relatant de la controverse autour de l'impact factor. Cela indique que le web n'est pas vraisemblablement pas l'arène où la polémique est la plus vive et présente. En effet, la plupart des pages web sont en réalité des documents .pdf (35% des 10 premières pages de google sont un document .pdf où donne sur un site présentant un article scientifique .pdf), donc non analysés par notre outil le navicrawler, d'articles scientifiques. Il est donc plausible que la controverse se noue plus particulièrement via les publications scientifiques plus que par internet.

Ceci corrobore notre deuxième observation : la controverse semble assez peu ouverte et quasi-exclusivement le fait d'acteurs scientifiques. Cette assertion est confirmée par la faible présence de la controverse sur internet et la sureprésentation des articles scientifiques dans celle-ci. La plupart des sites ne font qu'expliquer le mode de calcul de l'impact factor. Il existe même des sites réservés aux chercheurs sur lesquels on peut apprendre les techniques pour « pimper » son impact factor. De plus, la quasitotalité des blogs relayant la controverse sont tenus par des chercheurs. Enfin, les seuls journalistiques à relayer la controverses sont ceux de journaux (Chronicle) ou revues (Nature) scientifiques. La controverse est donc avant tout située dans le monde de la recherche.

Enfin, troisièmement, la controverse autour de l'impact factor est mêlée à une controverse plus large qui est celle entourant l'usage des indicateurs bibliométriques dans la scientométrie, c'est-à-dire dans l'analyse et l'évaluation de la recherche. En effet, pour trouver les sites concernant spécifiquement la controverse entourant l'utilisation de l'impact fcator, il a fallu que je passe par le terme «  indicateurs bibliométriques ». Néanmoins, certains sites (enroweb.com) se font le relais d'une controverse spécifique de l'impact factor, sur les possibles négociations, préalables au référencement des articles, entre les revues et Reuters (éditeurs du classement via l'impact factor), pour décider des articles « citables ». Il existe donc une controverse propre à l'impact factor bien qu'un des points chauds de la controverse soit commun avec celui d'une controverse plus générale, qui est celle entourant l'usage des indicateurs bibliométriques dans la « scientométrie ».

+

Avec les sites que j'ai pu néanmoins recueillir, j'ai pu réaliser une première cartographie :

+

La grosseur des nœuds, comme la taille de la police correspond au degré (entrants + sortant) du site. On peut d'ores et déjà remarquer une distinction nette entre deux amas, l'un à droite et haut l'autre en bas à gauche. (Nous verrons plus à quoi correspond ces nœuds).

Langue des sites

La première typologie que nous avons faite est celle de la langue du site. En effet, l'une des critiques faites à l'impact factor est quelle favoriserait les publications en langue anglaise.

+ Représentation des différentes langues

On voit clairement la distinction nette qui existe entre les sites anglophones (très majoritairement américain) et les autres sites. Bien entendu, les sites français sont ici sur représentés (en raison des limites linguistiques de l'utilisateur du navicrawler).

+ Type des sites

On voit bien que les sites institutionnels (entreprise et université) sont majoritaires et assez proches les uns des autres. Ce qui montre bien qu'il existe une sorte de cercle institutionnel : les institutions se font référence entre elles.

À cela s'oppose un autre groupe, celui des blogs. En effet, on voit que les blogs en rouge sont souvent par petits groupes. Il s'agit en effet d'internautes (la plupart du temps des chercheurs) qui parlent de l'impact factor et se renvoient à leurs sites respectifs et commentent les billets des autres bloggers. On voit notamment que le blog Enroweb tenu par Antoine Blanchard (Agronome, Bibliomètre et sociologue des sciences) a joué un rôle important dans le relais en France d'une controverse apparu entre chercheurs anglo-saxons sur une possible négociation pré-parution et référencement entre les revues et Reuters. Ces blogs pointent vers les sites institutionnels mais ce n'est pas réciproque.

Enfin, on voit que les « webzines » ou les sites de revues et autres journaux en ligne font office d'intermédiaires entre les deux groupes précédemment présentés. Ils se réfèrent aux sites institutionnels mais n'hésitent pas à relayer aussi les articles provenant de la nébuleuse « blogosphère ».

Contenu du site

Distinction entre les sites qui ne font que parler d'une controverse sans y prendre part et ceux qui y prennent activement part.

+

ou

+

On voit que les liens entre les sites qui ne font que relater une certaine controverse (le site Thomsonreuters ne fait du tout état d'une controverse sur l'utilisation de l'impact factor) autour de l'impact factor sans vouloir y prendre part sont assez liens entre eux.

Idem de manière opposée pour les sites relayant la controverse et prenant part à celle-ci.

On voit que chacun des deux camps concentre ses liens sur un petit nombre de sites qui se font le relais et l'écho de la controverse ou d'une définition de l'impact factor.

Enfin, il est intéressant de voir que Nature (la revue ayant l'impact factor le plus élevé) se place du côté des tenants de la définition du facteur d'impact sans faire état d'une controverse. A l'inverse, Plos, revue en ligne gratuit et explicitement contre tout forme de classement de revue prend elle aussi une part important dans le débat autour de l'impact factor.

Conclusion

On constate clairement qu'à l'exception notable de la revue Nature, les sites ne prenant pas part à la controverse sont les sites institutionnels. À l'inverse, ce sont les blogs qui relaient la controverse et la polémique autour de l'impact factor. Pour ce qui est des revues, on voit clairement la distinction entre Nature qui ne fait que présenter l'impact factor et son calcul et Plos, qui est un journal prônant la publicité des articles scientifiques et se posant clairement en opposant du système de revue classée par l'impact factor.

VUE D'ENSEMBLE À PARTIR DU TEXT MINING ANALYSE DE CONTENUS DE TEXTES À PARTIR DE LA STATISTIQUE

Hypothèses testées dans cet atelier

Nous tenterons de tester deux hypothèses à partir des techniques de text mining. La première est que ces deux camps d'argumentation antagonistes se distinguent clairement dans la controverse, à partir de registres d'argumentation différents. Le premier, plutôt pour l'impact factor, argue du fait qu'il s'agit d'une mesure mathématique, donc objective, et que sa simplicité de calcul permet par les statistiques une évaluation qualitative des chercheurs, voire de la recherche. Le second, plutôt contre, dénonce le raisonnement simpliste consistant à associer quantité à qualité. Un indicateur de publication ne peut mesurer l'ensemble du travail d'un chercheur.

La deuxième hypothèse est que le groupe des chercheurs regroupe des positionnements complexes et non homogènes dans la controverse. Certains ont une attitude positive vis à vis de l'impact factor.Certains en profitent pour leur propre carrière. D'autres ont des attitudes complètement opposées. Enfin, certains rappellent que l'indicateur en soi n'est pas néfaste, c'est sa pratique qui l'est.

Méthode

Nous allons utiliser le logiciel ANTA développé par le médialab ( HYPERLINK "http://jiminy.medialab.sciences-po.fr/anta_dev"http://jiminy.medialab.sciences-po.fr/anta_dev) et Gephi pour le traitement sous forme graphique.

La première étape consiste au recueil des textes concernant la controverse. L'interview de Ghislaine Filliatreau, directrice de l'Observatoire des Sciences et Techniques, représente le groupe des évaluateurs. Le rapport de l'Institut de France (Académie des Sciences) Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs du 17 janvier 2011 représente l'avis des scientifiques "sages", presque "insitutionnalisés". Du côté de Reuters, qui possède et édite aujourd'hui l'impact factor des chercheurs, les articles du créateur Eugène Garfield donnent la tonalité des défenseurs de l'impact factor. D'autres articles publiés par des chercheurs (tribunes) appuient ce camp. Ensuite, l'interview et les textes de Godeffroy Bodenhausen montrent l'opposition scientifique, avec Richard Ernst, Hirsch, Olivier Gandrillon (Sauvons la Recherche) et d'autres. Enfin, certains articles purement scientifiques publiés par des scientifiques s'intéressent à la validité de cette mesure.

La deuxième étape, celle des occurences relevées par Anta nous en a fait retenir 341 sur 9148 au total. Une première élimination a été faite en supprimant celles qui n'étaient contenues dans suffisamment de documents (2). La deuxième élimination s'est faite manuellement, en considérant les entités restantes et en éliminant celles ne présentant pas d'intérêt dans la controverse (géographie, disciplines, nom des revues...), mais aussi en "sauvant" quelques occurences dans celles exclues, qui au contraire apparaissaient intéressantes. Les termes français et anglais correspondant ont été liés.

La troisième étape s'est faite sous Gephi, à partir du graphe. Nous avons lancé l'algorithme de traitement et utilisé l'algorithme de "modularité" afin d'avoir les différentes communauté identifiées par le logiciel. Il en a trouvé cinq. C'est à partir de ce travail que nous présentons nos résultats.

Résultats

Première hypothèse

De manière remarquable, le graphe montre une séparation entre le texte de Ghislaine Filliatreau et les autres, ce qui montre des occurences de termes différents pour l'argumentation de l'OST sur l'impact factor (il s'agit d'une interview).
Les autres textes semblent à première vue beaucoup plus liés, sans considérer les communautés. Cependant, une sorte de zone "tampon" peut être identifiée entre les deux parties avec le raport de l'institut de France, un historique du facteur d'impact, l'entretien avec Audrey Baneyx, voire même le texte du "mode d'emploi" de l'impact factor créé par Thompson Reuters. Cette zone tampon présente des termes de fait assez consensuels et à faible tonalité argumentatives, comme "discipline", "recherche scientifique", "citation rate" (avec lesquels tous les textes ont un lien).

Il s'agit donc de voir de quelle manière les termes de l'OST diffèrent des autres textes. Parmi ceux de l'OST, on retrouve notamment "matériau riche", "indicateurs quantitatif", "interprétation humaine", "usage administratif", "riche d'information", "principe d'un concours", "validité d'hypothèses formulées", "évaluation bienveillante", "hypothèses validées". Ces termes nous confortent dans notre première hyptohèse à savoir que l'argumentation favorable à l'impact factor insiste sur la validité de l'impact factor, indicateur porteur d'information, pouvant servir à l'allocation des fonds de recherche, même s'il est complété par l'interprétation humaine.

Il semble difficile de pouvoir vérifier la validité de l'hypothèse d'argumentation pour l'autre groupe, étant donné la grappe parmi les autres textes, mêlant de fait chercheurs pour et chercheurs contre. Cela nous amène à la deuxième hypothèse.

Deuxième hypothèse

A première vue donc, le camp des chercheurs scientifiques, aussi bien dans leur prise de position que dans leurs travaux scientifiques est complètement mélangé, formant une grappe. Cependant, l'outil des communautés nous aide à y voir plus clair. Trois communautés se distinguent parmi les scientifiques.

Le groupe vert est celui des prises de positionnements des scientifiques contre, avec "rough approximation", "unquenchable thirst", "surreprésentation anglo-saxonne", "false promises" qui formulent des axes de critiques (se rapprochant du deuxième camp d'argumentation, dans la première hypothèse). Le groupe rouge est assez peu concluant dans la nature de son argumentation, il présente beaucoup de similitudes avec le groupe tampon, il s'agit en réalité du mode d'emploi, et de textes présentant des méthodes d'évaluation de l'impact factor (sans conclure). Quant au groupe bleu ciel, il est clairement diversifié, avec des termes comme "subjective evaluation", mais aussi "quantitative measure", "quality assessment tool". De fait il regroupe des chercheurs pour (notamment le créateur Eugène Garfield), des évaluations scientifiques et des chercheurs contre.

Enfin, l'outil degré entrant montre chez les chercheurs qu'au-delà de "citation rate" et "impact factor" dont c'est le sujet ici, les termes "prix nobel" et "google" font partie des plus utilisées, montrant que la qualité scientifique ne se mesure pas seulement à des indicateurs bibliométriques.

Conclusion et critique

Si le premier camp d'argumentation a pu être identifié et associé au au financeur qu'est l'OST, le deuxième camp n'a pas pu être clairement visualisé, même s'il s'identifie plutôt au groupe vert des sientifiques, ce qui ne valide que partiellement la première hypothèse. Cependant la deuxième hypothèse nous semble vérifiée, avec le groupe bleu ciel des scientifiques qui regroupe des chercheurs ayant des positions différentes. La présence de davantage de textes de chaque groupe de la controverse aurait sans doute pu faire émerger plus d'occurences liées directement aux argumentations, permettant de valider entièrement notre première hypothèse. La validation de la seconde hypothèse implique donc un travail de modélisation plus avancé (méritant ensuite d'être testé empiriquement), permettant une meilleure différenciation des acteurs du groupe des chercheurs.

+

LES ACTEURS DE LA CONTROVERSE

+

EPILOGUE

Finalement, notre étude nous a permis de mieux comprendre la communauté scientifique et ses ressorts. Le facteur d'impact révèle en effet bien des enjeux au niveau microsociologique, c'est-à-dire au niveau des relations entre chercheurs. La concurrence, pour commencer, qui peut exister entre chercheurs, et surtout entre laboratoires. La réputation également qui, même si son influence a toujours été présente, a pris une importance considérable dans la marche du monde scientifique. La publication scientifique enfin qui, à l'heure de la globalisation et de la démocratisation de l'enseignement supérieur, semble plus que jamais le nœud de toute activité de recherche.

Etudier la controverse autour du facteur d'impact, c'est pénétrer dans les coulisses du monde de la recherche ; c'est entrer au cœur de cette boîte noire qu'est la sphère scientifique, dont on ne voit habituellement que la partie émergée : les résultats. La cartographier, c'est avant tout comprendre que le chercheur n'est pas – ou plus – l'alpha et l'oméga de la production de connaissance. De multiples acteurs viennent se greffer tout au long du processus. Qu'il s'agisse des financeurs en amont de la recherche, ou des éditeurs en aval, tous apposent leur marque, leurs intérêts, leur philosophie à la production scientifique. Finalement, le débat sur le facteur d'impact est un débat sur la place que doit avoir chacun dans la chaîne. La controverse sur le facteur d'impact met donc fin à une utopie : celle du laboratoire clos et hermétique au monde extérieur. Désormais, le social et le scientifique doivent être étudiés et compris en parallèle, tant l'étude de l'un sans l'autre comporte d'impasses et de contre-sens. A ce titre, elle est tout à fait représentative de la philosophie du cours de cartographie des controverses dans lequel s'inscrit notre étude.

Cette controverse est d'ailleurs récemment revenue sur le devant de la scène avec la parution en février 2012 d'un numéro de la revue Quaderni intitulé « L'évaluation de la recherche: pour une réouverture des controverse ». Se livrant à un véritable exercice de cartographie, la revue s'intéresse plus largement aux questionnements sur l'évaluation de la recherche, dont la controverse sur le facteur d'impact fait partie intégrante. Plus que jamais donc, l'indicateur fait débat, et nous espérons que notre site apportera à ceux qui souhaitent approfondir la question des éléments pour nourrir leur réflexion.

Pour finir, nous tenions à remercier Mme G. Filliatreau, M. G. Bodenhausen, Mme A. Baneyx, M. O. Gandrillon, M. A Polian et Mme S. Saha pour leur aimable contribution à notre enquête. Leurs points de vue, leurs analyses et leurs expériences nous ont été d'une aide précieuse pour la réalisation des contenus de ce site. Un grand merci également à toute l'équipe pédagogique du cours de cartographie des controverses sans qui ce projet n'aurait pu voir le jour, et plus particulièrement à M. T. Venturini et M. J-N. Jouzel, pour leur investissement et leurs conseils.

RANGER

SOMMAIRE

GLOSSAIRE

LE FACTEUR D'IMPACT

1.EDITO

2.La genèse du facteur d'impact

3.Historique : le facteur d'impact des années 1950 à aujourd'hui

4.Le facteur d'impact à travers le monde

5.Notre enquête

6.L'instrument des maisons d'édition

7.Indicateur ou statistique ?

8.Cercle vertueux versus cercle vicieux

9.Le chiffre et la décision

10.Les critiques méthodologiques

11.L'inertie historique

12.Science et société

13.Le rôle de l'argent

14.Une question de valeurs

15.Une controverse connexe

16.Le facteur d'impact sur le Web

17.Les apports du Text-Mining

18.Les acteurs de la controverse

19.Epilogue

Entretien avec G. Bodenhausen

Lors de notre premier échange par mail, vous avez eu cette phrase à propos du facteur d'impact : « Le sujet me concerne, et la pratique me concerne. » Pouvez préciser le sens de votre propos ?

Le facteur d'impact est censé mesurer la « qualité » de périodiques scientifiques. C'est un facteur qui s'apparente aux notes délivrées par les agences de notation. Il est basé sur une mesure statistique dont la validité est fortement critiquée par les scientifiques, comme d'ailleurs les AAA des agences de notations. Les deux controverses sont en fait assez semblables.

Ce sont essentiellement les éditeurs des journaux, grandes entreprises qui brassent beaucoup d'argent, qui tentent de favoriser l'émergence de leur produit en faisant grimper leur facteur d'impact. Tout ceci serait relativement innocent si un grand nombre de scientifiques n'avaient pas intégré cette logique : ils l'appliquent à eux-mêmes, pensent sincèrement que les journaux bien quottés sont bons et utilisent ensuite ces critères pour sélectionner soit les sujets scientifiques, soit leurs collaborateurs, soit leurs sources, soit enfin les revues dans lesquelles publier. Tous ces aspects sont liés et très problématiques.

Je suis par exemple en train de rédiger une requête que je vais adresser à Bruxelles au European Research Council. En me relisant, je me suis aperçu que j'avais truffé mon texte de références aux journaux dits prestigieux, c'est-à-dire aux journaux à fort facteur d'impact. Il semble donc que j'ai malgré moi été intoxiqué par la prépondérance du facteur d'impact. Evidemment je ne suis pas complètement libre, dans la mesure où j'anticipe sur le fait que le jury soit également imprégné par le facteur d'impact : ma requête aura plus de chance d'aboutir, si je brosse 'dans le sens du poil'.

Pourquoi est-ce que je vous raconte cela ? L'enjeu pour ce genre de requête, c'est deux millions d'euros de financement de recherches. Mais cette démarche inclus la concession involontaire d'utiliser la classification par le facteur d'impact. C'est une chose à laquelle on a du mal à échapper. Donc le scientifique n'est pas vraiment libre de ses actes.

Il y a une chose qui revient souvent dans ce que vous dites : les enjeux financiers sous-jacents, en particuliers ceux du milieu de l'édition.

Les milieux de l'édition ont pour but de faire de l'argent, on pourrait dire que c'est de bonne guerre. L'ennui, c'est que le monde scientifique est en train de s'imprégner de ces valeurs commerciales spécifiques aux éditeurs, qui ne sont pas les nôtres, car nous utilisons d'autres critères. Une bonne idée, une idée originale ne se trouve pas forcément dans ces grands périodiques. Il y a un côté pervers à l'utilisation de l'impact factor.

Pour vous, cet indicateur n'a aucune utilité dans le monde scientifique ? Ne vous permet-il pas de vous orienter au milieu d'une littérature scientifique parfois pléthorique ? S'agit-il même d'un frein pour la recherche ?

Quand je recherche un article, j'essaie de ne pas tenir compte des facteurs d'impacts. J'utilise même très souvent des revues au facteur d'impact faible. Mais quand je reprends des articles, je suis inconsciemment guidé par ces facteurs. C'est une erreur que je fais – et que tous mes collègues font aussi. Je pense parler au nom de tous.

L'idée de l'indicateur reste quand même le gain de temps dans l'évaluation de la qualité d'un article. Si vous ne vous intéressez qu'à son contenu, comme vous semblez l'affirmer, ne pensez-vous pas qu'il s'agit d'une grande perte de temps ?

Non, nous utilisons des moteurs de recherches – notamment pour moi ceux de Web of Sciences – qui permettent le référencement par de nombreux critères ; particulièrement la recherche par mot-clé. Il n'en demeure pas moins que lorsqu'une recherche renvoie 100,000 articles, la priorisation se fait hélas le plus souvent par la renommée de la revue dans laquelle il est paru, et l'on en revient au facteur d'impact. C'est pervers, mais cela existe. Je suis sûr que nous sommes tous sensibles à ce genre de sirènes.

Donc vous ne remettez pas en cause l'existence même des indicateurs. Ce que vous critiquez, c'est la construction du facteur d'impact.

Le facteur d'impact, vous le savez sans doute, correspond au nombre de citations moyen sur les eux dernières années. Tout d'abord, le nombre de citations n'est pas forcément un bon critère : il existe de très nombreux articles, très savants, qui ne sont jamais cités soit parce qu'ils sont trop difficiles ou trop connus. Par exemple, personne ne cite l'article d'Albert Einstein sur la relativité. Il est en outre écrit en allemand – et n'est donc pas référencé dans les moteurs de recherches. Du coup, je suis plus connu qu'Einstein, dont le facteur d'impact est très bas. On peut toujours dire qu'Einstein, c'était il y a un siècle, etc. Mais même de nos jours, il existe d'éminents scientifiques contribuant vraiment au progrès de la science et qui sont finalement très peu cités. Vous voyez bien les absurdités auxquelles peut mener un tel indicateur basé sur la citation. De plus, le facteur d'impact est calculé sur une période de deux ans. Or selon moi, un bon article, en avance sur son temps, ne devrait pas être cité avant plusieurs années. Un article réellement original mettra un certain temps avant d'être reconnu. Les articles cités tout de suite dans la première année suivant leur parution, sont souvent sur des sujets à la mode, auxquels tout le monde a déjà été sensibilisé. On pourrait même caricaturer et dire qu'un article cité tout de suite n'est pas un bon article, même si c'est sans doute excessif. Pour la relativité d'Einstein, il a fallu 10 ans avant qu'on commence à y croire. Il était en avance sur son temps. Si son éditeur avait pris garde à son facteur d'impact, il n'aurait certainement pas publié Einstein…

Finalement, les grands périodiques come Science et Nature sont constamment à l'affut de choses faciles. Qu'entends-je par 'facile' ? Des choses qu'une large partie de la communauté peut comprendre tout de suite et qui peuvent être reprises très facilement. Car il faut que cet article puisse être repris, et donc cité, dans les deux ans pour contribuer à l'impact factor de la revue. Les recherches qui demandent du souffle, de la durée, sont défavorisées. Mon domaine, à l'inverse, est plutôt favorisé. Un article publié par un autre peut être repris en quelques semaines. Pour moi, c'est une perversion de la science. La plupart du temps, la science ne se satisfait pas du temps court. En ce sens, l'impact factor exerce une pression forte sur les chercheurs pour faire des choses « quick and dirty ».

Avez-vous remarqué au cours de votre carrière un net changement dans les pratiques scientifiques du fait de l'introduction puis de la généralisation du facteur d'impact ?

Le facteur d'impact est devenu vraiment accessible en 1997. Il avait alors été entrepris d'établir un classement des meilleurs chimistes au monde, sur la base de leur facteur d'impact. Cela avait déclenché de vives critiques de la part de la communauté scientifique. Depuis, le concept de classification des scientifiques a été abandonné.

Pensez-vous qu'un indicateur bibliométrique mis en place par la communauté scientifique serait d'une part envisageable et d'autre part avantageux ?

Vous mettez le doigt sur le principal problème auquel nous faisons face, nous les adversaires du facteur d'impact. Nous n'avons pas trouvé d'alternative. J'ai rédigé à ce propos un autre article en collaboration avec une anthropologue, où je défends le facteur k, qui représenterait les écoles de pensées plutôt que le nombre de citations. Mais nous n'avons pas trouvé le moyen de le rendre numérique. Il y a donc très peu de chances pour qu'il soit un jour véritablement utilisé. C'est comme en politique, il est aisé de contester mais il est plus dur de proposer un contre-projet viable. L'alternative que moi je prône, c'est de ne pas prêter d'importance aux indicateurs. C'est évidemment un peu pieux, et peu de gens écoutent ce conseil.

Il y a un autre argument, développé dans un article paru il y a deux ans dans Nature, qui consiste à regarder les effets néfastes de cette mode des indicateurs. Il prend le cas de l'Australie où les autorités ont tenté de gonfler artificiellement l'impact de leurs scientifiques en rendant les augmentations de salaire proportionnelles au volume de publications scientifique. Si cette dernière a effectivement grimpé en flèche, il s'est avéré que le nombre de citation a paradoxalement diminué. Cette politique s'est donc avérée être un échec, et nous sommes en train de poursuivre la même en France. L'influence du CNRS, notamment son budget, a été drastiquement diminué, et il s'est vu remplacé par l'ANR qui attribue les crédits de recherche sur la base de la bibliométrie. Il va de même pour l'attribution de crédit au niveau européen. De plus, le gouvernement a lancé une grande campagne d'évaluation des unités scientifiques française menée par l'AERS. Pour moi, cette entité a un rôle qui oscille en contestable et contre-productif. Or l'AERS s'intéresse de manière très marquée aux facteurs quantitatifs comme le facteur d'impact. Elle finit par attribuer des notes, qui serviront à l'attribution des financements de recherche. J'ai peur que nous ne suivions la même voie que l'Australie, et que nous ne soyons en train de saborder la recherche française, pour laquelle j'ai par ailleurs un profond respect.

>Finalement, vous défendez plus ou moins les mêmes thèses que le collectif « Sauvons la Recherche ! » ?

J'ai été très content de l'émergence de ce collectif, mais je ne suis pas leur mouvement de très près. Toutefois, cela ne m'étonne pas que nous soyons sur la même longueur d'onde.

Vous savez, l'un des grands problèmes des classements en général, c'est que c'est tellement facile, pratique. Supposez qu'il fasse prendre une décision pour allouer correctement des moyens pour la recherche. C'est extrêmement complexe, et les classements tellement utiles. Mais dans ce cas, la solution de facilité fait des ravages.

Vous avez-vous-même participé à plusieurs commissions pour l'évaluation des recherches à l'AERS. Donc des scientifiques participent effectivement à cette évaluation. N'est-ce pas un moindre mal par rapport à une évaluation purement extrascientifique?

Le cas de l'AERS est compliqué. Les comités qui sont en charge de l'enquête dans les labos, celle qui se fait par des scientifiques, émettent des préavis uniquement. Ces préavis sont ensuite traités par un pouvoir plus proprement politique dans un souci d'harmonisation. Mais quelle que soit la qualité des uns et des autres, quel que soit le pays, l'évaluation des travaux de recherches demeure quelque chose d'extrêmement complexe. Je veux dire que le résultat de ce processus est en partie aléatoire.

On en revient toujours au même problème : que faire pour évaluer ?

C'est une bonne question. Elle nous suit depuis des siècles. J'ai lu il y a peu de temps un texte d'E. Badinter dans lequel Condorcet jouait un rôle prédominant. J'avais été amusé de lire qu'alors qu'il était secrétaire perpétuel de l'Académie des Sciences, il croyait pouvoir juger de la recherche scientifique sous tous ces aspects. Il avait semble-t-il écrit que si quiconque avait une idée en France il suffisait de en lui envoyer une brève description et qu'il pourrait juger seul si cette idée valait la peine d'être poursuivie. Donc le problème n'est pas nouveau, il remonte à plusieurs siècles. On a toutefois réussi à le gérer plutôt bien tout le XIXe siècle et une bonne partie du XXe siècle sans faire appel à la bibliométrie, sans faire appel au classement par ordinateur, etc. Personnellement, j'ai l'impression que la science était meilleure dans les années 50-60 que dans les années 90-2000. Je n'ai aucun doute concernant le fait qu'il y a eu plus de création après-guerre, que les chercheurs étaient mieux formés : les articles écrits à cette période me semblent plus riches et plus stimulants que ce que je peux lire aujourd'hui. De ce point de vue, je ne suis pas sûr que nous ayons véritablement progressé. Et dans les années 60, les chercheurs n'avaient aucun moyens bibliométriques.

Votre propos ne peut-il pas se rapprocher de la dénonciation de la barbarie des nombres par Michel Henri ? Selon lui, le monde de la recherche s'est transformé et a perdu cette notion créatrice qu'elle avait il y un demi siècle de cela.

Je pense que l'obsession du nombre n'a certainement pas favorisé la créativité. Par ailleurs, le mot barbarie est tout à fait intéressant. Vous savez que chez les Grecs anciens, il désignait l'étranger. La question est donc de savoir d'où vient cette mode du nombre qui s'impose à nous aujourd'hui. Il faut bien dire qu'elle vient des Etats-Unis. Peut-être pouvons-nous de nos jours donner un sens plus restrictif à la barbarie, qui serait alors entendue comme l'invention américaine. Tout comme les banquiers français se sont protégés de la crise des subprimes en vérifiant la solvabilité de leurs créditeurs avant de prêter, peut-être la recherche française devrait-elle se mettre à l'abri des mauvaises incidences américaines. Ceci se traduirait par la continuation de l'utilisation des critères qui ont fait foi pendant près de trois siècles dans notre pays, à savoir l'appréciation intelligente des idées par les pairs. Il n'y a finalement aucun facteur contraignant à l'adoption des normes bibliométriques.

Pensez-vous que la majorité des chercheurs dans le monde scientifique partage votre avis ?

Après la parution de mon article intitulé Les Armes de citation massive, j'ai reçu plus de cinquante courriers électroniques, dont la quasi-totalité étaient très positifs et soutenaient notre point de vue. Il existe toutefois des scientifiques des plus connus qui exploitent le système et sont de ce fait favorables à son maintien, dont quelques prix Nobel qui obtiennent grâce à lui presque tout ce qu'ils veulent. A l'inverse, j'ai été très surpris de recevoir des courriers d'approbations de scientifiques très reconnus, dont deux prix Nobel, et qui se sont montrés particulièrement critiques envers l'hégémonie des 'bibliomètres'. Hélas, aucun n'a pu proposer de système alternatif…

Vous dîtes que certains lauréats du prix Nobel exploitent le système. Est-ce à dire que vous contester leur poids dans le monde scientifique ?

Il y a des gens très bien financés qui à mon avis ne le méritent pas. J'en vois plusieurs – qui d'ailleurs m'agacent profondément – qui n'ont pas d'idée et qui ont simplement su se positionner en restant dans le politiquement correct. Je pense à certains chercheurs dans le domaine de l'énergie, ou à la recherche contre le cancer, dans lesquels des sommes faramineuses sont investies pour des motifs politiques ou des effets de mode.

C'est tout de même assez grave pour la recherche si elle peut être si facilement détournée et instrumentalisée !

Je ne dirais pas que la recherche dans son ensemble est dévoyée par la poignée de malins qui ont su exploiter le système, mais il faut garder à l'esprit que cela existe.

Même en France ?

Bien sûr, mais sans doute dans une moindre mesure. C'est un peu comme dans le monde politique français. Il y a de la corruption, mais relativement peu par rapport à d'autres pays comme la Russie. Dans la recherche, les Etats-Unis détiennent sans doute la palme des chercheurs peu scrupuleux.

Dans le cadre de notre cours de cartographie de la controverse […], il nous est demandé d'identifier les différents acteurs qui s'affrontent dans notre controverse. Pouvez-vous nous donner votre point de vue sur la question ?

Je peux vous donner un début de piste. Les éditeurs pour commencer. Par exemple, la maison d'édition Elsévier vient de racheter plus de 6000 périodiques. C'est un quasi monopole, apparemment très rentable. Ils vendent des droits d'accès aux articles scientifiques sur le web. Les grands éditeurs forment donc un bloc, même si une violente concurrence fait rage en son sein.

Ensuite vient le groupe que j'appellerais celui des tutelles, qui comprend le CNRS, l'INSERN, le CEA, le Ministère de la recherche, l'AERS, l'ANR, la cellule du grand emprunt, attachée à Matignon. Ceux là ont intérêt à ce que la décision se prenne le plus vite et le plus objectivement possible. Evidemment les positions d'un acteur ne sont jamais si faciles à identifier et il ne faut céder à la caricature.

On peut également identifier le groupe des chercheurs à proprement dits, qui se partagent entre ceux qui bénéficient des crédits accordés par la citation – qui sont à mon sens de l'ordre de 5% - et ceux qui en souffre qui représentent la vaste majorité. A titre personnel, j'en bénéficie, mais je suis solidaire de ceux qui n'en bénéficient pas.

Vous semblez vous placer clairement du côté des adversaires de l'impact factor. Etes-vous en relation avec d'autres opposants à cet indicateur ?

Oui, je pourrais vous en citer quelques uns, même si je peine à trouver des cosignataires de renom pour donner du poids à mes arguments. Par exemple j'ai échangé il n'y a pas si longtemps avec, un professeur néerlandais, le professeur Reedigk qui a été pendant 20 ans directeur de la chimie dans une université de renom. Il partage tout à fait mon point de vue, et il est en train de travailler sur un article où il regroupe des arguments que je considère meilleurs que les miens. Il met par exemple en lumière des contradictions criantes du facteur d'impact. Il y a également un collègue italien qui est en train de rédiger une sorte de blog. Mais rien de très organisé, hélas.

Entretien avec G. Filliatreau

Au cours de nos recherches nous nous sommes aperçus qu'il existait une opposition entre les organismes qui produisent les indicateurs bibliométriques et le monde de la recherche. Nous cherchons donc à comprendre les points de désaccord et à faire émerger les potentielles incompréhensions entre ces deux partis.

Pour commencer pourriez-vous nous éclairer sur le sens de votre profession ?

Beaucoup de ceux qui fabriquent et/ou utilisent des indicateurs bibliométriques (« métriques » dans le sens où ce sont des chiffres avant tout) sont d'anciens chercheurs. J'ai par exemple fait quinze ans de recherche en sciences de la vie au début de ma carrière, avant de changer d'activité. Je suis donc capable d'être des deux côtés dans les raisonnements. La bibliométrie n'est pas une science, à peine un empirisme ; elle n'est enseignée nulle part – du moins pas formellement ; donc c'est une pratique avant tout. Il s'agit souvent de chercheurs qui, comme moi, se spécialisent dans la bibliométrie parce que le matériau les intéresse et parce qu'ils s'y sont frottés en tant que scientifique. La plupart des institutions qui font de la bibliométrie sont 'staffés' par d'anciens chercheurs, bien sûr mélangés avec des statisticiens, des ingénieurs, etc.

Cependant, j'ai pu faire le constat que la majorité des scientifiques qui en viennent à la bibliométrie sont issus de disciplines expérimentales comme les sciences physiques ou encore les sciences de la vie. Selon moi le rapport au nombre, à la métrique (et en particulier aux indicateurs de type bibliométriques) est en grande partie déterminé par la culture disciplinaire dont on est issu. Plus la discipline est expérimentale, plus les indicateurs sont bien acceptés et intériorisés. En revanche, pour ce qui est des sciences humaines et sociales – dont le rapport au nombre peut déjà être très problématique – et qui en plus ne sont pas expérimentales, les indicateurs sont souvent repoussés et décriés avec deux arguments principaux : d'une part, 'Vous prétendez mesurer des choses qu'on ne saurait mesurer', c'est le problème de la commensurabilité de Desrosières, et d'autre part, le fait d'accepter d'avoir des indicateurs très imparfaits qui ont pour objectif de vérifier des hypothèses. C'est là que je peux établir un parallèle avec ma précédente activité de recherche, où on élabore un protocole expérimental fait de mesures imparfaites afin de tester la validité d'hypothèse formulées ex-ante. C'est un raisonnement que j'ai fait très récemment lorsqu'on m'a demandé 'Mais pourquoi voulez-vous tout mesurer ?'. J'ai répondu 'Mesurer, cela sert avant tout à penser ; on ne peut rien analyser sans mesurer'. Mais c'est finalement trop radical comme point de vue. En biologie par exemple, la mesure d'un phénomène se fait toujours par le biais d'indicateurs, indirectement, afin de valider ou de rejeter une hypothèse. Ce processus laisse une large part pour l'interprétation humaine : c'est la même chose pour la bibliométrie, chaque indicateur prétend mesurer un phénomène à partir d'hypothèses, et un indicateur, à la différence d'une statistique, laisse un espace pour l'interprétation humaine et au contexte. Le problème vient du fait que les indicateurs sont ensuite administrés par des gens qui les prennent 'tout cuit' et qui leur font perdre toute cette épaisseur, toute cette dimension interprétative. La bibliométrie est donc à double tranchant : d'un côté, il y a le fait qu'il s'agit d'un matériau riche, que l'on triture, comme dans beaucoup de sciences humaines finalement – mais des sciences humaines où l'on manipule des chiffres à l'instar des économistes, qui tolèrent très bien la bibliométrie au passage – et d'un autre côté, il y a le fait que les indicateurs bibliométriques sont ensuite administrés et traités comme des données statistiques, ce qu'ils ne sont absolument pas. Il s'agit bel et bien d'indicateurs qui sont extrêmement sujets à biais, et qui sont très indirects. La bibliométrie est donc un mode d'exploitation des données extrêmement riche, à partir documents textuels. Par ailleurs, toute une batterie d'indicateurs se sont installés comme des standards, qui sont d'ailleurs les plus simplissimes, et qui sont utilisés de manière administrative comme s'il s'agissait de donnés statistiques toute simple. Depuis cinquante ans, les chercheurs jettent le bébé avec l'eau du bain, et ici l'eau du bain, c'est l'utilisation administrative de quelques indicateurs qui font office de miles stones. Voilà, je crois que vous avez déjà quelques pistes sur 'comment se noue le drame'.

Pourrait-on imaginer un indicateur parfait ?

Ah non. Un indicateur part d'une hypothèse. Il varie avec un phénomène que l'on veut mettre sous surveillance : le premier auquel on peut penser c'est la jauge d'essence. Partant de là, il y a deux sortes d'indicateurs : les indicateurs passifs, qui sont là pour mettre un phénomène sous surveillance, et puis les indicateurs actifs, qui partent d'une hypothèse et que l'on utilise pour voir si l'on va plutôt dans le bon sens ou plutôt à l'opposé. Il ne peut donc pas y avoir d'indicateur parfait dans la mesure où il y a une intention derrière un indicateur. La température est une information utile sur l'environnement indépendamment de toute visée, elle tient toute seule. Derrière un indicateur, il y a un objectif.

Précisément, vous dîtes que ce qui est problématique ce ne sont pas les indicateurs bibliométriques mais l'usage administratif qu'on en fait, basé sur le besoin d'information des financeurs publics ou privés à l'égard du monde de la recherche. Quel est donc votre objectif en forgeant de tels indicateurs si ce n'est de procurer de l'information à ces agences ?

Le problème ne vient pas de l'usage administratif des indicateurs bibliométriques en eux-mêmes. Il provient de l'incompréhension entre des points de vue et des cultures très différentes. Avec les indicateurs bibliométriques, on mesure des proxys. Le premier point est donc pour ces agences d'accepter de s'en servir comme tels, et non pas comme des statistiques descriptives. C'est hélas ce qu'elles ont tendance à mal faire.

Vous pensez donc que les indicateurs ont un pouvoir de création d'information trop important ?

Ceux qui les utilisent comme tels ne savent pas qu'ils décrivent un processus très complexe. Ils ne savent littéralement pas ce que signifie le mot « publier ». Le rapport entre la création de connaissance et le fait d'avoir un article décompté dans une base particulière ayant eu un nombre de citations particulier. Ils n'ont aucune idée de ce processus, qui comprend pourtant de nombreux biais et de vastes espaces d'interprétation. Par conséquent, ils lisent les indicateurs comme le thermomètre. Il existe par contre des administratifs qui ont demandé à raison d'apprendre à s'en servir avec grand soin. Le problème demeure dans le fait qu'un indicateur quantitatif est un nombre avant tout, qui est éminemment portable. C'est le premier problème culturel des administratifs qui ont davantage l'habitude qu'on leur remette des données descriptives, sans mystère. Ils ont par ailleurs tendance, ce qui est un réflexe naturel, à projeter sur les indicateurs des distributions normales (90-10) et à raisonner en termes de moyennes, ce qui mène à des extrapolations trompeuses pour les indicateurs. Donc il y a des problèmes liés au fait qu'ils n'ont pas le temps de se former à tous les indicateurs.

Ceci dit, plus les indicateurs donne une information à l'échelle macro, plus leurs propriétés se rapprochent de celles des indicateurs statistiques. Car à ce niveau, celui des Etats par exemple, tout le jeu consiste à comparer des évolutions dans le temps et entre régions. Dans la comparaison, on ne cherche pas à interpréter, mais à comparer. Mais plus on descend et qu'on se rapproche de la notion d'évaluation, c'est-à-dire lorsqu'on cherche à apprécier la qualité par des indicateurs, plus il est dangereux de les considérer comme des données toutes plates. D'un autre côté, les chercheurs ont le même genre de myopie dans un autre sens : ils ne veulent pas comprendre qu'il existe des choses que l'on ne peut juger qu'à « vol d'avion ». Ils savent juger leur copain, le laboratoire d'à côté, mais dès qu'on arrive au niveau de l'institution, on en arrive à la réputation et aux préjugés. Malheureusement rein ne remplace les chiffres lorsqu'on tente d'avoir une vision panoramique, comparative, qu'on cherche à identifier une évolution dans le temps. Pourquoi ce refus ? Parce que l'indicateur est une violence faite à la publication, qui est un matériau très investi dans le monde scientifique. Ils se refusent donc à entrevoir le raisonnement inverse qui est la nécessité d'information pour le décideur. On passe du chiffre à la notion de jugement. Avec une statistique, la propension au jugement est faible. Avec les indicateurs, on en vient tout de suite au jugement qualitatif, ils sont convertis en valeurs, ce dont les bibliomètres ne cessent de se défendre. L'impact factor décrit simplement le fait que l'article W a été écrit –ou non, qu'il a été publié dans la revue X –ou non, que cette revue est telle qu'elle a pu être indexée dans la base Y, puis que dans cette base, l'article W a été cité un nombre w de fois. Voilà. C'est tout ce que le facteur d'impact décrit. Ce sont uniquement des proxys du fait qu'un article contenait des connaissances conformes à l'état de l'art et que son contenu était potentiellement original : tout cela n'a rien à voir avec le jugement quasi moral, qualitatif qu'on prête aux indicateurs. Mais finalement, et voilà ce qui est dur à saisir pour les chercheurs, c'est que la qualité n'est pas l'essentiel. Ce que veulent les décideurs c'est pouvoir agir, en prenant appui sur des données qui viennent justifier leur choix. Les indicateurs visent ailleurs.

Le risque n'est-il pas que les revues à fort facteur d'impact prolifère et que les revues scientifiques moins 'populaires', moins citées, ne périclitent faute de financement ?

Bien sûr. Je suppose que vous connaissez l'histoire du facteur d'impact. A l'origine il s'agissait d'un outil à la disposition des bibliothécaires afin d'orienter leur choix quant à l'achat de telle ou telle revue. Ils opèrent un simple rapport qualité-prix : la citation, c'est le nombre de personnes intéressées par la revue, c'est un révélateur du nombre de personnes qui s'en servent pour leur travail. La citation était un révélateur, non pas de qualité, mais d'utilité, qui est une notion bien moins lourde en jugement de valeur. Seulement par la suite s'effectue le premier déplacement : la citation est devenue une caractéristique intrinsèque qui a permis de hiérarchiser les revues. Ensuite, sachant que le facteur d'impact était utilisé par les bibliothécaires pour justifier leurs arbitrages d'achat, les éditeurs s'en sont servis pour structurer leur marché. Puisqu'il constituait le signal d'achat, l'impact factor devenait le critère décisif. Le tout dans un contexte où les éditeurs étranglent les bibliothèques et le monde de la recherche – un monde où cohabitent plusieurs univers entremêlés : celui des éditeurs STM (Sciences, Techniques et Médecine), celui des éditeurs de base de données qui espèrent devenir la matière première de toutes les agences de notation reconnues, le monde des bibliothécaires qui veulent simplement dépenser au mieux leurs crédits sans pouvoir souffrir la critique, puis vient celui des scientifiques, qui sont pris dans des enjeux de carrière et qui adoptent donc stratégies de maximisation de leur taux de citation (ultime glissement).

Car ce dont il faut se rappeler, c'est que le facteur d'impact est un indicateur attaché à la revue, qui est une collection d'articles finement choisis (le plus souvent pour maximiser le facteur d'impact précisément). Une revue est un package. C'est un outil de diffusion des articles scientifiques. En ce qui concerne l'OST, nous n'utilisons jamais l'impact factor, il ne nous sert à rien.

Il nous a pourtant semblé, en regardant la liste des indicateurs bibliométriques fournis par l'OST que vous produisiez un indicateur qui ressemblait beaucoup à l'impact factor : l'indicateur d'impact espéré.

Il s'agit, si vous me passez l'expression, de la manière correcte de calculer le facteur d'impact, c'est-àdire sans aucun lien avec l'outil pour les bibliothécaires. […]

Vous rejetez donc l'utilisation généralisée du facteur d'impact ?

Vous connaissez sûrement E. Garfield ? Il s'agit du père du facteur d'impact. Dans un article paru dans les années soixante, il écrivait que le facteur d'impact devait être utilisé seulement dans les pays pauvres, où l'on avait rien d'autre à se mettre sous la dent. Il disait qu'il devait être considéré comme un « surrogate », c'est-à-dire un substitut de qualité non garantie à une vraie mesure de citation.

Finalement, la simplicité du facteur d'impact, n'est-ce pas à la fois son attrait et son pêché ?

Non, car on aurait pu faire mieux pour le même prix. Mais pendant près de quarante ans, Thompson Reuters a détenu un monopole sur les indicateurs, en se réservant des marges démesurément importante. Le gros avantage que possédait le facteur d'impact, c'était son accessibilité. Le JCR, où les facteurs d'impact étaient publiés chaque année étaient très facilement accessibles parce qu'il s'agissait d'un listing papier qu'on pouvait se passer facilement. C'est donc la pratique qui s'est de fait répandue le plus vite. Mais il faut savoir que ce sont les chercheurs de certaines disciplines qui ont poussé la bibliométrie dans leur compétition les uns contre les autres. Même dans les commissions scientifiques INSERN, les facteurs d'impact étaient utilisés. Pourquoi ? Car il y a généralement une forte corrélation entre le facteur d'impact et la sélectivité à l'entrée de la revue. Donc on applique le principe d'un concours.

On en arrive au noeud du problème. Pensez-vous que seuls les indices qui permettent d'objectiver la carrière du chercheur peuvent être utilisés dans les recrutements ou de financements ? Car c'est cela qui est le plus décrié par les opposants au facteur d'impact : c'est le fait qu'on tente d'appliquer au monde de la recherche une logique qui lui est totalement étrangère afin d'évaluer le travail des scientifiques.

Je vais me faire l'avocat du diable et prendre le point de vue inverse. Si vous n'avez pas d'indicateur, comment évaluez-vous la carrière d'un scientifique ? Les indices servent avant tout à la controverse, ils permettent le débat véritable, sans considération pour les arguments d'autorité ou le charisme. Les indicateurs donnent des « evidences », ils ont donc tout à voir avec la recherche.

Nous voulions dire qu'ils obéissaient à une autre logique que celle de la recherche…

Encore une fois, c'est faux. Normalement, un chercheur travaille pour produire des connaissances. Mais des connaissances qui ne sont pas publiées, et donc pas diffusées, ne servent à rien. Autant partir à la pêche – même s'il existe des exceptions je vous l'accorde.

Au fil de notre enquête, nous avons eu l'occasion de rencontrer un scientifique, M. Bodenhausen, qui a argué du fait que les revues à fort facteur d'impact étaient le plus souvent des consensuelles avec les connaissances du temps. Par conséquent, les choses vraiment révolutionnaires ne pouvaient qu'avoir un faible facteur d'impact, et donc être reléguées au second plan. Qu'en pensez-vous ?

Il a entièrement raison. On en revient à ce que je vous ai dit plus haut. Ce n'est pas le caractère révolutionnaire d'un article qui intéresse les décideurs. Finalement, on rabat l'utilité sociale du scientifique. Le fait d'avoir à faire à un géni est hors de portée du décideur, ce n'est pas la dessus qu'il va prendre sa décision. Il ne prend pas en considération la créativité, la puissance, etc. Les indicateurs s'intéressent à l'infanterie, au biotope, à la masse de la recherche. Il faut les utiliser de manière globale, au niveau d'un labo pour dire s'il fonctionne bien et produit suffisamment finalement. C'est sur de tels critères que se prend la décision d'investir, pas sur le prétendu géni d'un chercheur, aussi doué soit-il. De toute façon, les chercheurs géniaux sont un contingent très limité. Ce sont deux mondes différents, deux logiques différentes mais pas celles que vous croyez. La césure n'est pas entre le monde de la recherche et celui de la décision, mais bel et bien entre la logique de l'individu et celle de l'institution. Une institution, un pays ne tiennent pas leur rang grâce à un scientifique. C'est une logique beaucoup plus modeste en un sens. C'est la thèse de Merton : on se fiche des individus. C'est un sociologue qui a montré que les indicateurs sont sur le fil du rasoir entre d'une part des appréciations factuelles et de la pure réputation. Il a par exemple formulé le principe de Saint- Mathieu : à ceux qui ont beaucoup on donnera plus encore et à ceux qui ont peu on enlèvera le peu qu'ils ont. C'est la logique du crédit et de la réputation. Donc les indicateurs bibliométriques concentrent les positions de réputation. On voit bien que se mettent en place des logiques d'acteurs basées sur les indicateurs, mais originellement ce n'est pas leur propos. L'OST n'a jamais fait – et ne fera jamais sous ma direction – d'indicateurs individuels, ou même sur des équipes de scientifiques.

Vous condamnez donc ceux qui produisent des indicateurs micro ?

Non, ce n'est pas parce qu'on tue des gens avec des couteaux qu'on va arrêter de fabriquer des couteux. On peut se servir de couteaux intelligemment. Le fabriquant de couteau n'est pas responsable de la mauvaise utilisation de son outil. Dans le cas des indicateurs bibliométriques, ce qu'il faut c'est de l'honnêteté. L'impact factor peut s'avérer très utile. Il faut s'en servir honnêtement. Mais gardons à l'esprit qu'on peut se servir de n'importe quel chiffre de manière malhonnête et coupable.

Ainsi, le choix des indicateurs que vous produisez s'effectue-t-il en fonction de la facilité avec laquelle on peut en mésuser ?

Nous avons la chance de ne pas être des producteurs industriels à la différence du Web of Science. Nous répondons à la demande de nos clients, en partant du principe qu'ils sont intelligents et honnêtes. Nous prodiguons ensuite les conseils et les avertissements pour le bon usage des indicateurs, c'est-àdire pour ne pas perdre toute l'épaisseur d'interprétation dont nous avons déjà parlé. […]

Comment peut-on juger un professionnel autrement que par des indices directement liés à l'exercice de sa profession ? Ce n'est pas un critère plus absurde que les autres, loin s'en faut. N'est-ce pas dénier le droit de juger de manière factuelle que de refuser les indicateurs ? On est obligé de prendre la décision, ça n'a rien à voir avec un jugement moral. Tout va comme si l'on identifiait la personne avec le travail sur lequel on prétend émettre un jugement factuel. J'ai l'impression que le ton sur lequel est pris le problème révèle une sorte de soupçon de jugement moral ou en valeur. On a tous besoin d'information pour prendre des décisions. Il faut tout le temps se défendre du fait qu'on ne se réduise pas à son facteur d'impact, et à l'inverse, les nombres sont un élément d'information comme les autres, ils ne sont pas plus diaboliques que les autres. Je n'arrive pas à comprendre qu'on en fasse quelque chose de si essentialiste. Comment juge-t-on un CV ? La plupart du temps, c'est du pur préjugé.

Pour vous les indicateurs ne sont pas plus injustes que les autres méthodes de décision…

La notion centrale est la notion d'honnêteté vis-à-vis de la décision. Je connais nombre d'administratifs qui nous demandent des formations pour se former correctement à l'utilisation des indicateurs alors que j'ai pu voir des chercheurs être d'une malhonnêteté folle avec l'usage des indicateurs bibliométriques quand il s'agit de faire avancer leurs pions. Toute décision est génératrice d'injustices potentielles. Donc on fait au mieux.

Pour vous l'évaluation bienveillante par les pairs sur l'unique critère de la compétence est un mythe ?

C'est tout à fait cela : c'st le mécanisme bien connu du retour à l'âge d'or de la science. J'ai participé à mes premiers comités scientifiques dans les années 80, avant l'essor des indicateurs bibliométriques dans le milieu, et croyez moi cette pratique n'existait pas déjà à l'époque.

Entretien avec A. Baneyx

Utilisez-vous le facteur d'impact dans votre travail ?

Non parce que ce n'est pas une mesure avec laquelle je suis d'accord. Par ailleurs, ce n'est pas une mesure que l'on nous demande d'utiliser dans le cadre de l'AERES. Les indices métriques sur lesquels l'AERES classe les revues ne reposent pas sur cet indice.

Quel est le critère de notation des revues et des laboratoires ?

C'est bien plus compliqué que le simple impact factor. D'autant plus que celui-ci est très controversé.

Un rapport récent de l'Institut de France réfléchissait à la mesure de la performance, ou de l'efficacité des chercheurs à partir d'indices métriques.

L'impact factor et plus généralement les indices, on essaye de leur faire dire des choses qu'ils ne sont pas en mesure de dire.

L'impact factor n'est qu'une certaine mesure, c'est une vision extrêmement partielle de la production scientifique.

De plus, cela n'est en rien une mesure de la productivité des chercheurs ou de la qualité.

Par exemple, si l'on prend une revue à fort impact factor, c'est-à-dire en général une revue anglaise ou américaine. On observe un biais très important : 90% des articles de la revue ne sont pas très ou pas du tout cités. Ainsi, un chercheur féru de bibliométrie peut publier dans cette revue, il pourra alors se targuer d'avoir publié dans une revue à fort impact factor, cependant il n'y a nulle garantie son article a été lue et citée. Donc mesurer la qualité ou l'efficacité d'un chercheur à partir de cet indice me semble absurde.

Vous avez parlé d'un mésusage de l'impact factor c'est donc qu'il y aurait un bon usage de l'impact factor...

Oui l'impact factor mesure la popularité d'une revue.

Par ailleurs, il faut voir comment les chercheurs citent des articles : il est de bon ton pour publier un article dans une revue de citer un certain nombre d'articles parus dans cette revue ; une sorte de « renvoi d'ascenseur », donc il y a un biais important.

Y a-t-il un réel affrontement entre des individus refusant en bloc l'usage de l'impact factor, face à d'autres souhaitant jauger l'efficacité des chercheurs à partir de cet indice ?

D'ores et déjà en France, quand on postule pour un poste de chercheurs dans un certain nombre d'institutions prestigieuses, on vous demande un certain nombre de métriques : votre H index, les revues à fort impact dans lesquelles vous avez publié, etc. Même si un certain nombre de chercheurs soulignent les mésusages de ces métriques, cela s'est déjà assez nettement imposé dans un certain nombre de milieux.

Donc les métriques peuvent avoir une réelle influence sur la carrière des chercheurs ?

Cela dépend vraiment des disciplines. Il y a des temporalités de citations très différentes d'une discipline à une autre : en génétique si on n'est pas cité dans les 6 mois, on ne sera jamais cité. Tandis qu'en sciences humaines et sociales on est cité au bout de 3 à 7 ans en moyenne. Or, l'impact factor est calculé sur trois ans, vous voyez donc qu'il n'a pas la même utilité dans des domaines à la temporalité plus longue.

Par ailleurs, l'impact factor est calculé sur des revues de langue anglaise, réportoriés dans le web of science. L'impact factor n'est pas une mesure française donc cela ne répond pas nécessairement à la manière dont on publie en France. Pour évoluer dans sa carrière de chercheurs en France il faut avoir publié dans de très bonnes revues mais ces revues n'ont pas nécessairement un gros impact factor. De plus, l'impact factor, ne prend pas en compte les livres ; or écrire des livres a un gros impact sur l'évolution de la carrière.

L'impact factor et les métriques en général sont plus rentrés dans les mœurs dans les disciplines anglo-saxonnes...

Oui. En sciences sociales, c'est surtout par le biais des sciences économiques que ces métriques se sont imposées en France.

Il y a une telle profusion d'articles que l'impact factor est peut être un moyen de faire une sélection, de produire de l'information...

Sauf que cela conduit à une vraie uniformisation de la recherche. Pour publier des articles originaux quand on est un jeune chercheur il faut déjà avoir une certaine notoriété. D'ailleurs une étude de l'âge moyen des chercheurs publiant dans les revues à haut impact factor montrerait sûrement une proportion élevée de chercheurs âgés. De même quant à la nationalité. Si aujourd'hui vous cherchez des publications en sciences humaines et sociales dans le web of science vous trouverez très peu de chercheurs de Sciences Po, alors même que nos chercheurs sont très bons ; c'est parce que les sciences humaines et sociales sont très mal représentés. Donc vouloir évaluer l'efficacité ou la qualité d'un chercheur à partir de l'impact factor dans lequel il publie, semble aberrant.

L'impact factor n'a-t-il pas été créé aussi pour créer un indice de popularité pour les investisseurs afin qu'ils puissent avoir des informations sur les revues qui leur offriraient le plus de visibilité ?

Bien sûr, si l'on se place du côté des investisseurs, l'impact factor est créateur d'information. En effet, l'impact factor est un bon indice de la popularité d'une revue.

Pensez-vous que c'est l'évolution de la recherche qui a impliqué l'apparition d'un indice comme l'impact factor ou qu'à l'inverse l'apparition de l'impact factor a modifié la façon dont on fait de la recherche ?

Non je ne pense pas du moins qu'en France cela est modifié la façon dont on fait de la recherche. En revanche, l'impact factor a été créé pour répondre à un besoin qui n'est pas nécessairement un besoin qui émane du chercheur mais plutôt des institutions et des financeurs, celui de savoir si ce que l'on produit sert à d'autres ou pas ; parce qu'une des missions des chercheurs est de diffuser du savoir.
Une combinaison de métriques, mesurant l'enseignement, la publication de livres et la publication dans les revues qui permettrait de mesurer l'impact des recherches sur le savoir scientifique.

Dans votre carrière avez-vous senti l'émergence de l'usage de l'impact factor ?

L'impact factor existe depuis très longtemps aux Etats-Unis mais son apparition en France est très récente.

Les disciplines telles que la médecine, ont été confrontés bien avant. La différence c'est qu'il y a 20 ans, on ne vous demandait pas votre H index ou votre impact factor. Aujourd'hui on vous le demande, quel que soit votre âge ; ces métriques ne sont pas relatives à l'âge. Or, on n'a pas le même H index quand on a 25 ans qu'à 45.

Dans le milieu même de la recherche l'usage des métriques est-il controversé ou est-ce seulement vis-à-vis de l'administration ou des investisseurs, dans la recherche d'investissement pour des labos, des revues, que la métrique est controversée ?

Dans le monde de la recherche, l'usage de la métrique est très controversé. En revanche concernant, les citations entre chercheurs qui se connaissent, etc, cela s'est toujours fait puisqu'il est normal de citer des gens dont on connait les travaux, dont on sait qu'ils sont de qualité.

Et vous-même en tant que chercheuse utilisez-vous l'impact factor pour choisir vos lectures ?

J'utilise le classement de l'AERES, de l'OST, de l'impact factor, etc. Il y a profusions de classement.

La sphère de financement a réussi a imposé à la sphère de la recherche...

Alors pour revenir aux histoires de sphères de financement, c'est surtout le cas en pharmaco ; parce que là il y a des gros laboratoires, des gros lobbies. En revanche, dans les autres disciplines cela est moins présent. Et puis les chercheurs savent qui finance quelle revue et ils préfèrent souvent publier dans des revues indépendantes.

L'impact factor aurait-il participé à la disparition des revues indépendantes ?

Non je ne crois pas qu'on puisse établir une causalité aussi claire.

Si les chercheurs ont intérêt à publier dans des revues très cités et que les publicitaires ont intérêt à financer que des revues très cités, n'y a-t-il pas le risque d'une disparition des petites revues au profit de quelques grosses ?

Non parce que le nombre de pages d'une revue n'est pas illimité. Le temps d'attente pour publier est très long, et le taux de sélection est très faible donc ceux qui ne sont pas retenus se tournent alors vers les autres revues.

Mais de ce fait, s'il y a une très forte sélection dans les revues à fort impact factor, est-ce que finalement les articles publiés dans les revues à fort impact factor sont les meilleurs et donc qu'effectivement les revues à fort impact factor sont effectivement de meilleure qualité ?

Oui mais le jugement de la qualité d'un article est subjectif. Les revues à fort impact factor ont tout le loisir de publier les articles qui leur semblent les meilleurs mais tout le subjectif réside dans « qui vous semblent les meilleurs ». Et puis il y a des effets de mode, des sujets qui ont le vent en poupe, etc.

D'autres indices métriques seraient-ils plus judicieux pour mesurer la qualité d'une revue ?

L'impact factor est en tout cas l'indice qui a le vent en poupe.

Vous dans l'évaluation d'une revue à quoi faites-vous le plus confiance ?

Aux classements plus que sur les indices métriques. Mais ces classements sont très controversés.

Mais n'est-ce pas deux logiques qui s'opposent : le monde de la recherche repose sur la créativité, l'originalité, tandis que le monde des financements semble vouloir imposer un impératif d'ordonnancement pour avoir des informations sur les investissements les plus créatifs ?

Non, non je pense que dans le monde de la recherche lui-même on a besoin de ces classements, ces indices, pour inviter ou recruter des chercheurs étrangers, etc.

Et lorsque vous parliez des externalités positives, dans le sens d'un partage des connaissances, d'une contribution au savoir scientifique, n'est-il pas normal que ceux les plus cités, donc les plus importants contributeurs à ce savoir commun, obtiennent plus de prestige, de rémunérations, etc. ?

Oui mais il est difficile de mesurer l'influence d'un chercheur.

La citation est une mesure d'influence et de rayonnement scientifique, mais après est-ce qu'on lit toujours l'intégralité des travaux qu'on cite ?

Auriez-vous des suggestions de personnes à contacter pour nous éclairer dans la controverse ?

Pour avoir des positions vraiment tranchées sur la controverse tournez vous vers l'OST, les grands organismes d'évaluation comme l'AERES comme ils ont adopté un certain nombre d'indicateurs métriques ils vont essayer d'être pour.
D'après moi la configuration de la polémique c'est que Les individus sont plutôt contre et les institutions qui sont censés avoir une vision plus agrégée, vont être plutôt pour parce qu'elles sont assez démunies, il leur faut des outils pour avoir une vue globale et les outils ne sont pas pléthores.

Entretien avec O. Gandrillon

Pouvez vous en quelques mots nous dire qui vous êtes, quel rôle vous jouez au sein du SLR et quel rôle le SLR joue au sein de la communauté scientifique et au-delà (influence dans le milieu politique …) ?

Je m'appelle Olivier Gandrillon. Je suis DR2 CNRS et dirige une équipe de recherche en biologie systémique à la DOUA à Villeurbanne au sein du CGPHYMC.

Je me suis investi dans SLR dès la naissance du collectif et ai participé à tous ses combats, notamment en animant le bureau de SLR-Lyon. Je suis membre du CA de SLR national.

Quand au rôle de SLR, ce serait trop long de répondre par écrit. En gros l'expression d'une partie de la communauté. Avec des relais (ex-SLR) dans des partis de gauche.

En tant que chercheur, utilisez vous l'impact factor, êtes vous évalué par cet indicateur ou par d'autres indicateurs bibliométriques ?

Oui, il m'arrive de l'utiliser, même si rarement, dans un cadre d'évaluation.

Oui clairement je suis évalué sur ce paramètre (mais plutôt sur sa version dérivée, le H factor).

Vous arrive-t-il d'utiliser des indicateurs bibliométriques pour juger de la pertinence d'une publication scientifique, pour estimer l'importance de chercheurs dans votre environnement de travail, dans le cadre de projets communs, ou simplement par curiosité ? Pouvez-vous indiquer brièvement les raisons de cette utilisation / non-utilisation ?

Dans le cadre d'évaluations de dossiers, je peux être amener à regarder pour des revues que je ne connais pas quel est leur facteur d'impact. Cela n'a jamais cependant contribué de manière significative à ma décision, même si ça peut l'éclairer. J'ai beaucoup regardé mon propre H-factor à l'époque ou je candidatais au CNRS pour un poste de DR2. Depuis que je l'ai obtenu j'ai totalement cessé de le regarder.

L'utilisation des indices métriques a-t-elle une incidence sur la carrière des chercheurs ? Sur l'orientation donnée à la recherche ?

Oui, bien évidemment. Nous essayons en permanence (nous = biologistes) de publier dans les revues avec les meilleurs facteurs d'impact. Nous sommes conscients que notre carrière (postes et financements de nos travaux) en dépendent. Donc nous aurons tendance à privilégier des orientations de recherche dont nous espérons (à tort ou à raison) qu'elles nous permettrons de publier au plus vite au meilleur niveau.

Considérez vous l'impact factor comme un bon indicateur pour l'évaluation du travail scientifique ?

Non, en aucune manière. Il faut avoir une idée claire des biais introduits par ces indicateurs. L'impact facteur mesure notamment très bien la taille de la communauté. Ce qui ne me semble pas un critère de qualité scientifique. De plus le H facteur est très corrélé à l'âge, et au taux d'autocitations, ce qui là encore ne mesure pas une qualité scientifique.

De plus la question de la « qualité scientifique » est une question complexe. Il existe au sein de la communauté tout un tas de collègues (dont j'estime faire partie) qui ne produiront sûrement pas des avancées majeures mais qui vont consolider par un travail acharné des avancées, ouvrir de nouvelles perspectives, etc… Ce travail est tout aussi important que celui des « top guns ». De plus les efforts que je mène pour ouvrir des fronts de recherche interdisciplinaires nécessitent aussi des temps très longs sans forcément de concrétisation au meilleur niveau. Ce travail ne me semble pas du tout « couvert » par l'analyse des facteurs d'impact.

Entre pertinence d'une publication scientifique, renommée d'un article, degré de diffusion au sein de la communauté scientifique, publication dans une revue prestigieuse, comment évaluer le travail scientifique ?

Il est impossible de répondre en deux lignes. Le drame est que l'évaluation est extrêmement chronophage. Il faut lire les articles, et interviewer les personnes de manière sérieuse. Les tenants de l'élitisme prétendent pouvoir très rapidement pouvoir séparer « le bon grain de l'ivraie ». Pourquoi pas sur les 5 % à chaque extrémité du spectre (en encore) mais clairement pas pour le « ventre mou » des 90 % intermédiaires.

La VRAIE question est : est-il pertinent d'évaluer la science ? Qui évalue l'art ?
Est ce que les efforts (financiers et humains) qui devraient être engloutis dans une évaluation de qualité ne seraient pas mieux utilisés à FAIRE de la science? (Sanchant qu'on ne saurait imaginer une classe d'évaluateurs professionnels. L'évaluation de la science DOIT être faites par des scientifiques actifs).
Cette folie de l'évaluation est en train de gangréner le système scientifique à l'échelle mondiale. Les avancées majeures en physique ou en biologie au début du siècle se sont faite en absence de telles mesures.

>L'évaluation d'un travail scientifique peut aussi être considérée sous le prisme de l'évaluation du chercheur lui-même. L'impact factor peut-il permettre d'évaluer la performance de la recherche pour un acteur scientifique donné ?

C'est le H facteur. La réponse est non.

Ces dernières années ont été marquées par l'instauration d'agences d'évaluation de la recherche, de l'apparition d'indicateurs, comment expliquer cette volonté soudaine d'évaluer la recherche ? Cette apparition s'explique-t-elle par une modification des pratiques de la recherche ? Ou sont-ce les indices métriques qui ont modifié les pratiques de la recherche ?

Non les pratiques « endogènes» de la recherche n'ont pas été modifiées. Ce qui est en jeu ici c'est l'imposition de l'extérieur (par les politiques) des pratiques managériales dérivées de l'industrie visant à « améliorer la productivité » de la recherche (création de l'AERES, qui résume tout son travail d'évaluation à une seule note : on culmine dans le grand n'importe quoi). Le résultat est là : désastreux.

D'où vient cette volonté ? Qui cherche à évaluer la recherche ? Cela ne paraît-il pas essentiel de pouvoir juger facilement de la pertinence des travaux de ces collègues ? Ou cette évaluation vient-elle du milieu extra-scientifique ?

Non je ne pense pas qu'il s'agisse d'une volonté de s'évaluer entre collègues (même si certains collègues ultra élitistes ont poussé à mort dans cette direction pour « faire le ménage »). Je pense qu'il s'agit juste d'une volonté générale des politiques publiques de calquer le modèle industriel, pour lequel ils ont les yeux de Chimène. L'idée est qu'un singe devrait pouvoir évaluer la recherche scientifique. Il y a à la fois une vraie volonté de piloter et une ignorance crasse de la réalité de la recherche.

Evaluer, mathématiser, classer... ces mots ne font-ils pas écho à mettre en concurrence, rentabiliser, faire des économies ? N'y a t il pas une logique économique derrière ces indicateurs bibliométriques ? Cela revient-il à dire qu'il y a une volonté de rendre la recherche efficiente économiquement ?

Oui, absolument. C'est l'idée folle du « New Management » que cette numérisation va permettre d'établir des tableaux de bord avec des indicateurs qui vont permettre de savoir si on avance dans la « bonne direction ». Résultat des courses : tout ce qui n'est pas couvert par un indicateur crève.

Vous sentez vous mêlé à la controverse scientifique sur l'impact factor et plus généralement aux controverses actuelles sur les indicateurs bibliométriques ? La cartographie des controverses cherche à identifier les « acteurs » d'une controverse. Dans le cas d'une réponse positive à la première partie de la question, diriez vous que vous êtes un acteur « associatif » (en tant que membre de SLR), ou acteur « scientifique », au sens où vous menez vous-mêmes des recherches alimentant directement la controverse ?

Oui, je défends autant que possible l'idée que les pratiques d'utilisation systématique de l'utilisation d'indicateurs chiffrés doit être abandonnée. Je n'ai pas d'activité de recherche SUR cette question. Donc je dirais que je suis un acteur associatif.

Sur quel aspect diriez-vous que la controverse scientifique se joue réellement par rapport à l'impact factor : sur le plan de la construction des indicateurs, ou sur l'utilisation qui en est faite (fait d'évaluer la recherche, les chercheurs, …) ?

Clairement on ne saurait distinguer les deux. L'idée même de calculer une « efficience scientifique » doit être dénoncée. Je ne pense pas que si on veut une évaluation de qualité (mais voire plus haut : est ce nécessaire ?) on puisse faire l'économie d'une approche qualitative (lire et écouter) extrêmement chronophage.

Entretien avec S. Saha

In your article, you assure that the use of the impact factor is pertinent to classify the journals. Do you think this Impact factor could be useful to assess the scientists and allocate them their budget?

I don't believe that the reliability of the IF of journals for predicting the quality of individual research studies is high enough to allow this degree of judgment and decision making. The IF of journals where one's work is published provides a rough estimate of the quality of work, but there is too much potential for error. For instance, some very important and groundbreaking work ends up in lower-tier journals because it is novel, and high IF journals often publish "big news" studies that occur later in the pipeline of discovery but not necessarily early, seminal studies. In addition, different types of studies get cited at different rates, depending on how soon the information becomes relevant to other scientists.

The impact factor is in the root of some discrepancies, as false articles which have a very high impact factor because it is quoted as counter-example. How can we regulate that?

I don't think this is a big issue for journal IFs. It is unlikely that any journal will publish so many "contre-example" studies that its IF will be elevated by citations of those studies. It is more important as a potential problem for individual study citation rates. I don't know that there's an easy way to regulate that, though. Citation indices are mathematical formulas, and it is not realistic for anyone using those indices to investigate whether citations are negative or positive. If that were possible, then there would be no reason to use the indices as a shortcut. If one uses citation indices as a shortcut for judging the quallity of someone's work, then one is stuck with the limitations of that mechanism.

Do you think that the bibliometric indicator change the scientist work, by encouraging them to produce more and more publication, in order to maximize their impact factor?

If you are talking about individual IF, then yes I think it does. And it also encourages writing review articles, which are cited more frequently, over original studies. But if you are talking about journal IFs, then no. It takes more time and effort to produce an article for a high IF journal, so the use of journal IFs encourages more substantive work that can be published in top tier journals.

Which improvement or alternative could be use to maximize the correlation between the quality of a journal and its impact factor?

Adjustment for different citation "speed" in different disciplines. Adjustment for type of article (e.g., review articles, perspectives vs. original research)

How does the impact factor affect you? Why did you decide to study it?

It doesn't affect me much. Promotion committees look at it sometimes, and all journals obsess about it. I'm on the editorial board of a journal, and our editors are very focused on how to increase the IF, which I think is a problem in that it gives incentive to publish articles just for their citatability, rather than their true contribution to science. I decided to study it because it was on the rise as a way of judging scientists, especially in Europe, and we had a database from a study designed for a different purpose that allowed me to see whether practicing physicians' ratings of journal correlate with Ifs.

In your article you explain that the impact factor may be a good indicator, can you explain that ?

I meant that it tracks with practicing physicians' ratings, meaning it is a good indicator of the quality of journals as judged by readers (as well as by scientists, which we already knew, since it is the scientists who are generating the citations). That's all.

Do you think that the use of the impact factor has change over the years ? Did it take a « financial side » ? (in the sense that a higher impact factor can provide more financiation)?

It has had an impact on journals. They all try to raise their IF for marketing purposes. In the U.S., I don't think IFs have been used beyond that.

In your opinion what is the main use of the impact factor ? Does it really facilitate the work of a scientific ? If it wasn't used will things be that different ?

I don't think journal IFs serve a critical function. They help journals determine if the work they are publishing is being cited, and they give a rough estimate of whether a journal is producing work that is of value to other scientists. But the use of IF for other purposes has gotten out of control. The harm may be greater than the benefit at this point.

We know that the opponents of the impact factor try to find an alternative of the impact factor but they haven't succeed for now. Do you think that they will find another indicator in the future ?

I don't think there is any simple shortcut to judging the quality and impact of scientific work. Any other shortcut will also have unintended consequences, just like the IF. It is possible that other indices might complement the IF and allow for a more holistic evaluation. But no single index will allow for a quick and dirty judgment of the quality of science.