La Scientométrie et ses limites

La scientométrie est communément appelée « la science de la science ». En d'autres termes, il s'agit de la science qui se propose de mesurer l'activité scientifique. Ce travail est effectué à partir d'une base de données déterminées au sein de laquelle sont décomptées le nombre d'occurrences concernant le chercheur ou l'organisme dont on a choisi de mesurer l'activité scientifique. La bibliométrie et la webométrie sont deux techniques de la scientométrie respectivement appliquées aux documents écrits et à l'Internet.

Lire l'interview de Rémi Barré pour plus de précisions sur la distinction "scientométrie" et "bibliométrie".

A travers la technique bibliométrique, la scientométrie est directement investie dans l'élaboration du classement du THES-QS. Elle permet de constituter son critère trois (le THES en compte six), pour lequel est comptabilisé, au sein de la base de données SCOPUS, le nombre de travaux publiés par les chercheurs d'une université donnée et le nombre de citations de ces travaux par les pairs.

Les critiques portées à la scientométrie

La scientométrie n'est pas considérée comme une science exacte. La bibliométrie, utilisée dans les classements des universités, est limitée par sa source : les bases de données. En effet, les bases de données sont loin d'être exhaustives et favorisent les publications écrites anglais.

Nous avons effectué une recherche sur les bases de données ESI et ISI, que nous avons comparé aux résultats du h-index, indicateur scientométrique ayant Google pour base de données.

Lire l'interview de Julien Rault pour plus de précisions sur le h-index.

La tableau suivant compare les résultats bibliométriques de 9 chercheurs.


On remarque plusieurs problèmes :

Un indicateur moins élevé chez les chercheurs qui ne sont pas de langue maternelle anglaise comme Roberto DaMatta ou Gilles Kepel, pourtant très reconnus respectivement au Brésil et en France.

Un indicateur moins élevé chez les chercheurs en sciences sociales, comme Olivier Dabène, Roberto DaMatta, Dominique Reynié et Gilles Kepel. Tandis que les chercheurs en sciences dures, comme M.R. Capecchi, sont plus avantagés.

Bruno Latour a une moyenne plus élevée que Pablo Jensen dans ISI. Cependant, Pablo Jensen figure dans ESI, censé être "la crème" d'ISI. Comment expliquer ce fait ? En réalité, ISI ne prend en compte que la première lettre du prénom du chercheur. On n'y trouve pas Bruno Latour mais Latour B*, on ne trouve pas Pablo Jensen mais Jensen P*. Or, il se trouve que si pour Latour B*, les publications correspondent bien à Bruno Latour, pour Jensen P*, on compte aussi les Peter, Patrick, Philipp, etc. Or on ne peut isoler les "Pablo". Ainsi, certains chercheurs ayant la chance de posséder des homonymes ont une meilleure moyenne sur ISI et ESI. Ainsi est-ce vraiment le même A* Smith qui écrit dans Dance Magazine, Genome Biology et American Journal of Agricultural economics ?

Les chercheurs qui publient dans les livres plutôt que dans des articles, comme Olivier Dabène, Dominique Reynié, Roberto DaMatta ou Peter Galison, ont des moyennes peu élevées dans ISI, puisque les livres ne figurent pas dans les bases de données...

 On voit ensuite que M.R. Capecchi a un résultat inférieur à B. Latour dans ISI, or Capecchi est dans ESI... Pourquoi un chercheur A ayant plus de citations sur ISI qu'un chercheur B, figurerait dans ESI, et non le chercheur B ?