La bibliométrie est l’analyse quantitative de la production scientifique et l’analyse des réseaux de cette production. Elle peut se faire à différentes échelles. A l’Institut Pasteur, par exemple, les études bibliométriques portent sur la production scientifique d’un chercheur, d’une unité, d’un département ou encore d’un projet. Mais il existe aussi des études bibliométriques à l’échelle d’une institution, d’un pays, d’un continent, etc.
Trois personnes travaillent sur la bibliométrie à la bibliothèque du CeRIS, en collaboration avec les chercheurs mais aussi avec la direction et les services support. La bibliothèque accompagne les pasteuriens dans le calcul de leurs indicateurs et réalise des études bibliométriques complètes.
La bibliométrie sert principalement à piloter la recherche. Elle permet notamment :
Pour répondre à chacun de ces besoins, il existe un certain nombre de méthodes ou d’indicateurs différents. Il est nécessaire de bien comprendre ce que représente chacun d’entre eux afin de choisir les indicateurs adéquats.
La bibliométrie peut aussi être prise en compte dans l’évaluation des chercheurs. Toutefois, il est recommandé :
Depuis plusieurs années, un nombre croissant d’institutions dénonce les effets pervers liés à l’utilisation des indicateurs pour l’évaluation des chercheurs. Par exemple :
Suite à ces initiatives, un certain nombre d’organismes comme le Haut Conseil de l’Evaluation de la Recherche et de l’Enseignement Supérieur (HCERES) se positionnent pour une évaluation plus qualitative, qui n’utilise pas le facteur d’impact et l’indice h et qui prenne en compte toutes les activités des chercheurs, y compris l’enseignement, la recherche appliquée ou encore la vulgarisation scientifique.
Le facteur d’impact : un indicateur très critiquéCet indicateur a été détourné de sa fonction initiale : créé pour mesurer l’impact d’une revue et permettre aux bibliothèques de sélectionner les titres auxquels s’abonner en priorité, il a été utilisé pour l’évaluation des chercheurs et certains se sont rendu compte qu’on pouvait le manipuler. L’Institut Pasteur ne l’utilise plus pour l’évaluation de ses chercheurs.
Tous les indicateurs ont leurs avantages et leurs inconvénients. Il faut donc choisir les indicateurs adéquats en fonction de l’objectif de l’analyse bibliométrique.
Des précautions à prendreLes indicateurs bibliométriques ne donnant qu’une image à un instant donné, il faut toujours les replacer dans leur contexte et en utiliser plusieurs à la fois. Un indicateur n’étant pas une note absolue, dans tous les cas, il faut aller vérifier les valeurs qui semblent anormales en retournant éventuellement aux publications.
Le besoin d’amélioration des indicateurs existants et l’usage des réseaux sociaux ont entrainé la création de nouveaux indicateurs.
Les bases de données servent à constituer le corpus de références bibliographiques à analyser. Toutes les bases de données ont leurs limites et leurs inconvénients (ergonomie, thématiques couvertes, nombre de revues et de livres indexés et période temporelle). Il faut donc choisir la base de données en fonction de l’objectif de l’analyse bibliométrique.
Les deux bases de données payantes, toutes les deux disponibles à l’Institut Pasteur sont :
Créée dans les années 1960, c’est la base de données historique en bibliométrie sur laquelle s'appuient plusieurs classements internationaux comme l'Academic Ranking of World Universities (ARWU) aussi appelé "Classement de Shangaï". Les limites de sa couverture sont connues, ce qui permet de connaître ses biais inhérents comme le fait que les sciences humaines et sociales ou l’économie n’y sont pas bien représentées.
Cette base est plus récente (2004) et de plus en plus utilisée. Quelques classement internationaux l'utilisent comme le Times Higher Education (THE). Elle a une couverture plus étendue que le WoS en termes de thématiques et au regard du nombre de revues et de livres indexés. Toutefois, on ne connait pas précisément sa couverture temporelle.
Il n’existe pas d’alternative réelle à ces deux bases de données
Toujours citer la base de données sourceTout le monde, en utilisant des bases de données, peut calculer ses indicateurs. D’une base à une autre, la valeur de ces indicateurs peut changer (en fonction notamment de la couverture de la base), c’est pour cela que l’on indique toujours la base de données et les filtres utilisés.
Une fois le corpus de références constitué à partir des bases de données, les références sont envoyées vers un outil d’analyse pour être traitées et générer ainsi soit des indicateurs chiffrés, soit des représentations visuelles.
Les deux outils les plus utilisés ont été développés par les éditeurs des deux bases de données commerciales :
Ces deux outils sont utilisés à l’Institut Pasteur. Ils permettent d’analyser le corpus de référence récupéré à partir des bases de données et de générer les indicateurs bibliométriques.
Ces outils permettent de visualiser les données de manière plus parlante et plus agréable sous forme de cartes. Les logiciels gratuits les plus connus sont VOSviewer et Gephi. Ils permettent :
l’analyse de grandes quantités de mots (texte intégral des publications)
la recherche des cooccurrences de mots et la production de clusters de mots
la traduction des résultats sous forme de carte.
Les cartes générées viennent souvent compléter les analyses bibliométriques classiques et intéressent autant les chercheurs que les décideurs, dans le but par exemple, d’identifier des concurrents, des collaborations, ou des thématiques.
Tout d’abord parce que les personnes de la bibliothèque savent quels indicateurs utiliser. Ensuite parce qu’elles prennent le temps de corriger les données. Il y a en effet beaucoup de petits pièges à éviter (homonymie, changement d’unité,…) qui nécessitent une grande attention, c’est ce qui garantit la qualité de l’analyse. Enfin, parce qu’elles fournissent au demandeur un livrable complet, avec les indicateurs mais également les données brutes, les cartes et un rapport de méthodologie.
