La bibliométrie, indice de valeur scientifique ou de notoriété ?

Journals and researchers are ranked in different ways through the use of specific metrics. In this post, our colleague Isabelle Vuillemin-Raval gives you a short introduction on what metrics are, why they were created, and why they are problematic and should be used with care. 

D’où vient la bibliométrie ?

La bibliométrie peut être définie comme “l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication” (A. Pritchard, Statistical bibliography or bibliometrics, 1969, vol. 25, n° 4, p. 348-349).

Les premières études bibliométriques remontent à la fin du XIXe siècle. Elles avaient pour but d’établir des listes des revues les plus importantes. En 1934, Samuel C. Bradford, bibliothécaire du Musée de Science de Londres, établit la “loi de Bradford”, qui démontre que dans chaque domaine scientifique, un nombre restreint de revues publie l’essentiel des articles notables.

Dans les années 1960, Eugene Garfield crée le fameux Science Citation Index qui est la première base de données bibliographique incluant les citations. Celle-ci souligne par exemple que les journaux Science et Nature sont centraux dans l’ensemble des sciences dures, et permet aux bibliothécaires d’identifier les revues incontournables auxquelles s’abonner.

La bibliométrie a progressivement pris de l’importance : l’évolution technologique a permis d’engranger toujours plus de données, l’utilisation d’indicateurs de performance s’est généralisée, et un indice permet un gain de temps certain pour évaluer la recherche. De nombreux indicateurs ont été créés et réévalués, comme récemment l’altmétrie.

Quel usage en faire ?

La bibliométrie fournit des indicateurs de mesure utiles pour évaluer la “notoriété” scientifique d’un organisme, d’un auteur, d’un article ou encore d’un titre de revue sur la base d’informations quantitatives (nombre de citations, liste de sources, années couvertes, type de documents). Les outils bibliométriques peuvent aider à répondre aux questions suivantes :

Comment entamer ma recherche ? Consultez les articles les plus cités sur le sujet pour acquérir une base pour votre recherche

Comment trouver des collaborateurs dans d’autres institutions ? Identifiez les groupes de chercheurs les plus actifs dans votre domaine

Où publier un article ? Identifiez les principaux titres de revue d’un domaine particulier, ciblez un lectorat ou visez une revue d’excellence

Où postuler ? Comparez la production scientifique de différentes institutions académiques, que ce soit pour vos études ou pour un poste de recherche

Quel professeur ou chercheur engager ? Lors de l’étude des dossiers de postulation, l’impact de la recherche d’un professeur ou d’un chercheur est étudié

A qui attribuer des financements ? Les agences de financement de la recherche prennent parfois en compte l’importance et la visibilité des travaux précédents d’un chercheur ou d’une institution au moment de choisir comment distribuer leurs fonds et bourses.

Les dérives de la bibliométrie

Certains des points évoqués plus haut devraient vous inspirer des réserves : il est en effet possible d’abuser du système ou d’en tirer des conclusions erronées. L’utilisation exagérée d’indices bibliométriques comme moyen d’appréciation peut générer des effets pervers sur la production académique.

Certains chercheurs auront tendance à multiplier le nombre de publications en morcelant les résultats dans plusieurs articles générant chacun des citations pour améliorer leur indice bibliométrique personnel. Ceci est fait au détriment de la qualité des publications. L’autocitation abusive est un autre exemple de dérive.

La surutilisation d’indices bibliométriques peut faire craindre l’apparition d’une asphyxie scientifique si les chercheurs commencent à orienter leurs recherches dans les domaines financièrement porteurs au détriment de sujets pertinents mais moins populaires.

L’histoire académique nous fournit un exemple de choix quand au non-sens de l’usage de la bibliométrie. Le professeur Peter Higgs, père du fameux boson de Higgs et prix Nobel de physique 2013, avait ainsi déclaré qu’il n’était pas rapide en matière de découvertes scientifiques et qu’il ne publiait pas assez régulièrement pour rester dans la course. Son indice bibliométrique était donc très faible et son employeur, l’Université d’Edimbourg, avait failli le rayer de la carte de ses chercheurs peu avant qu’il ne découvre la particule élémentaire qui l’a rendu célèbre.

Qu’en pense la communauté scientifique ?

Le monde académique est conscient des risques des ces mesures et des répercussions sur la recherche. En 2013 a été créée la Déclaration de San-Francisco sur l’évaluation de la recherche, plus connue sous l’acronyme DORA. Elle couvre toutes les disciplines scientifiques et dénonce l’usage croissant d’outils bibliométriques (cf. poster présentant les buts de DORA). A ce jour, environ 475 Institutions et près de 12 000 particuliers ont signé cette déclaration, dont le Fonds national suisse de la recherche scientifique (FNS).

D’autres recommandations sont disponibles sur internet, comme Snowball metrics, fruit d’une collaboration entre Elsevier et plusieurs universités. Son but est d’établir des standards d’évaluation de la recherche au niveau international.

Citons également The Leiden Manifesto (qui énonce dix principes pour guider l’évaluation de la recherche), ainsi que le rapport britannique The Metric Tide, qui réclament la mise en application de recommandations quant à une utilisation responsable des données bibliométriques.

Il convient donc d’aborder la question avec beaucoup de précautions. Je vous propose donc d’exposer dans un prochain billet une liste d’indicateurs qui précise leur utilité et leurs limites.


Pour aller plus loin :

LSE Impact Blog – metrics

Responsible Metrics website

Gingras, Y. (2015). « Dérives et effets pervers de l’évaluation quantitative de la recherche : sur les mauvais usages de la bibliométrie ». Revue internationale PME, vol. 28, no 2, pp. 7-14

Abbott, A., et al. (2010). Do metrics matter? Nature, 465(7300), 860-862.

Barnes, C. (2017). The h-index Debate: An Introduction for Librarians. The Journal of Academic Librarianship, 43(6), 487-494.

Illustration: Pxhere, CC0 (public domain)

One thought on “La bibliométrie, indice de valeur scientifique ou de notoriété ?

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.