Bibliographies, bibliométrie et impact de la recherche

ExtraHAL est un outil développé par l’Université de Rennes, qui permet d’afficher et d’exporter en RTF, CSV et/ou Bibtex des listes de publications HAL d’une unité, d’une équipe de recherche ou d’un auteur. Il est possible de sélectionner des périodes de publications (dates) ainsi que des types de documents et de choisir des options d’affichage et de style de citation (présentation des références d’articles). Pour plus d’information écrivez à : scienceouverte@college-de-france.fr

Zotero, est un logiciel de gestion de références bibliographiques, gratuit, libre et open source, développé par le Center for History and New Media (CHNM) de l'université George-Mason (Virginie). Cet outil permet de créer ou de récupérer automatiquement, à partir de ressources en lignes, et de conserver des données bibliographiques ainsi que des documents de recherche (fichiers PDF de résumé ou de texte intégral, images, etc.). Il facilite l'organisation, l'annotation, l'indexation, la recherche et le partage de ces données bibliographiques et permet de créer automatiquement des références bibliographiques (notes de bas de page ou citations dans le texte) ou de générer des bibliographies complètes (thématiques ou alphabétiques).

Le service des ressources en ligne, bibliométrie et appui à la recherche (DBAC) maintient la base bibliographique de la production scientifique des équipes de recherche et des professeurs du Collège de France dans la bibliothèque Zotero du Collège de France et veille à sa mise à jour régulière. Cette bibliothèque contient les publications en ligne et imprimés (articles, livres, chapitres, vidéo, audio…) des professeurs en activité ou honoraires ainsi que des membres des unités de recherche hébergés au Collège de France. Elle permet de générer :

• -Les listes de publication dynamiques des professeurs et équipes sur le site du Collège de France, via la base bibliographique Ramus : les références bibliographiques des publications des chaires et équipes du Collège de France;
• Les listes de publications publiées dans l’Annuaire du Collège de France ;
• Les listes de publication pour des rapports et évaluations (ESGBU …) ;
• La base Ramus, bibliothèque numérique à interface publique permettant de rendre visibles sur le web les références des publications des chaires et équipes de recherche du Collège de France ;
• Le Portail HAL du Collège de France via l’outil X2HAL ou bibliographie par bibliographie.

Des référents désignés au sein de chacune des unités de recherche du Collège de France ainsi que, dans la mesure du possible, auprès de chacune des Chaires, peuvent être formés à leur demande par le service des ressources en ligne, bibliométrie et appui à la recherche (DBAC) pour contribuer à l’alimentation de cette base.

Une formation complémentaire peut être proposée par les Éditions du Collège de France, pour rendre les listes de publications facilement exportables pour l’Annuaire.

Pour plus d’information ou pour être accompagné et formé à l’utilisation de Zotero contacter le Service des ressources en ligne, bibliométrie et appui à la recherche (DBAC) à l’adresse suivante : ressources.electroniques@college-de-france.fr

La base Ramus, conçue en collaboration avec le pôle Éditions (DACRE), la Direction des Systèmes d’Information (notamment le pôle Web), est gérée par le Service des ressources en ligne, bibliométrie et appui à la recherche de la Direction des bibliothèques, archives et collections (DBAC). Elle permet de rendre visibles sur le web les références bibliographiques stockées dans le logiciel Zotero concernant l’ensemble de la production scientifique de la communauté de recherche du Collège de France. La base Ramus utilise le logiciel libre Omeka S, outil développé par le Center for History and New Media (CHNM) de l'Université George Mason (Virginie), qui offre des fonctionnalités répondant aux principes FAIR (Faciles à trouver, Accessibles, Interopérables et Réutilisables) pour la diffusion de contenus multimédias. Cet outil permet de créer, à partir de données brutes de recherche et de leurs métadonnées, des bases de données thématiques visibles sur le web pour les valoriser et les partager. Les données bibliographiques recensées dans la base Ramus sont classées selon la typologie suivante :

• Articles publiés dans des revues scientifiques, livres, chapitres de livres ;
• Présentations rédigées dans le cadre de conférences ou de cours ;
• Vidéos, émissions de radio ;
• Articles d’encyclopédie.

Pour plus d’information écrivez à scienceouverte@college-de-france.fr

Le principe d’une évaluation de la recherche, des chercheuses et des chercheurs, de leur carrière et de leurs projets, fondé uniquement sur des indicateurs chiffrés est controversée. Le paradigme « Publier ou périr » (« Publish or Perish ») engendre en effet des maux qui sont bien connus de la communauté scientifique mondiale : augmentation disproportionnée du nombre de publications scientifiques, usage de bibliothèque pirate, absence de prise en compte des résultats négatifs, difficulté à trouver des reviewers, crise de qualité des études, augmentation des fraudes et du plagiat interrogeant l’intégrité scientifique etc.

Publiée en 2013, la Déclaration de San Francisco sur l'évaluation de la recherche (« San Francisco Declaration on Research Assessment », DORA) ou « Déclaration de San-Francisco », a notamment remis en question l'usage d’indicateurs basés sur les revues pour évaluer la recherche et les chercheuses et les chercheurs. À sa suite, le manifeste de Leiden (2015) a énoncé dix principes visant à améliorer les pratiques d’évaluation de la recherche, alertant notamment sur le mauvais usage de certains indicateurs bibliométriques, et l’Appel de Jussieu pour la science ouverte et la bibliodiversité (2017) a insisté sur la nécessité d’une profonde réforme des systèmes d’évaluation de la recherche (article 4). Depuis lors, les organismes de recherche s’accordent sur la nécessité de faire évoluer l’évaluation des chercheuses et des chercheurs, d’abandonner un certain nombre d’indicateurs et de prendre en compte une activité scientifique plus diverse que la simple publication des travaux. Après avoir signé la déclaration DORA en 2018, le CNRS a ainsi publié en 2019 sa feuille de route pour la science ouverte dont l’évaluation constitue un axe important, l’objectif affiché étant d’accélérer la transition vers un système d’évaluation plus équitable et favorable à l’essor des pratiques de science ouverte

En 2022, l’Appel de Paris sur l’évaluation de la recherche , lancé dans le cadre de la Présidence Française de l’Union Européenne lors de la première conférence européenne sur la science ouverte, a ensuite été à l’origine de la création de la Coalition for Advancing Research Assessment (CoARA) quelques mois après. Plus de 800 institutions réparties dans le monde - organismes de recherche, bailleurs de fonds, autorités d'évaluation, universités dont, en France, le CNRS et l’ANR - ont rejoint cette coalition, s’accordant sur une orientation commune et des principes directeurs pour mettre en œuvre une réforme de l'évaluation de la recherche, des chercheurs et des organismes de recherche, tels que décrits dans l' Accord sur la réforme de l'évaluation de la recherche publié en juillet 2022. CoARA prend ainsi la suite de la Déclaration de San Francisco (DORA), en y ajoutant un volet opérationnel, ses adhérents devant s’engager à publier un plan d’action précis.

En dépit de ces remises en cause profondes, liées aux imperfections des outils ou au mauvais usage qui en est fait, l‘évaluation de l’impact de la recherche reste encore dominée par le prestige des journaux, le nombre d’articles publiés et la valeur de l’indice h de la chercheuse ou du chercheur (voir ci-après, h-index) : le caractère concurrentiel de la recherche rend en effet nécessairement complexe la question de son évaluation.

• Les outils d’analyse « traditionnels » et leurs limites

  Des services d’analyse bibliométrique (ou de mesure d’impact) sont proposées par des outils spécialisés, des moteurs de recherche spécialisés ainsi que par des bases de données bibliographiques, en accès ouvert ou en accès restreint et payant. Les outils les plus utilisés sont encore aujourd’hui les suivants :

  Publish or Perish (PoP) est un logiciel propriétaire gratuit développé par la société commerciale britannique Tarma Software Research Pty Limited, qui recherche et analyse les références bibliographiques indexées par les moteurs de recherche spécialisés Google Scholar et Microsoft Academic Search. Le logiciel peut être téléchargé gratuitement à partir du site www.harzing.com.

  Web of Science Core Collection est le service d’analyse bibliométrique payant proposé par la société commerciale Thomson Reuters et intégré à la base de données Web of Science® (WoS) de l’éditeur commercial Clarivate Analytics.

  La plateforme permet de calculer des indicateurs de visibilité, d’effectuer des recherches selon plusieurs critères (sujet, auteur, titre de l’article, ou de la publication, etc.), de générer des indicateurs bibliométriques et d’effectuer des recherches par citations (nombre d’articles citant la référence et nombre d’articles cités par les auteurs). L’analyse d’impact des publications effectuée par Web of Science® porte sur les citations émises par les publications indexées dans ses bases de données. Les indicateurs de citations dépendent de la période couverte par l’abonnement à la base Web of Science® : si l’abonnement est par exemple limité à 10 ans de publication, le corpus analysé sera de fait limité à ces 10 années et les mesures de citations ne se rapporteront qu’aux publications de ce corpus restreint. Seules les publications dans les périodiques, ouvrages ou communications indexés par WoS apparaissent sur cette plateforme : les auteurs ne peuvent ainsi pas signaler directement leurs productions scientifiques si elles ne relèvent pas de publications qui y sont référencées. Dans ces limites, la création d’un profil WoS ResearcherID permet à un auteur de gérer la liste de ses publications et l’alimenter à partir de WoS.

  Scopus base de données bibliographique de l’éditeur commercial Elsevier propose également un outil de mesure d’impact en accès payant.

  Scopus permet le calcul d’indicateurs de visibilité et propose des outils bibliométriques additionnels pour analyser les références bibliographiques selon différents critères : auteur, organisme d’affiliation, pays d’affiliation, type de document, langue, année de publication, revue et thématique. Elle propose également des outils de parangonnage (benchmarking) permettant aux institutions d’analyser leurs stratégies de recherche sous différents aspects (classements, partenariats, impacts sur la société, financement etc.).

  L’analyse d’impact des publications effectuée par Scopus prend uniquement en compte les publications indexées dans sa base de données. Scopus calcule les indicateurs de visibilité pour un intervalle de temps correspondant à la période d’abonnement à la base de données.

  • Le Collège de France a accès via l’abonnement de l’Université PSL, dont il est membre associé, aux bases de données bibliographiques des éditeurs commerciaux Clarivate Analytics (Web of Science®) et Elsevier (Scopus).
  Bon à savoir : une hégémonie contestée.

  La place occupée par ces plateformes commerciales, utilisées depuis longtemps par les institutions de recherche pour analyser leurs productions scientifiques et se comparer, est aujourd’hui remise en question sous l’impulsion, notamment, du mouvement en faveur de la science ouverte mais également en raison des reproches formulées à leur encontre en termes d’absence de transparence, de manque de diversité et/ou de taux de couverture insatisfaisant. Les biais privilégiant les articles, les disciplines relevant des sciences, des techniques et de la médecine, la littérature anglophone ou plus globalement le monde occidental (« global north ») et les gros éditeurs ont ainsi pu être mis en exergue.

  En 2024, plus de 30 organisations impliquées dans le financement, l’évaluation ou la réalisation de la recherche ont ainsi signé la Déclaration de Barcelone sur l’information de recherche ouverte, par laquelle elles se sont engagées à prendre l’initiative de transformer la manière dont l’information sur la recherche est produite et utilisée. Un nombre croissant d’universités et d’établissements de recherche, parmi lesquels Sorbonne Université et le CNRS, s’affranchissent depuis progressivement des produits bibliométriques propriétaires tels que Web of Science® et Scopus, pour soutenir et consolider de nouveaux outils ouverts et participatifs, notamment l’outil OpenAlex (voir le chapitre « Les solutions alternatives : vers une bibliométrie plus ouverte et représentative »).

• Les principaux indicateurs d’impact et leurs limites

  Les indicateurs de mesure d’impact les plus couramment utilisés sont les suivants :

  Le facteur d’impact (FI) (ou Impact Factor (IF)) d’une revue correspond, pour une année donnée, au nombre moyen de citations reçues par l’ensemble des articles publiés dans la revue au cours des deux années précédentes (facteur d’impact à 2 ans) ou des cinq années précédentes (facteur d’impact à 5 ans) rapporté au nombre total d’articles publiés par la revue pendant la même période. Il prend en compte toutes les citations, y compris les « autocitations » d’articles de la revue effectuées par des articles de la même revue.

  Cet indicateur a été créé en 1955 par la société Thomson Reuters (US). Il est calculé par le service d’analyse bibliométrique d’accès payant Web of Science Core Collection intégré à la base de données Web of Science (WoS). Il est également accessible sur abonnement à la plateforme du Journal Citations Reports (JCR). Il concerne ainsi uniquement les revues indexées dans la base de données Web of Science (WoS).

  Le SCImago journal ranking (SJR) un indicateur similaire au facteur d’impact proposé par Scopus. Il mesure l’impact en accordant un poids relatif aux citations en fonction du prestige ou de l’importance des revues. Le SJR se base sur trois ans de données de citations provenant de Scopus.

  • Le facteur d’impact évalue ainsi indirectement la visibilité d’une revue scientifique. Il lui est reproché de ne pas être corrélé à la qualité intrinsèque des avancées scientifiques liées à une publication en particulier : le facteur d’impact n’évalue en effet pas les résultats de la recherche en eux-mêmes, mais le fait qu’ils aient été publiés dans une revue prestigieuse. C’est pourquoi la Déclaration de San Francisco sur l’Evaluation de la Recherche (DORA) suggère d’abandonner cet indicateur lors de l’évaluation individuelle des chercheurs.
• Le h-index ou facteur h d’un auteur est le nombre d’articles de cet auteur, qui ont reçu au moins h citations chacun. Il a pour but de quantifier la productivité scientifique et l'impact d'un auteur en fonction du niveau de citation de ses publications

Le h-index a été créé en 2005 par Jorge Hirsch du Max Planck Institute for Solid State Research (Allemagne). Il peut porter sur les revues indexées dans les bases de données Web of Science® (WoS) ou Scopus, ou sur les publications indexées par Google Scholar.

L’analyse est accessible sur abonnement sur les plateformes Journal Citations Reports (JCR), Web of Science Core Collection ou Scopus. Pour les publications indexées par Google Scholar, l’accès s’effectue via le logiciel Publish or Perish (PoP).

• Des biais importants ont été détectés dans l’utilisation de l’Indice h : il dépend de la durée de la carrière des chercheurs, favorisant ceux ayant déjà une longue carrière, et ne tient pas compte des autres types de documents produits, des pratiques de publication du domaine ni de la place de l’auteur dans la liste des auteurs. Les chercheurs actifs dans les disciplines pour lesquelles la fréquence des citations est élevée se trouvent ainsi par exemple favorisés. C’est pourquoi le Manifeste de Leiden recommande de ne pas l’utiliser.
• Les autres indicateurs courants de mesure d’impact des publications d’un auteur sont :
  • Le nombre total de citations reçues par publication ou pour un ensemble de publications : Cites (Publish or Perish - PoP), Times Cited (Web Of Science - WoS), Citations (Scopus) ;
  • Le nombre moyen de citations reçues par publication : Cites/Paper (Publish or Perish - PoP), Average Citations per Item (Web Of Science - WoS), Citations/Document (Scopus)
  • nombre moyen de citations reçues pour une publication ou un ensemble de publications par année : Cites/Year (Publish or Perish - PoP), Average Citations per Year (Web Of Science - WoS), Citations/Year (Scopus).
  • La fiabilité des indicateurs d’impact dépend également de la façon dont les auteurs s’identifient (utilisation d’identifiants pérennes et rédaction correcte de leurs affiliations).

L’observatoire des sciences et techniques (OST) du Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (Hcéres) produit depuis une dizaine d’années des indicateurs de production des établissements de recherche universitaire (IPERU) qui servent à caractériser leurs productions scientifiques et technologiques, suivre leur évolution et les positionner dans des espaces territoriaux de référence. Ils s’appuient sur trois sources de données : les publications, les brevets et les participations aux projets du programme-cadre de recherche et d'innovation de l’Union européenne. Pour ce qui concerne les publications, la source des données utilisée par le programme IPERU est la base bibliographique Web of Science® (WoS) de l’éditeur commercial Clarivate Analytics. L’analyse porte ainsi uniquement sur les publications indexées par cette base de données. L’observatoire des sciences et techniques (OST) explore toutefois la possibilité de diversifier ses sources de données bibliométriques, en élargissant en particulier les repérages effectuées aux bases HAL et OpenAlex. Le Collège de France reçoit chaque année dans le cadre de ce programme un rapport sur son positionnement dans le monde de l’enseignement supérieur et de la recherche national et international. Afin de bien faire remonter sa publication dans la liste des publications recensées pour IPERU, il faut que les chercheuses et les chercheurs respectent les règles de signature des publications scientifiques du Collège.

• Pour que les publications puissent être recensées dans le cadre du programme IPERU, les affiliations des auteurs doivent être correctement rédigées, en respectant les règles de signature préconisées par le Collège de France

Depuis quelques années, de nouveaux moteurs de recherche académique ouverts viennent compléter l'offre dominée jusqu’à présent par Google Scholar, Scopus et Web of Science®. Un nombre croissant d’universités et d’établissements de recherche, parmi lesquels Sorbonne Université et le CNRS, s’affranchissent ainsi progressivement de ces produits bibliométriques propriétaires pour soutenir et consolider de nouveaux outils ouverts et participatifs, favorisant la « bibliodiversité ».

OpenAlex est une base de données présentée comme une alternative ouverte et gratuite aux bases commerciales Web of Science® (Clarivate) et Scopus (Elsevier). Nommée ainsi en référence à la bibliothèque d’Alexandrie et gérée par l’organisation à but non lucratif OurResearch, OpenAlex exploite des données provenant de nombreuses sources ouvertes (Crossref, HAL, PubMed, PubMed Central, Unpaywall, ROR, ORCID, etc.). OpenAlex présenterait ainsi un taux de couverture supérieur aux bases concurrentes et une meilleure représentativité de la recherche (types de contenus, aires géographiques et linguistiques, cf. Global South).

L’utilisation d’OpenAlex à des fins d’analyses bibliométriques est à ce jour possible mais nécessite encore un travail important pour améliorer la qualité des métadonnées. Dans le cadre d’un partenariat pluriannuel avec OpenAlex mis en place en 2023, le ministère de l’Enseignement supérieur et de la Recherche français s’est engagé à apporter une contribution financière à son fonctionnement et à contribuer à l’amélioration des données, en particulier celles liées à la recherche française. Les décisions prises par plusieurs universités et établissements de recherche, parmi lesquels Sorbonne Université et le CNRS, de s’affranchir progressivement des produits bibliométriques propriétaires tels que Web of Science® et Scopus, pour soutenir et consolider l’outil OpenAlex, devraient également contribuer à en améliorer les données.

• OpenAlex est utilisé par les universités pour mesurer les progrès réalisés par leurs équipes de recherche en matière d'“ouverture” des publications : OpenAlex s'appuie sur les données du DOAJ ainsi que celles d'Unpaywall pour indiquer le statut (fermeture ou ouverture) et la voie utilisée pour la mise en accès ouvert (accès ouvert en voie dorée ou verte).

Matilda est un moteur de recherche académique multidisciplinaire basé sur des données ouvertes et sur un logiciel open-source. Son objectif est de faciliter l’accès et l’utilisation des données de références et de citations. Il ne s’agit pas d’une base de données bibliométriques permettant de réaliser des analyses poussées mais d’un outil pour aider les scientifiques à découvrir des références bibliographiques.

Le développement de Matilda est porté par le Centre de sociologie de l’innovation et Huma-Num et a bénéficié d’un appui financier de l’ANR et du CNRS. Matilda compile des données provenant de nombreuses sources ouvertes : ArXiv, PubMed, Crossref, RePEc, HAL, Unpaywall et ORCID.

Matilda se limite aux documents textuels académiques (cela exclut les logiciels, vidéos, photos, images, audio, etc.) mais revendique des principes d'égal traitement des textes scientifiques et de leurs métadonnées, en cohérence avec les engagements de la déclaration DORA. Aucune exclusion ou hiérarchisation en fonction de la langue, du type de document n’est ainsi effectuée, ce qui lui permet d’offrir une couverture potentiellement plus étendue que les autres moteurs de recherche pour les langues autres que l’anglais.

La couverture temporelle de Matilda est pour le moment limitée : les documents référencés dans Matilda sont ceux ayant été publiés au plus tôt en 2019 sur les sources Matilda ou ayant été cités par un document lui-même publié après 2019. Seule la source HAL comprend aujourd’hui l’ensemble de l’historique, mais Matilda contiendra à terme la totalité de chacune des sources.

Pour plus d’information sur la bibliométrie, les rapports et le programme IPERU, écrivez à scienceouverte@college-de-france.fr