Evaluation

This article is based on a keynote speech given at the OASPA conference in Leuven on 22 September 2025 critically analyzing the power relations surrounding open knowledge. The central thesis is that what matters is not who owns knowledge, but who can use, produce and evaluate it –…

L’OSMI a développé une infographie afin de faciliter l’appropriation des principes pour mesurer l’ouverture de la science. Ces principes reposent sur trois piliers essentiels : la pertinence et l’importance, la transparence et la reproductibilité, et l’auto-évaluation et l’utilisation responsable. Ils ont été élaborés en tenant compte des différents contextes, capacités…

It has become increasingly likely that Large Language Models (LLMs) will be used to score the quality of academic publications to support research assessment goals in the future. This may cause problems for fields with competing paradigms since there is a risk that one may be favoured, causing long term…

« En 2021, l’American Library Associations (ALA) a publié une fiche destinée à permettre aux bibliothèques d’évaluer leurs politiques en matière d’équité, diversité et inclusion (EDI). Si cet outil nous semble pertinent à la fois comme un moyen d’amélioration en interne et comme un indicateur partageable en externe, les contextes nord-américain…

Dans une pré-publication récemment déposée sur arXiv intitulée « The Drain of Scientific Publishing », des scientifiques alertent sur l’état de l’édition scientifique et appellent les acteurs de la recherche à travailler de concert pour réformer le système. Cet article souligne comment la domination par les grands éditeurs commerciaux, principalement basés dans des pays riches économiquement,…

« Les chercheuses et chercheurs produisent et partagent des données tout au long du processus de recherche. Pourtant, les jeux de données sont actuellement peu pris en compte dans le cadre de l’évaluation de la recherche, qui se concentre souvent sur les publications.
C’est de ce constat qu’est née l’initiative…

« (…) Ce rapport s’attache à suggérer un certain nombre de pistes pour améliorer la qualité de l’évaluation des chercheurs, de leurs projets scientifiques ainsi que des équipes et des unités de recherche. Les dérives potentielles de l’édition scientifique commerciale sont mises en évidence et expliquées. Le rapport explicite aussi les…

« In December 2021, the Canadian Association of Research Libraries (CARL) released the CARL Library Impact Framework (CLIF).  While library impact has been a topic of discussion for many years, CLIF offers a new contribution to the dialogue on the demonstration of impact of research libraries.  The concept of impact pathways…

« Following a flurry of policies for Open Science (OS), there is now a wave of initiatives to monitor its adoption. However, the great diversity of understandings and activities related to Open Science makes monitoring very challenging. There is a danger that by focusing on what can be readily observed (e.g.…

Research data and software are widely accepted as an outcome of scientific work. However, in comparison to text-based publications, there is not yet an established process to assess and evaluate quality of research data and research software publications. This paper presents an attempt to fill this gap. (…) »