La méthodologie du classement: comment classe-t-on?

Une grande différence de méthodes

Les méthodes utilisées varient énormément. Les divergences portent sur la définition de la qualité, ses critères et indicateurs, les méthodes de mesure et le format de présentation; elles se traduisent par des formules très différentes de classement, qui produisent des résultats eux aussi très différents.

Les classements se fondent sur des indicateurs pondérés

Les médias cherchent à produire des tableaux de classement (league tables) assignant un rang à chaque université. Plus le rang est élevé, meilleure serait la qualité, et vice-versa. Comment parvient-on à ce résultat? On pose une définition de la qualité des universités, puis on mesure ses divers aspects à l’aide d’indicateurs. La note globale est obtenue par pondération du résultat relevé sur chaque indicateur. Chaque aspect de la qualité, comme l’impact de la recherche ou la qualité de l’enseignement pour le THES, est mesuré sur des critères spécifiques, comme l’indice de la banque de données Thompson Scientific, ou le taux d’encadrement des étudiants. Dans le cas qui nous occupe, ces indicateurs reçoivent le même facteur de pondération: 20 %. La grille est appliquée à l’identique à toutes les universités.

Quel est le problème de cette méthode?

Le problème de cette méthode, c’est que la définition de la qualité d’une université, les critères et les indicateurs utilisés pour la mesurer et la pondération adoptée varient énormément d’un classement à l’autre, et avec eux les résultats obtenus. On ne saurait les expliquer raisonnablement sans savoir ce qui a été mesuré, et comment cela a été fait. On obtient des écarts considérables si l’on prend pour indicateurs de la qualité de l’enseignement le nombre d’anciens étudiants ayant obtenu un prix Nobel (classement de Shanghai) ou le taux d’encadrement (classement THES); ou encore si l’on donne à la recherche une pondération de 20 % (THES) ou de 40 % (Shanghai). De plus, la définition de la qualité et les façons de la mesurer sont choisies par l’organisme effectuant le classement: pour les médias, l’organe de presse lui-même. On ne dispose pas d’explications très claires sur les raisons fondant l’adoption d’une définition, sa justification, l’origine de la décision, ni les bases d’ouverture et de réflexion sur lesquelles elle a été prise – bien que tout cela ait des répercussions majeures sur la mesure de la qualité des universités.

La nature et la qualité des données utilisées sont très variables

La nature et la qualité des données utilisées ont en outre peu en commun. Le classement de Shanghai repose sur des données objectives quantifiables. Le THES, quant à lui, recourt beaucoup à des évaluations subjectives d’experts; on ne sait pas avec transparence à quel point elles sont fiables et donnent une image fidèle des établissements – ce qui serait important. Cette définition subjective de la qualité est appliquée à toutes les universités, quels que soient leur mission et leurs buts; et les résultats sont ensuite présentés dans un tableau de scores comme s’ils étaient tirés de mesures précises. Or cette précision est concrètement hors d’atteinte, c’est-à-dire illusoire. Il n’est pas réaliste de se proposer de mesurer convenablement et précisément la qualité du travail universitaire, dans tous les établissements et à l’intention de toutes les parties prenantes concernées.  

Principes pour des méthodes plus satisfaisantes

Certaines méthodes de classement paraissent plus appropriées que d’autres. Elles se fondent sur un certain nombre de principes, comme:

  • le classement de disciplines ou de départements au lieu d’établissements entiers;
  • au lieu d’un patron unique, une approche multidimensionnelle de la qualité d’une université, tenant compte de la diversité des formes institutionnelles, des missions et des buts, ainsi que de la langue et des particularités de l’établissement;
  • une présentation distincte par indicateur, chacun faisant l’objet de mesures séparées, ce qui permet à l’utilisateur de personnaliser le classement en fonction de ses besoins plutôt que de s’en remettre à une note globale;
  • le classement en groupes (peloton de tête, médian, de queue) plutôt qu’en liste séquentielle.

La multiplicité des problèmes méthodologiques que pose le classement a conduit le Centre européen de l’UNESCO pour l’enseignement supérieur (CEPES) et le Institute for Higher Education Policy de Washington (IHEP) à créer en 2004 le Groupe d’experts de classement international (International Ranking Expert Group), qui a produit un ensemble de principes de qualité et de bonnes pratiques: les principes de Berlin pour le classement des établissements d’enseignement supérieur ( Berlin Principles on Ranking of Higher Education Institutions, www.che.de/downloads­/Berlin_Principles_IREG_534.pdf).