Methode von Hochschulrankings: Wie wird bewertet?

Höchst unterschiedliche Rankingansätze

Die Methodiken der Rankings unterscheiden sich beträchtlich. Dies gilt für die Definition von Qualität, die Kriterien und Indikatoren zur Qualitätsmessung, den Messprozess und die Darstellungsweise. Diese Unterschiede schlagen sich in höchst verschiedenen Rankingansätzen und folglich in höchst unterschiedlichen Rankingergebnissen nieder.

Ranglisten basieren auf gewichteten Indikatoren

Die Rankings der Zeitschriften zielen auf die Erstellung einer Rangliste ab, die jeder Universität einen bestimmten Platz zuweist: Je höher der Rang, desto besser die Leistungsqualität und umgekehrt. Wie aber kommen diese Bewertungen zustande? Das Vorgehen basiert auf einer spezifischen Definition von Hochschulqualität, deren Elemente anhand verschiedener Indikatoren gemessen werden. Zur Berechnung des aggregierten Gesamtwerts wird jeder Indikator spezifisch gewichtet. Die Qualitätselemente, z. B. der Forschungsimpakt oder die Qualität der Lehre im Falle des THES-Rankings, werden anhand spezifischer Indikatoren wie beispielsweise der Zitationsrate pro Fakultätsmitglieder in der Thomson Scientific Database oder der Betreuungsverhältnisse gemessen. Das THES-Ranking weist diesen beiden Indikatoren je ein Gewicht von 20% zu. Dieser Ansatz wird in der Folge auf alle Universitäten angewendet.

Welche Probleme birgt dieses Vorgehen?

Welche Probleme birgt dieses Vorgehen? Die Definition von Hochschulqualität, die zur Messung ihrer Elemente verwendeten Kriterien und Indikatoren sowie ihre jeweilige Gewichtung sind von Ranking zu Ranking verschieden. Folglich weichen auch die Rankingergebnisse stark voneinander ab . Die gewonnenen Ergebnisse können nur korrekt interpretiert werden, wenn bekannt ist, was und wie gemessen wurde. Es ist ein erheblicher Unterschied, ob – wie im Falle des Shanghai - Rankings – die Anzahl der mit einem Nobelpreis ausgezeichneten Alumni als Qualitätsindikator einer Hochschule definiert wird oder – wie beim THES-Ranking – das Betreuungsverhältnis . Eine Gewichtung des Forschungsoutput s mit 40% (Shanghai - Ranking) führt zu anderen Ergebnissen als eine Gewichtung mit 20% (THES-Ranking). Zudem werden die Qualität und die Methoden ihrer Messung von den Ranking-Organisatoren selbst definiert, d. h. im Falle der Ranking s der Massenmedien von diesen selbst. In der Regel bleibt unklar, warum eine spezifische Definition gewählt wurde, wie fundiert sie ist, wer sie gewählt hat und wie offen und reflektiert der Entscheidungsprozess ablief. Bei der Messung der Qualität einer Hochschule sind diese Aspekte jedoch sehr bedeutend.

Auch die Art und Qualität der verwendeten Daten sind sehr verschieden

Auch die Art und die Qualität der verwendeten Daten unterscheiden sich beträchtlich. Das Shanghai-Ranking beispielsweise basiert auf quantifizierbaren objektiven Daten, während das THES-Ranking sich weitgehend auf subjektive Evaluationen von Experten stützt. In welchem Masse diese subjektiven Bewertungen gültig und für die betreffenden Institutionen repräsentativ sind, sind wichtige Fragen, die nicht offen gelegt werden. Folglich basieren die Ergebnisse auf einer subjektiven Definition von Qualität, die auf alle Universitäten ungeachtet ihres Auftrags und ihrer Zielsetzung angewendet wird. Die Ergebnisse werden in Ranglisten dargestellt und suggerieren eine hohe Messgenauigkeit, die in der Realität nicht erreicht werden kann und deshalb auch nicht vorgespiegelt werden sollte. Das Versprechen, die Qualität von Hochschulen verschiedenster Ausrichtung für unterschiedliche Nutzer angemessen und präzise zu messen, kann schlicht und einfach nicht erfüllt werden.

Grundprinzipien für bessere Ansätze

Heute liegen Ranking-Ansätze vor, die der Komplexität des Hochschulrankings besser gerecht werden. Diese Ansätze respektieren eine Reihe von Grundprinzipien wie beispielsweise:

  • die Bewertung einzelner Fächer oder Fachbereiche anstelle einer ganzen Universität
  • ein mehrdimensionales Verständnis von Hochschulqualität, das die Diversität, den Auftrag und die Ziele der Hochschulinstitutionen sowie die Sprache und die kulturellen Merkmale berücksichtigt, anstelle einer für alle Institutionen gültigen Definition von Qualität
  • die getrennte Messung und Darstellung einzelner Indikatoren, die jeweils unterschiedliche Rankings aufweisen können und individuelle Präferenzen («Mein Ranking») berücksichtigen, anstelle eines aggregierten Gesamtwertes
  • die Darstellung der Rankingergebnisse in Ranggruppen (Spitzengruppe, Mittelgruppe, Schlussgruppe) anstatt in Ranglisten

Angesichts der methodologischen Schwierigkeiten des Hochschulrankings wurde im Jahr 2004 vom UNESCO European Centre for Higher Education (UNESCO-CEPES) und vom Institute for Higher Education Policy in Washington, D.C eine internationale Expertengruppe einberufen, die sehr nützliche Mindeststandards für die Durchführung und Qualität von Rankings erarbeitet hat. Diese «Berlin Principles on Ranking of Higher Education Institutions» stehe n unter www.che.de/downloads­/Berlin_Principles_IREG_534.pdf zum Herunterladen bereit.

Angesichts der methodologischen Schwierigkeiten des Hochschulrankings wurde im Jahr 2004 vom UNESCO European Centre for Higher Education (UNESCO-CEPES) und vom Institute for Higher Education Policy in Washington, D.C eine internationale Expertengruppe einberufen, die sehr nützliche Mindeststandards für die Durchführung und Qualität von Rankings erarbeitet hat. Diese «Berlin Principles on Ranking of Higher Education Institutions» stehen unter www.che.de/downloads­/Berlin_Principles_IREG_534.pdf zum Herunterladen bereit.