Wissenschaftlicher, flexibler, transparenter

Das Handelsblatt-Ökonomen-Ranking ist in den Wirtschaftswissenschaften hoch angesehen. Nun wird es weiter verbessert. Fünf Wissenschaftler und Wissenschaftlerinnen erklären, welche Kritikpunkte ausgemerzt wurden.


Das Handelsblatt-Ranking zeigt alle zwei Jahre den Forschungsoutput der deutschsprachigen Ökonominnen und Ökonomen. Das interessiert einerseits, führt andererseits aber auch immer wieder zu Kritik. Das neue Handelsblatt-Ranking 2017 reagiert darauf und definiert einen neuen Standard bei der Erfassung und Gewichtung der maßgeblichen wissenschaftlichen Zeitschriften. (Der Beitrag erschien zuerst auf Ökonomenstimme.org)

Das Handelsblatt-Ranking deutschsprachiger Ökonominnen und Ökonomen und ihrer Fakultäten hat seit seinem ersten Erscheinen im Jahr 2007 einen nicht unerheblichen Einfluss auf die deutsche Ökonomenszene. Die Berufungspolitik an (einigen) Universitäten und auch das Publikationsverhalten einzelner Ökonomen werden durch die Rankings, so wird zumindest berichtet, beeinflusst. Nicht wenige Ökonomen listen ihre Platzierungen in ihren Lebensläufen. Auch wenn, anders als etwa mit den Research-Evaluationen in Großbritannien, mit dem Handelsblatt-Ranking keine direkten Konsequenzen (etwa für die Finanzierung von Forschung) verbunden sind, wird das Ranking innerhalb der deutschsprachigen Ökonomenszene sehr ernst genommen, aus Sicht einiger Ökonomen sogar zu ernst.

Die Ranking-Debatte

Dementsprechend gibt es seit Erscheinen des ersten Rankings eine angehende Debatte um verschiedene Aspekte des Rankings: in Fachzeitschriften (vgl. etwa Hofmeister und Ursprung, 2008; Seiler und Wohlrabe, 2010; Butz und Wohlrabe, 2016), auf Tagungen wie der jährlichen Tagung des Vereins für Socialpolitik wie auch auf Internetblogs, wie etwa den Economics Job Market Rumors. Die Kritik entzündet sich neben einer fundamentalen Kritik am Versuch, wissenschaftlichen Output und wissenschaftliche Produktivität überhaupt zu messen, auch an Spezifika der Ranking-Methode, wie etwa an der Aufnahme in oder umgekehrt die Nichtberücksichtigung von einzelnen Journals oder auch an der Einstufung der wissenschaftlichen Zeitschriften in die Kategorien A+, A, B, C etc.


Ein weiterer oft genannter Kritikpunkt ist etwa, dass das Ranking – im Gegensatz zu internationalen Gepflogenheiten – nicht von den sog. Top-5-Zeitschriften in der VWL ausgeht, sondern durch die Einstufung von zehn Journals als A+ somit implizit zehn Top-10-Journale kreiert hat. Auch die (mangelnde) Konvexität der Zeitschriften-Bewertungen wird oft kritisiert. Da ein Aufsatz in der American Economic Review oder einer anderen Top-5-Zeitschrift mit 1,0 Punkten bewertet wird, war dies bisher genau so viel wert wie zehn oft nicht allzu schwierig erreichbare Publikationen in C-Journalen.

Sowohl der wissenschaftliche Einfluss als auch die damit verbundene Reputation sind jedoch – so die Kritik – bei einer Publikation in einer Top-5-Zeitschrift deutlich höher als diese zehn Beiträge in C-Journalen sind. Der Abstand zwischen den wirklichen Top-Zeitschriften und den Journalen in den unteren Kategorien sei daher nicht deutlich genug.

Weitere Kritikpunkte betreffen nicht die konkrete Ausgestaltung des Rankings, sondern den Prozess. So war bislang wenig transparent, wie genau welche Journals zu welcher Bewertung kommen. Zudem kommt es durch Auf- und Abwertungen von Journals zu Bewertungen, die deren zeitpunktbezogenen Reputation nicht gerecht werden. So mag etwa eine Publikation in der European Economic Review 1995 mit einer anderen Reputation verbunden sein als eine Publikation an gleicher Stelle im Jahr 2015.

Die Neuerungen

Zahlreiche der genannten Kritikpunkte werden nun im neuen Ranking 2017 adressiert. Auf Veranlassung des Vorstands des Vereins für Socialpolitik haben in diesem Jahr die KOF und das DICE die intellektuellen Eigentumsrechte für die Rankings übernommen und zahlreiche Neuerungen eingeführt. Zum einen wurde ein Steering Committee eingerichtet, das KOF und DICE hinsichtlich der Ranking-Methoden berät.

Diesem Komitee gehören folgende Ökonominnen und Ökonomen an: Jan-Egbert Sturm (KOF, ETH Zürich), Justus Haucap (DICE, Uni Düsseldorf), Reiner Eichenberger (Uni Fribourg), Oliver Fabel (Uni Wien), Stefan Minner (TU München), Kerstin Pull (Uni Tübingen), Klaus Wohlrabe (ifo München), Jens Südekum (DICE, Uni Düsseldorf), Nadine Riedel (Uni Bochum), Volker Grossmann (Uni Fribourg) sowie als Vertreter des Vereins für Socialpolitik Heinrich Ursprung (Uni Konstanz). Folgende Änderungen wurden – nach durchaus intensiven Diskussionen im Steering Committee – nun für das Jahr 2017 vorgenommen:

  1. Die Hauptgewichtung basiert auf den SCImage Journal Rank (SJR)-Werten, welche auf der Scopus-Datenbank beruht. Der SJR-Wert eines Journals ist ein Maß für dessen wissenschaftlichen Einfluss, das sowohl die Anzahl der erhaltenen Zitationen berücksichtigt als auch das Prestige des Journals, von dem die Zitation ausgeht. Zudem werden in diesen SJR-Werten die verschiedenen Zitiergewohnheiten in den verschiedenen Fachrichtungen miteinbezogen – je länger die Liste der Zitierungen in einem zitierenden Artikel, desto weniger zählt die Zitierung (für weitere Details siehe auch den Wikipedia-Eintrag).
  2. Die sogenannten Top-5-Journals (AER, Econometrica, JPE, QJE, RES) werden – internationalen Standards folgend – auf 1,0 gesetzt. Alle anderen Zeitschriften werden nun relativ zum durchschnittlichen SJR-Wert der Top-5-Journals bewertet.
  3. Die Top-5-Liste ist damit nicht abschließend und kann endogen erweitert werden, wenn ein Journal denselben SJR-Wert erreicht wie der Durchschnittswert der Top-5-Journals, d.h. "Markteintritt" ist möglich. Anders ausgedrückt: Alle Zeitschriften werden relativ zu den Top-5-Zeitschriften gewichtet. Die korrigierten SJR-Werte werden dann durch den durchschnittlichen korrigierten SJR-Wert aller Zeitschriften der Top-Gruppe dividiert. Falls der relative Wert 1 übersteigt, wird die Zeitschrift mit 1 bewertet. Die Top Gruppe besteht somit in der Regel aus mehr als 5 Zeitschriften. Die Zusammensetzung ist somit teilweise endogen.
  4. Es werden nur in EconLit (American Economic Association) geführte Zeitschriften berücksichtigt. Zeitschriften, welche nicht in der EconLit-Liste vorkommen, werden nicht berücksichtigt, d.h. sie erhalten das Gewicht 0. Die Verantwortlichen einer Zeitschrift haben somit einen Anreiz, dass die Zeitschrift in die EconLit-Datenbank aufgenommen wird. Wird eine Zeitschrift nicht in EconLit geführt – aktuell sind dort fast 2000 Zeitschriften geführt – gilt sie nicht als Ökonomie-Zeitschrift.
  5. Alle Zeitschriften, welche in der EconLit-Liste vorkommen, starten mit einem Gewicht von 0.025. Die EconLit-Zeitschriften ohne SJR-Wert erhalten somit diesen Wert, d.h. keine EconLit-Zeitschrift kann unter den Wert von 0,025 fallen (50% des bisherigen Minimalwertes von 0,05).
  6. Der SJR-Wert einer Zeitschrift variiert von Jahr zu Jahr. Über die Jahre sind Ökonomen zitierfreudiger geworden. Die SJR-Werte werden für diesen allgemeinen Zeittrend korrigiert damit nur die relativen Differenzen innerhalb eines Publikationsjahres zählen.
  7. Im Einklang mit der Art und Weise, wie die SJR-Werte ermittelt werden, wird der Durchschnitt der korrigierten SJR-Werte über die folgenden drei Jahre genommen. Der SJR-Wert wird berechnet anhand der durchschnittlichen Zahl der gewichteten Zitationen im Jahr des SJR-Wertes geteilt durch die Anzahl der Publikationen in den letzten drei Jahren. Eine Publikation im Jahr 2011 beeinflusst also die SJR-Werte für 2012, 2013 und 2014. Der verwendete Wert zur Berechnung der Gewichtung des Jahres 2011 entspricht somit dem durchschnittlichen korrigierten SJR-Wert von 2012, 2013, 2014. Der Wert von 2012 entspricht dem Durchschnitt von 2013, 2014 und 2015, usw.
  8. Um die Anzahl Koautoren bei jeder Publikation zu berücksichtigen, wird jedem Autor nur der berechnete Wert, dividiert durch die Anzahl Autoren, zugeteilt.
  9. Auf der Internetseite wird es möglich sein, die Rankings auch mit den sog. SNIP Werten und mit der Gewichtung der VWL Zeitschriftenliste von 2015 zu berechnen und darzustellen.
  10. Es wird auch weiterhin eine Klassifikation der Zeitschriften geben, die nun von A+ bis F gehen wird. Neben den A+-Journalen werden die 5% der Journals mit den höchsten SJR-Werten als A eingestuft, die in den obersten 10% verbleibenden Journals mit B sowie die in den oberen 25%/50%/100% verbleibenden mit C/D/E. In EconLit enthaltene Zeitschriften ohne SJR-Wert werden als F klassifiziert. Die für die Rankings verwendeten Punktwerte sind jedoch stetig zwischen 0,025 und 1,0 angesiedelt.

Insgesamt wird die Bewertung der Zeitschriften somit deutlich konvexer als bisher, d.h. Publikationen in Top-Journals sind schwieriger als bisher durch Publikationen in geringer bewerteten Journals zu substituieren. Zugleich ist das Verfahren transparent und nicht von Einschätzungen und Meinungen einzelner abhängig. Eine strategische „Manipulation“ der SJR-Werte (etwa durch strategisches Zitieren) halten wir angesichts der in Relation zur weltweiten Forschergemeinschaft überschaubaren Gruppe deutschsprachiger Ökonomen nahezu für ausgeschlossen.

Die Ergebnisse des neuen KOF/DICE-Ökonomen-Rankings basierend auf der neuen Methode werden am 4. September (individuelle Ökonomen) und am 11. September (Fakultäten) im Handelsblatt sowie mit einer kleinen zeitlichen Verzögerung auf Webseite des Forschungsmonitoring publiziert.

Literatur

Butz, A. und K. Wohlrabe (2016), Anmerkungen und Kritik zu den Ökonomen-Rankings 2015 von Handelsblatt, FAZ und RePEc, ifo Schnelldienst 69(10): 37-44.
Hofmeister, R. und H.W. Ursprung (2008), Das Handelsblatt Ökonomen-Ranking 2007: Eine kritische Beurteilung, Perspektiven der Wirtschaftspolitik 9(3): 254-266.
Seiler, C. und K. Wohlrabe (2010), Eine Anmerkung zur Zeitschriftengewichtung im Handelsblatt-Ranking 2010, ifo Schnelldienst 63(6): 38-39.