Phase I (2003-2006)

Im Rahmen der DFG-Forschergruppe "Internationale Wettbewerbsfähigkeit und Innovationsfähigkeit von Universitäten und Forschungsorganisationen - Neue Governanceformen" (AZ: FOR 517) wurde in verschiedenen Teilprojekten der Zusammenhang von Governance und Performanz analysiert. Dabei stellte sich die grundsätzliche Frage, welche Indikatoren für die Performanzmessung geeignet und wie sie zu erheben sind. In dem vorliegenden Projekt wurden zum einen Patent- und Publikationsindikatoren generiert und den anderen Mitgliedern der Forschungsgruppe zur Verfügung gestellt. Darüber hinaus wurden Vorschläge für weitere Indikatoren erarbeitet, um heraus zu finden, welche Indikatoren oder Kombinationen von Indikatoren besonders aussagekräftig und in der Praxis anwendbar sind. Dabei geht es auch um die Frage, inwieweit in verschiedenen Disziplinen verschiedenartige Indikatoren zu erheben sind.

Das Hauptaugenmerk der Analyse lag auf den Eigenschaften von Kopublikationsindikatoren und Drittmittelindikatoren zur Leistungsmessung in der Wissenschaft.

Phase II (2006-2009)

In der zweiten Förderperiode des Projektes wurde ein Datensatz zu den Arbeits-, Produktions- und Governancebedingungen deutscher Forschungseinheiten (universitäre Lehrstühle und thematisch arbeitende Gruppen in der außeruniversitären Forschung) aus der Astrophysik, der Nanotechnologie, der Biotechnologie sowie der Volkswirtschaftslehre erhoben (n=473). Auf Basis dieses Datensatzes sollten insbesondere folgende Fragen beantwortet werden:

• Wie wirken die durch die Denkansätze des New Public Management gekennzeichneten hochschulpolitischen Reformen auf die Forschungsleistung?
• Wie sehen "Produktionsstrukturen" in der Wissenschaft aus?
• Bestehen systemimmanente Fehlanreize in den Produktionsstrukturen und können diese durch indikatorgestützte Mittelvergabe korrigiert werden?
• Wie sehen "gute" Indikatorsysteme zur Leistungsmessung in der Wissenschaft aus? Welche Dimensionen wissenschaftlicher Leistungsfähigkeit müssen berücksichtigt werden?

Aktuelle Ergebnisse

Zentrale Ergebnisse der ersten Förderperiode bezogen sich auf die Indikatoren internationale Kopublikationen und Drittmittel. Es stellte sich heraus, dass entgegen der häufig geäußerten Vermutung Kopublikationen (und somit Internationalität) kein Indiz für Qualität der Forschung sind. Sie erscheinen somit als Indikator zur Leistungsmessung fragwürdig und reflektieren eher ein geändertes Kommunikationsverhalten in der Wissenschaft (Schmoch/Schubert 2008). Die Drittmittel haben einen leistungssteigernden Effekt nur bis zu einem fächerspezifischen Grenzwert. über diesen hinausgehende Drittmittelquoten senken die Leistungsfähigkeit (Jansen et al. 2007; Schubert 2008). Daneben konnte in Phase I gezeigt werden, dass wissenschaftliche Leistung mehrdimensional ist. Insbesondere ist eine Spezialisierung der Forschungseinheiten auf die drei Bereiche Generierung neuen Wissens, Ausbildung der wissenschaftlichen Nachwuchses sowie Wissenstransfer und Infrastrukturleistungen für die Wissenschaft zu beobachten (Jansen et al. 2007; Schubert 2007).

Das Hauptaugenmerk in Phase II lag zunächst auf der Beurteilung des Einflusses der hochschulpolitischen Reformen. Hierbei stellte sich heraus, dass durch die zunehmende Orientierung am New Public Management Ansatz durchaus Potenziale genutzt werden können, die eine effizientere Ressourcenverwendung in der Wissenschaft versprechen (Schubert 2007, 2008, 2009). Weniger hat das aber mit der vieldiskutierten "Faulheit" der Professoren zu tun, als mit systemimmanenten Fehlanreizen, die ihre Ursache in den Interdependenzen im wissenschaftlichen Produktionsprozess haben (Schmoch et al. 2007; Schubert/Schmoch 2008). Insbesondere kommt es zur suboptimalen Bereitstellung wissenschaftlicher Nachwuchsförderung und Infrastrukturleistungen wie Tätigkeiten in der akademischen Selbstverwaltung, dem Editieren wissenschaftlicher Fachzeitschriften sowie dem Wissenstransfer in Politik und Wirtschaft. Die Folgerung für die indikatorgestützte Mittelverteilung als eines der bedeutendsten Instrumente ist klar: Durch finanzielle und ressourcentechnische Anreize können diese Fehlanreize korrigiert werden. Die Empfehlung lautet daher, eine begrenzte Zahl von Indikatoren (nicht mehr als 10-12) standardmäßig und über die Universitäten vergleichbar zu erheben , um nationale Benchmarks auf einer fundierten und statistisch gesicherten Basis zu ermöglichen. Dabei muss man die drei Dimensionen Generierung neuen Wissens als originäre Forschungstätigkeit, Ausbildung des wissenschaftlichen Nachwuchses sowie Wissenstransfer und Infrastruktur berücksichtigen. Entgegen der gängigen Praxis sollten Drittmittel nur bis zu einem zu definierenden Grenzwert honoriert werden. Eine weitere Folgerung aus der Multidimensionalität wissenschaftlicher Leistung ist darin zu finden, dass auch die Spitzenforscher auf Vorleistungen  ihrer Kollegen (z.B. in Form gut ausgebildeter wissenschaftlicher Mitarbeitern) angewiesen sind. Man darf daher das wissenschaftliche Mittelfeld nicht vergessen. Oder anders: Auch "Leuchttürme" brauchen ein Fundament, auf dem sie stehen. Indikatorensysteme können insofern als ein verhältnismäßig kostengünstiges Screening-Instrument verwendet werden, um auf der einen Seite exzellente und auf der anderen Seite erheblich unterdurchschnittliche Leistungen in der Forschung zu identifizieren. Unter der Berücksichtigung der Tatsache, dass das leistungsmäßige Mittelfeld das Fundament der Spitzenforschung darstellt, sollte Umverteilung größeren Umfanges nur zwischen den wirklich guten und den leistungsmäßig wirklich schlechten Einheiten stattfinden. Dem Screening-Prozess auf Basis von Indikatoren sollte zur Absicherung weitreichender Budgetentscheidungen ein Peer-Review Verfahren angeschlossen werden. Dies hätte auch den Vorteil, dass die knappe Ressource "Gutachter" geschont werden könnte, indem sie für die wirklich kritischen Fälle aufgehoben wird (Schmoch 2008). 

Status: 
laufend (10.2006-09.2009)

Auftraggeber:
DFG

Publikationen:

Schubert, T. (im Erscheinen): Empirical Observations on New Public Management to Increase Efficiency in Public Research – Boon or Bane? Research Policy.

Schmoch, U. (2009): Geeignete Ansätze zur Messung wissenschaftlicher Leistung, in: Beiträge zur Hochschulforschung, Vol. 31 (1) 31, S. 26-41.

Schubert, T.; Sooryamoorthy, R. (im Erscheinen): Can the Centre-Periphery Model Explain Patterns of International Scientific Collaboration among Threshold and Industrialised Countries? The Case of South Africa and Germany, Scientometrics.

Schmoch, U.; Schubert, T.; Jansen, D.; Heidler, R.; van Görtz, R. (im Erscheinen): How to Use Indicators to Measure Scientific Performance? A Balanced Approach. Research Evaluation.

Schubert, T.; Grupp, H. (2009): Tests and Confidence Intervals for a Class of Scientometric, Technological and Economic Specialisation Ratios. Applied Economics, forthcoming.

Schmoch, U.; Schubert, T. (2009): Sustainability of Incentives for Excellent Research - The German Case. Scientometrics.

Schubert, T. (2008): Wissenschaftsfreiheitsgesetz: Richtiger Weg. Wirtschaftsdienst - Zeitschrift für Wirtschaftspolitik, Vol. 88 (8), S. 490.

Schmoch, U. (2008): Fachspezifische Indikatoren formulieren: Geeignete Ansätze zur Messung wissenschaftlicher Performanz, in: Kehm, B.; Mayer, E.; Teichler, U. (Hrsg.): Hochschulen in neuer Verantwortung. Strategisch, überlastet, divers? Bonn: Lemmens Medien, S. 272-274.

Schmoch, U./Schubert, T. (2008): Are International Co-publications an Indicator for Quality of Scientific Research? Scientometrics, Vol. 74 (3), S. 361-377.

Schmoch, U., Schubert, T. (2008): Nachhaltigkeit von Anreizen für exzellente For-schung, in: Hornbostel, S.; Simon, D. (Hrsg.): Exzellente Wissenschaft. Das Problem, der Diskurs und die Folgen. iFQ-Working Paper Nr. 4, Bonn, S. 39-49.

Schmoch, U.; Schubert, T. (2008): Wie gut ist der Standort Südwest? Bild der Wissenschaft plus, Der große Wurf: Nanotechnologie. Sonderbeilage zu Bild der Wissenschaft, 6/2008, S. 28-29.

Schubert, T. (2008): New Public Management und Leistungsmessung im deutschen Forschungssektor: Theorie, Umsetzung und Wirkungsanalyse, Doctoral-Thesis, University Erlangen-Nürnberg.

Schubert, T./Schmoch, U. (2008): How Lazy Are University Professors Really: A Not So Seriously Meant Note on Observations Made During an Online-inquiry. Soziale Welt, Vol. 59 (1), S. 75-78.

Jansen, D./Wald, A./Franke, K./Schmoch, U./Schubert, T., (2007): Third Party Research Funding and Performance in Research. On the Effects of Institutional Conditions on Research Performance of Teams, Kölner Zeitschrift für Soziologie und Sozialpsychologie, Vol. 59, S. 125-149

Schmoch, U./Schubert, T./Jansen, D. (2007): Suitability of Indicators for Measuring Scientific Performance, internes Manuskript.

Schubert, T. (2007): Empirical Observations on New Public Management to Increase Efficiency in Public Research Boon of Bane, Fraunhofer ISI Working Paper, ISI-A-9-07.