Die jeweils etablierten Institutionen der Qualitätsbewertung greifen in die Struktur des Wissenschaftssystems besonders tief ein. Sie steuern die Reputationszuschreibung und -verteilung innerhalb der wissenschaftlichen Gemeinschaft; die Anschlußfähigkeit von Forschungsfeldern und -themen; die finanziellen Mittel und die Aufmerksamkeit der gesellschaftlichen Umwelt der Wissenschaft. Unter der Leitidee, Leistung transparent zu machen und den Finanzmitteleinsatz effektiver zu gestalten, sind in allen OECD-Ländern zwischenzeitlich vor allem von der Politik geforderte Evaluierungsverfahren an die Seite der von der wissenschaftlichen Gemeinschaft zur Selbststeuerung ihrer Allokationsprozesse eingerichteten Verfahren getreten. Dies geschah in den USA und einigen westeuropäischen Ländern früher und schneller als in der Bundesrepublik; Großbritannien oder die Niederlande können bereits auf eine mehrjährige Folgenerfahrung zurückblicken.
Berichterstattungsverpflichtungen und Begutachtungsverfahren haben in allen gesellschaftlichen Teilbereichen massiv zugenommen. Manche Beobachter meinen die Heraufkunft der „accounting society“ (Powers) bzw. des „evaluative state“ (Neave) in der Risikogesellschaft erkennen zu können. In Anbetracht so weitgreifender Zusammenhänge soll die Focussierung der Akademietagung auf die Evaluation von Forschung und Forschungseinrichtungen der Gefahr begegnen, daß die Diskussion durch die Vielzahl möglicher Problemdimensionen ins Unverbindliche abgleitet.
Unter Stichworten wie etwa ‘Big science’ oder ‘Massenuniversität’ werden die allenthalben sich beschleunigenden Evaluierungsrhythmen sehr häufig in einen Zusammenhang mit dem Größenwachstum von Wissenschaft gestellt. Nicht nur in Deutschland wird daneben eine Verbindung von öffentlicher Legitimation bzw. Rechenschaftspflicht und Selbststeuerung der Wissenschaft hergestellt. Beobachtet und beklagt wird ein Vertrauensverlust in die internen wissenschaftlichen Produktions- und Selektionsmechanismen. In der besonders von Politik und Massenmedien häufig verwendeten ökonomischen Semantik erscheint eine Vermehrung und Verstetigung der Begutachtungsprozesse der Tätigkeit von und in Forschungseinrichtungen der Preis für ihre Autonomie. So vermag es nicht zu überraschen, daß neben den ohnehin durch berufene Institutionen im Auftrag der Politik durchgeführten Verfahren eine Vielzahl von Organisationen den verspürten Außendruck vorauseilend in eigene Begutachtungsverfahren umsetzt. Zuweilen kann man sich des Eindruckes eines anarchischen Vollzuges nicht erwehren. Nicht allein dies macht Reflexion lohnend.
Im Rahmen der Tagung sollte das Thema Qualitätsbeurteilung in der Wissenschaft in drei miteinander verbundenen Frageperspektiven bearbeitet werden: Was findet statt? Welche Wirkungen sind erkennbar? Was kann und soll verbessert werden?
Der erste Abschnitt der Tagung war der Vergegenwärtigung der Akteure, ihrer Perspektiven und Ziele sowie der zum Einsatz gelangenden Instrumentarien gewidmet. Vorgestellt und befragt werden sollte das, was das bisherige Geschehen der Forschungsevaluierung geprägt hat.
Zu behandeln waren Fragen wie: Wer definiert was wie mit welcher Absicht als ‘Qualität’? Soll die Evaluierung vornehmlich als Qualitätsentwicklungsmaßnahme konzipiert werden oder der leistungsorientierten und zielgenauen Verteilung knapper bzw. knapper werdender Finanzmittel dienen? Welche Indikatoren bzw, welche Mischung von quantitati- und qualitativen Maßen gelangen zum Einsatz. Welchen Vergleichbarkeitsansprüchen genügen die Indikatoren theoretisch und praktisch?. Inwiefern wird auf Fächerdifferenzen reagiert, auf die Strukturen des Forschungsfeldes (mono-, multi-, interdisziplinär) oder auf Unterschiede der Organisationstypik und Aufgabenstellung? Welche Rolle spielen im Verfahren die Forscher selbst; wie werden sie ausgewählt? Welche Rolle haben die externen ‘stakeholder’ der Forschung wie z.B. Staat, Wirtschaft, Öffentlichkeit? Was sind die erkennbaren Garanten für gelingende, die Qualität von Forschung verbessernde Evaluierungsprozesse?
Im zweiten Abschnitt sollten die bereits erkennbaren Auswirkungen zur Sprache kommen. Neben den intendierten Effekten, ging es also darum, zu fragen, welche unbeabsichtigten oder gar kontraproduktiven Folgen zu beobachten sind. Sind wie vielfach vermutet Bürokratisierungsprozesse erkennbar? Hat also der Evaluierungsbetrieb zur Stärkung von Stellen der staatlichen Administration oder der Verwaltung der Forschungseinrichtungen selbst geführt. Sind neue Evaluierungsinstitutionen entstanden? Ist es zu der von vielen befürchteten Stärkung der Mainstream-Orientierung zuungunsten von kreativen, heterodoxen Forschungsansätzen gekommen? Ist die Begutachtung von Forschungsleistungen das von vielen erhoffte Instrument eines qualitativen Wandels geworden? Geht sie über die vorwiegend quantitative Verzeichnung des outputs von Forschern, Forschungsgruppen oder Forschungseinrichtungen hinaus? Läßt sich eine Inkompatibilität des Verfahrens als Bewertung vergangener Leistungen mit dem Ziel, Orientierungshilfen für die Zukunft zu geben, erkennen? Sind Strategien sichtbar, mit denen sich die Forschung gegenüber den Änderungszumutungen immunisiert? Wie haben die beteiligten Akteure Evaluationsergebnisse in Sanktions- bzw. Lernkonzepte eingebunden?
Schließlich sollte im dritten Teil über die mögliche und notwendige Fortentwicklung der Evaluierungsinstrumente und - prozeduren zur Sicherung bzw. Verbesserung der Qualität von Forschung gesprochen und diskutiert werden. Was kann und muß getan werden, damit Evaluation dem Ziel der Qualitätsförderung von Forschung dient? Vermag die Evaluierung einen Fachdialog über Qualität und Qualitätsmaßstäbe für zukünftige Forschung anzustoßen? Bilden Verständigungsprozesse unterschiedlicher Gruppen über Ziele und Qualitätsmerkmale hierzu eine Voraussetzung? Wie wären sie zu institutionalisieren? Welche Rolle spielt eine formelle Überprüfung der Implementation von Empfehlungen? Welche Erfahrungen mit Evaluierungsprozessen und -verfahren scheinen übertragbar; welche unlösbar in den jeweiligen nationalen Kontext eingebettet?
Im Rahmen der Akademietagung sollten mithin nicht erneut strategische, taktische oder technische Details erörtert, sondern über den Sinn, die Nachvollziehbarkeit, beabsichtigte und unerwünschte Folgen der Verfahren und eine Perspektive für die Zukunft gesprochen werden. Am Evaluationsgeschehen beteiligte Personen aus Wissenschaft und Wissenschaftspolitik des In- und Auslandes waren eingeladen und aufgefordert einen Schritt zurückzutreten und ihre Erfahrungen zu reflektieren. Durch die Versammlung einer Vielzahl von Entscheidungsträgern aus Wissenschaftspolitik und Wissenschaftsförderung wollte die Akademie nicht nur Gelegenheit zu breiter Diskussion geben, sondern auch Denk- und Gestaltungsanstöße für die Zukunft vermitteln.