Studie warnt vor „echten Black Boxes“: KI-Tools könnten die Grundlage von Wissenschaft gefährden

Stand: 19.08.2026, 08:35 Uhr

Kommentare

Uns auf Google folgen

KI verarbeitet riesige Datenmengen – und kein Mensch kann es nachprüfen. Eine neue Studie zeigt, was das für die Verlässlichkeit der Wissenschaft bedeutet.

Frankfurt – Überprüfbarkeit, Transparenz und Reproduzierbarkeit gelten als wichtige Grundlagen wissenschaftlichen Arbeitens. Das könnte die Wissenschaft in Zukunft vor eine Herausforderung stellen, befürchtet ein Forschungsteam um Ivan Jarić (Universität Paris-Saclay). Die internationalen Forschenden beschäftigen sich in einer Forschungsarbeit mit künstlicher Intelligenz in der Wissenschaft und zeigen, dass das Thema heute schon sehr weit verbreitet ist.

Das Forschungsteam vereint Expertise aus Ökologie, Umweltwissenschaften und Fernerkundung. Genau aus dieser Anwendungspraxis speist sich ihre Sorge: Ob beim Tracking von Wildtieren, der Auswertung von Satellitenbildern oder der Analyse komplexer Ökosysteme – überall halten datengetriebene Black-Box-Systeme Einzug.

Künstliche Intelligenz in der Wissenschaft: Großer Fortschritt – und gleichzeitig eine „Black Box“

Die Reproduzierbarkeit gilt als ein wichtiges Kriterium dafür, wie verlässlich und belastbar experimentelle Ergebnisse sind. Doch heute nutzen Wissenschaftlerinnen und Wissenschaftler immer öfter Tools und Daten, die sie selbst nicht mehr komplett verstehen oder untersuchen können, wie die Studie zeigt. Gemeint sind damit in erster Linie KI-Werkzeuge und Daten, die mithilfe von künstlicher Intelligenz zusammengetragen wurden.

Die Technologien sind für die Forschung ein großer Fortschritt: Sie können gewaltige Datenmengen verarbeiten und Muster enthüllen, die Menschen nicht oder nur mit gewaltigem Aufwand erkennen können. „Viele dieser Tools sind jedoch echte Black Boxes, da sie die Prozesse, die hinter diesen Ergebnissen stehen, weitgehend verbergen“, betont Jarić, Hauptautor der Studie, die im Fachjournal BioScience veröffentlicht wurde.

Private Firmen stellen häufig die KI-Tools zur Verfügung

Die genutzten Tools würden oftmals von privaten Firmen zur Verfügung gestellt, die „den Zugang zu Informationen darüber, wie ihre Systeme funktionieren oder Daten verarbeiten, bewusst einschränken, geleitet von urheberrechtlichen Beschränkungen und kommerziellen Zielen“, so Jarić weiter.

Dass Forschende immer häufiger zu den proprietären Tools von Tech-Konzernen wie Google, Microsoft oder OpenAI greifen, ist oft auch eine Frage des Budgets: Vielen Universitäten und öffentlichen Instituten fehlen schlichtweg die finanziellen Mittel und die enormen Rechenkapazitäten, um eigene, vollständig transparente Open-Source-Modelle in vergleichbarer Größe zu entwickeln und zu betreiben. Die Wissenschaft gerät dadurch in eine strukturelle Abhängigkeit.

Doch nicht nur die Daten, die mithilfe der Systeme entstehen, sind ein Problem für die Wissenschaft: Die Forschenden hätten oft auch keinerlei Zugang zu den Daten, mit denen die Systeme trainiert wurden, oder den zugrundeliegenden Algorithmen, heißt es in einer Mitteilung zur Studie. Während KI immer mächtiger und autonomer werde, werde es schwieriger, wissenschaftliche Erkenntnisse zu interpretieren und zu verifizieren.

Allerdings sieht das Forschungsteam nicht nur KI als eine Gefahr für nachvollziehbare Wissenschaft. Auch Fernerkundungs-Systeme basieren den Forschenden zufolge häufig auf proprietären Verarbeitungsverfahren – ohne uneingeschränkten Zugriff für die Wissenschaft. Einige Ortungsgeräte für Wildtiere würden etwa lediglich die verarbeiteten Standortdaten der Tiere bereitstellen, die zugrunde liegenden Rohdaten jedoch zurückhalten.

„Werkzeuge werden technisch so komplex“

„Dieses Problem ist nicht nur auf kommerzielle und urheberrechtliche Aspekte zurückzuführen“, betont Karen Anderson (Universität Exeter), eine weitere Autorin der Studie. „Moderne wissenschaftliche Werkzeuge werden zudem technisch so komplex, dass es den Anwendern – und in manchen Fällen sogar ihren Entwicklern – schwerfallen kann, ihre Funktionsweise vollständig zu durchschauen und zu verstehen.“

Um dem entgegenzuwirken, empfiehlt das Forschungsteam eine Reihe an Maßnahmen, die die „Black Boxes“ transparenter machen sollen:

• Open-Source-Software und -Hardware sollte genutzt werden, wenn möglich
• Datensätze und Ergebnisse sollten mit transparenten, öffentlichen Daten verglichen oder durch verschiedene Methoden ermittelt werden
• Trainingsdaten, Versionen, Einstellungen und Einschränkungen von genutzten Tools sollten dokumentiert werden

Wissenschaftler fordert: „Menschliche Kontrolle sollte im Mittelpunkt stehen“

„Die menschliche Kontrolle sollte während des gesamten Forschungsprozesses im Mittelpunkt stehen, zumal es die Autoren der Studie sind, die die Verantwortung für etwaige Fehler und Unsicherheiten übernehmen müssen, die durch den Einsatz von Black-Box-Tools in ihrer Arbeit entstehen“, findet Michael Bertram von der Schwedischen Universität für Agrarwissenschaften und der Universität Stockholm, ein weiterer Autor der Studie.

„Zudem ist es notwendig, die Bemühungen um offene Wissenschaft zu intensivieren, einschließlich Vorschriften, die den Zugang von Forschern zu digitalen Plattformen und den zugrunde liegenden Daten verbessern würden“, sagt er. Wissenschaftlerinnen und Wissenschaftler sollten sich der Vor- und Nachteile beim Einsatz solcher Tools bewusst sein – und auch die Risiken nicht vergessen, die eine unkritische Übernahme von Daten oder Ergebnissen mit sich bringen kann.

In der Praxis sehen viele Wissenschaftlerinnen und Wissenschaftler den Einsatz komplexer KI-Systeme dennoch pragmatischer. Durchbruch-Technologien wie DeepMinds AlphaFold bei der Vorhersage von Proteinstrukturen zeigen, dass unüberschaubare Algorithmen den medizinischen und biologischen Fortschritt um Jahre beschleunigen können. Für viele Praktiker überwiegt der immense Erkenntnisgewinn das theoretische Ideal makelloser Transparenz – solange die Ergebnisse empirisch überprüfbar bleiben. (Quellen: Mitteilung, eigene Recherche) (tab)