Um einen sicheren Umgang mit Risiken von KI-Systemen, die (un-)mittelbaren Einfluss auf menschliche Nutzer:innen haben, zu ermöglichen, ist es essenziell, nicht nur bei der Entwicklung oder dem Einkauf von Software, sondern auch im laufenden Betrieb die faktischen Auswirkungen der Software auf alle Personengruppen stets zu überblicken und mittels fachlicher und ethischer Qualitätskriterien zu prüfen.

Damit die Kontrolle über KI-Systeme tatsächlich dauerhaft, effizient und wirksam implementiert werden kann, braucht es daher als zentrales User-Interface ein „KI-Cockpit“, welches softwareseitig alle relevanten Prozessschritte von KI-Systemen bündelt. In diesem zweijährigen Forschungsvorhaben, soll ein solches KI-Cockpit entwickelt werden, welches flexibel an verschiedenen KI-Systemen im betrieblichen Kontext andocken kann.

Diese Software soll alle Beteiligten Schritt für Schritt durch den Prozess der Bewertung und Überprüfung von KI-Systemen führen und Nutzer:innen befähigen, nicht nur theoretisch, sondern auch praktisch die Übersicht und Kontrolle über KI-Systeme zu behalten. Mit diesem softwareunterstützenden Cockpit schließen wir die Lücke zwischen den ethischen Anforderungen einer Gesellschaft und den automatisch getroffenen Entscheidungen von KI-Systemen. Erst durch die übersichtliche Darstellung in Form eines KI-Cockpits ist es möglich, die tatsächlichen Auswirkungen von KI-Systemen festzustellen, deren Ergebnisse kritisch zu prüfen und auch den „Ausschaltknopf für KI“ informiert zu bedienen.

Das Projekt befördert die Entwicklung eines Frameworks für „Human in Command“, findet konkrete Softwarelösungen in verschiedenen Anwendungsdomänen und adressiert Anforderungen der EU an KI-Hochrisikosysteme, die stets unter menschlicher Kontrolle (human in command) stehen sollen. Anhand von Demonstratoren in den Bereichen Personalmanagement, Verkehr und Gesundheitswesen wird die KI-Cockpit-Software mit einem menschzentrierten Ansatz partizipativ mit Firmen und Endanwender:innen entwickelt und anschließend als Open Source-Anwendung der Allgemeinheit verfügbar gemacht.

nexus übernimmt in diesem Projekt die Koordination der Forschung und Entwicklung in den Anwendungsbereichen und der Begleitforschung sowie das Projektmanagement im Konsortium.

Laufzeit: 07/2023 – 06/2025
Zuwendungsgeber: Bundesministerium für Arbeit und Soziales (BMAS)
Mitarbeiter:innen: Daniel Guagnin (Projektleitung), Philipp Offermann (Projektkoordination), Matthias Bottel, Maria Jacob
Projektpartner: Hochschule Aalen, Universität Stuttgart, Institut für Arbeitswissenschaft und Technologiemanagement (IAT), Chemistree GmbH, Caritas Dortmund

Foto: Andrés Dallimonti – Unsplash