Human-in-the-Loop neu definiert: Verantwortung in der regulierten Bewertung

„Human-in-the-Loop“ ist zu einem der meist strapazierten Begriffe in Software geworden, die mit kritischen Prozessen zu tun haben. Häufig bedeutet er kaum mehr als: Eine Person klickt lediglich auf „Genehmigen“ für eine Entscheidung, die das Modell bereits getroffen hat. Das ist keine Sicherheitsarchitektur, sondern lediglich ein formaler Kontrollpunkt innerhalb eines undurchsichtigen Prozesses.

In der Konformitätsbewertung medizinischer Produkte muss der Begriff mehr bedeuten. Das Arbeitsergebnis ist kein E-Mail-Entwurf und keine Zusammenfassungsfolie. Es ist ein Urteil, das Institutionen unter Verordnung (EU) 2017/745 und verwandten Rahmenwerken vertreten: qualifizierte Fachleute bewerten Evidenz, identifizieren Mängel und dokumentieren Bewertungen, die Patienten schützen. Generative Werkzeuge vertiefen die Kluft zwischen Erstellungsgeschwindigkeit und Bewertungskapazität, sofern die Prüfungsinfrastruktur nicht verbessert wird (Die Beschleunigungslücke der KI). Dieser Beitrag definiert die Verantwortungsgrenze, die jede Verbesserung einhalten muss.

Human-in-the-Loop bedeutet für regulierte Bewertung Autorität, Nachprüfbarkeit, Kontrolle der Bewertungsentscheidung und Qualifikationsgrenzen - keinen rein kosmetischen Prüfschritt nach einer bereits getroffenen, intransparenten Entscheidung.

Warum rein formales HITL in der Konformitätsbewertung scheitert

In risikoarmen Bereichen kann ein schlanker Human-in-the-Loop-Ansatz ein pragmatischer Kompromiss sein: zunächst Geschwindigkeit, anschließend Korrektur. Konformitätsbewertung funktioniert so nicht. Zertifikat und Bewertungsunterlagen sind der eigentliche Zweck des Verfahrens, kein Nebenprodukt. Wird die menschliche Rolle auf das bloße Abzeichnen sprachlich überzeugender, KI-generierter Texte reduziert, entstehen drei grundlegende Versagenstatbestände.

• Autorität versagt: Die Person, die „genehmigt“ hat, kann eine Schlussfolgerung nicht redlich verantworten, die sie praktisch nicht anzweifeln konnte.
• Nachprüfbarkeit versagt: Kollegen, Qualitätssysteme und Aufsichtsbehörden können nicht rekonstruieren, warum eine Aussage akzeptiert wurde, wenn der Weg zur Evidenz verborgen ist.
• Institutionelle Verantwortung versagt: Benannte Stellen werden als Organisationen designiert und beaufsichtigt, die Konformitätsbewertung durchführen. Dieses Mandat geht nicht auf Werkzeuge über, allein weil sie selbstsicher klingen (MDR).

Rein formales HITL ist unter Belastung besonders gefährlich: Wenn Warteschlangen lang sind und Dossiers schwer zu durchschauen sind (Reihe A) (Reihe B), wächst der Druck, sprachlich überzeugende Assistenz als Abkürzung zu akzeptieren - genau dann muss die menschliche Rolle am stärksten ausgeprägt sein.

Eine operative Definition

Für die regulierte Bewertung technischer Dokumentation bedeutet Human-in-the-Loop vier Eigenschaften - Autorität, Nachprüfbarkeit, Kontrolle der Bewertungsentscheidung und Qualifikationsgrenzen - fehlt eine, ist der Begriff Marketing.

1. Autorität

Die qualifizierte Fachperson bleibt Entscheidungsträger für Schlussfolgerungen, die in die formelle Bewertungsdokumentation eingehen. Software darf vorschlagen; sie darf nicht entscheiden. „Autorität“ ist kein Ehrentitel. Es bedeutet, dass der Mensch überarbeiten, ablehnen, umformulieren und ein abweichendes Urteil dokumentieren kann, ohne die Kontrolle über das formale Ergebnis gegenüber dem Werkzeug verteidigen zu müssen.

2. Nachprüfbarkeit

Jede bedeutende unterstützte Aussage muss auf ihre Grundlage zurückführbar sein: Dokument, Seite oder Abschnitt, Anforderung oder Klausel sowie der Prüfverlauf, der zum aktuellen Text geführt hat. Kann ein Prüfer nicht nachvollziehen, warum ein Entwurf eine bestimmte Aussage enthält, ist er nicht Bestandteil des Entscheidungsprozesses, sondern lediglich nachgelagert beteiligt.

3. Kontrolle der Bewertungsentscheidung

Feststellungen, Akzeptanzen, offene Punkte und der Weg von der Entwurfsanalyse zur formalen Sprache müssen ausdrücklich verantwortet werden. Assistierte Ausgaben bleiben Arbeitsmaterial für die fachliche Prüfung, bis eine qualifizierte Person die Bewertung eigenverantwortlich dokumentiert. Schweigen oder automatisches Überführen in die Bewertungsunterlagen ist kein echter Entscheidungsprozess, sondern Entmachtung.

4. Qualifikationsgrenzen

Werkzeuge schaffen keine Kompetenz. Ein System, das klinische oder technische Analysen entwirft, qualifiziert den Nutzer nicht zum Prüfer. Zugang, Rolle und organisatorisches Verfahren bestimmen weiterhin, wer was feststellen darf. Ein Human-in-the-Loop-Ansatz, der Qualifikationsanforderungen außer Acht lässt, ist lediglich simulierte Professionalität.

Wenn der Mensch die Schlussfolgerung nicht ändern kann, die Grundlage nicht sieht, die Bewertung nicht verantwortet oder für die Entscheidung nicht qualifiziert ist, gibt es keinen Human-in-the-Loop-Ansatz, der diesen Namen verdient.

Was Software darf und was nicht

Eine klare Grenze zwischen „darf“ und „darf nicht“ verhindert sowohl Panik („niemals KI einsetzen“) als auch Hype („KI wird zertifizieren“). Die Grenze ist funktional, nicht modisch.

Software darf

• Komplexe Einreichungen als navigierbare Dossiers und Arbeitsabläufe erschließen.
• Potenzielle Evidenzquellen gegen Anforderungen oder Checklisten recherchieren und sichtbar machen.
• Versionen vergleichen, Änderungen hervorheben und den Prüfkontext über Revisionen hinweg bewahren.
• Analysetexte als Material für die fachliche Bearbeitung entwerfen, stets mit Rückgriffsmöglichkeit auf die Quellen.
• Fehlenden Kontext, schwache Verknüpfungen und Mehrdeutigkeiten aufzeigen, anstatt sie zu überdecken.
• Konsistenz mit geltenden Rahmenwerken und gemeinsame Struktur unter Prüfern unterstützen, ohne Gleichheit der Schlussfolgerungen durchzusetzen (Reihe D).

Software darf nicht

• Autonome Konformitäts- oder Zertifizierungsentscheidungen treffen.
• Unsicherheit hinter selbstbewusster Sprache verbergen, wenn Evidenz fehlt oder umstritten ist.
• Unverknüpfte Aussagen so präsentieren, als wären sie geprüfte Schlussfolgerungen.
• Die Qualifikation, Benennung oder institutionelle Qualitätssystem- verantwortung des Prüfers ersetzen.
• Die Verfahren der Benannten Stelle leise durch einen undurchsichtigen externen Prozess ersetzen, den die Organisation nicht prüfen oder steuern kann.

Dieselben Grenzen ziehen wir auch auf der Unternehmensseite: kein autonomes regulatorisches Urteil, keine unsichtbare Grundlage für eine Schlussfolgerung und keine Scheinpräzision, wenn Evidenz fehlt (Unternehmen · verantwortungsvolle KI).

Nachverfolgbarkeit ist kein Feature; es ist die Grundlage des Vertrauens

In gewöhnlicher Software können „Zitate“ ein nützliches Komfortmerkmal sein. In der Bewertung tragen sie Gewicht. Eine Schlussfolgerung, die nicht bis zur Evidenz zurückverfolgt werden kann, ist nicht nur schwer zu prüfen; sie ist schwer als professionelle Bewertungsarbeit zu verteidigen. Nachverfolgbarkeit verwandelt Unterstützung von einer Black Box in ein prüfbares Arbeitsartefakt.

Praktisch bedeutet das: Assistierte Arbeit sollte bewahren:

• Quellenverweise: Dokumentidentität, Fundort und der Abschnitt, der eine Aussage stützt.
• Anforderungsverknüpfung: welche Pflicht oder welches Checklisten-Element die Analyse behandelt.
• Verlauf: Was sich nach einer Revision geändert hat, wer eine Feststellung bewertet hat und was noch offen ist.
• Ausdrückliche offene Fragen: Lücken bleiben sichtbar, bis eine qualifizierte Person entscheidet, was sie bedeuten.

Ohne diese Eigenschaften reduziert sich „Human-in-the-Loop“ auf einen Menschen neben einem Prozess ohne tatsächlichen Einfluss. Mit ihnen kann Unterstützung verschwendete Arbeit zurückgewinnen, während die Autorität der Urteilsfindung unangetastet bleibt.

Was diese Definition ablehnt

• Bestätigung per Klick ohne tatsächliche Prüfung: Genehmigung ohne praktische Möglichkeit zur Prüfung oder Änderung.
• Selbstsicherheit ohne Evidenz: polierter Text als Ersatz für verknüpfte Belege.
• Positionierung des Modells als Bewerter: Marketing, das Software als Konformitätsbewertungsinstanz behandelt.
• Stille Übernahme des Prozesses: Werkzeuge, die leise das Qualitätssystem der Organisation überschreiben, anstatt sich in dieses einzugliedern.

Warum die Definition zur Mission gehört

Kapazität ohne Verantwortlichkeit ist keine Strenge; Verantwortlichkeit ohne bessere Infrastruktur ist der Status quo unter Belastung. Ein echter Human-in-the-Loop-Ansatz verbindet beides: Unterstützung verdient ihren Platz nur, wenn sie Zeit an die Urteilsfindung zurückgibt und sie verantwortbar hält. Der nächste Beitrag führt das zu Infrastruktur für Urteilsvermögen über.