Modul 3 · Lektion 2 von 7

Pflichten für Anbieter

Wer Hochrisiko-KI entwickelt und auf den Markt bringt, muss sieben Kernpflichten erfüllen – von Risikomanagement bis CE-Kennzeichnung.

5 Min. Art. 9, 11, 13, 14, 16, 17

Was Sie in dieser Lektion lernen:

Sie kennen die 7 Kernpflichten für Anbieter von Hochrisiko-KI.
Sie können erklären, was ein Risikomanagementsystem beinhaltet.
Sie verstehen, warum technische Dokumentation vor dem Markteintritt erstellt werden muss.

Kurz nachgedacht:

Ein Startup entwickelt eine KI, die Bewerbungen automatisch vorsortiert. Welche Risiken könnten entstehen? Und wer sollte diese Risiken überprüfen – das Startup selbst oder eine externe Stelle?

1. Risikomanagementsystem (Art. 9)

Anbieter müssen ein kontinuierliches Risikomanagementsystem einrichten, das während des gesamten Lebenszyklus der KI aktiv ist – von der Entwicklung bis zur Abkündigung.

Identifizieren: Alle bekannten und vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte ermitteln.

Bewerten: Risiken bei bestimmungsgemäßem Einsatz UND bei vernünftigerweise vorhersehbarer Fehlanwendung abschätzen.

Maßnahmen: Geeignete Risikominimierungsmaßnahmen festlegen und umsetzen.

Testen: Das System vor Markteinführung und regelmäßig danach testen, um die Wirksamkeit der Maßnahmen zu prüfen.

„Das Risikomanagementsystem ist als ein kontinuierlicher, iterativer Prozess zu verstehen, der während des gesamten Lebenszyklus eines risikoreichen KI-Systems geplant und durchgeführt wird.“

Art. 9 Abs. 2, Verordnung (EU) 2024/1689

2. Technische Dokumentation (Art. 11)

Vor dem Inverkehrbringen muss eine detaillierte technische Dokumentation erstellt werden. Sie belegt, dass das System die Anforderungen erfüllt, und ermöglicht die Konformitätsbewertung.

Die Dokumentation muss u.a. enthalten: Systembeschreibung, Trainingsdaten, Testergebnisse, Risikobewertung, Leistungsmetriken und Gebrauchsanweisung für Betreiber.

3. Transparenz & Gebrauchsanweisung (Art. 13)

Hochrisiko-KI-Systeme müssen so gestaltet sein, dass Betreiber die Ergebnisse verstehen und interpretieren können. Eine klare Gebrauchsanweisung ist Pflicht.

Die Gebrauchsanweisung muss mindestens enthalten: Identität des Anbieters, Fähigkeiten und Grenzen des Systems, bekannte Risiken, Hinweise zur Interpretation der Ergebnisse, Anforderungen an die menschliche Aufsicht.

4. Menschliche Aufsicht (Art. 14)

Das KI-System muss technisch so gestaltet sein, dass Menschen es überwachen und im Zweifel überstimmen können. Das Gesetz nennt dies „Human Oversight“.

✓ Möglichkeit, das System zu stoppen oder zu überbrücken („Stop-Button“)

✓ Anzeige von Konfidenzwerten und Unsicherheiten

✓ Erklärbarkeit der Entscheidungen (Explainability)

5.–7. Qualitätsmanagement, Konformität & CE-Kennzeichen (Art. 16, 17)

Qualitätsmanagementsystem (Art. 17):

Dokumentiertes System zur Sicherstellung der kontinuierlichen Compliance – ähnlich ISO 9001, aber KI-spezifisch. Muss Strategien, Prozesse und Verantwortlichkeiten umfassen.

Konformitätsbewertung (Art. 43):

Vor Markteinführung muss das System geprüft werden – je nach Kategorie durch den Anbieter selbst oder eine benannte Stelle (Notified Body).

CE-Kennzeichnung & Registrierung (Art. 48, 49):

Nach bestandener Prüfung: CE-Kennzeichen anbringen und das System in der EU-Datenbank registrieren. Erst dann darf es auf den Markt.

Was bedeutet das in der Praxis?

Wenn ein Software-Anbieter eine Hochrisiko-KI entwickelt (z.B. ein KI-gestütztes Bewerber-Screening), muss er als Anbieter alle sieben Pflichten erfüllen. Wer das Produkt einkauft, darf auf die Konformität vertrauen – und sollte das CE-Zeichen prüfen.

Anbieter müssen Sicherheit und Transparenz „by design“ einbauen – bevor das Produkt auf den Markt kommt. Nachträgliche Korrekturen sind teuer und riskant.

Lektion 3: Pflichten für Betreiber →