Modul 3 · Lektion 3 von 7

Pflichten für Betreiber

Wer KI im beruflichen Kontext einsetzt, ist Betreiber. Auch ohne eigene Entwicklung entstehen konkrete Pflichten – besonders bei Hochrisiko-KI.

5 Min. Art. 26, 27, 50
Was Sie in dieser Lektion lernen:
Kurz nachgedacht:
Ihr Unternehmen nutzt eine KI-Software, die Mitarbeiterleistungen bewertet und Empfehlungen für Beförderungen gibt. Wer in Ihrer Organisation wäre dafür verantwortlich, dass diese KI fair und korrekt eingesetzt wird?
Pflichten beim Einsatz von Hochrisiko-KI (Art. 26)

Betreiber müssen sicherstellen, dass der Einsatz der KI sicher und regelkonform verläuft. Art. 26 EU AI Act legt folgende Kernpflichten fest:

Gebrauchsanweisung befolgen:

Das System darf nur gemäß den Vorgaben des Anbieters genutzt werden. Eigenwillige Nutzung außerhalb des vorgesehenen Zwecks ist verboten.

Menschliche Aufsicht gewährleisten:

Fähiges Personal benennen, das die KI-Ausgaben versteht, überwacht und im Zweifel überstimmen kann. Die KI darf nie das letzte Wort haben.

Eingabedaten prüfen:

Die Daten, die Sie in die KI eingeben, müssen relevant, vollständig und angemessen für den vorgesehenen Zweck sein.

Überwachung & Meldepflicht:

Den Betrieb aktiv überwachen. Bei schwerwiegenden Vorfällen (z.B. Diskriminierung, Fehler mit Folgen) müssen Anbieter und Behörden informiert werden.

Informationspflichten gegenüber Betroffenen:

Personen, die einer Hochrisiko-KI-Entscheidung unterliegen (z.B. Mitarbeiter bei KI-gestützter Leistungsbewertung), müssen darüber informiert werden.

„Die Betreiber ergreifen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie KI-Systeme mit hohem Risiko gemäß den beigefügten Gebrauchsanweisungen verwenden.“
Art. 26 Abs. 1, Verordnung (EU) 2024/1689
Grundrechte-Folgenabschätzung (Art. 27)

Bestimmte Betreiber müssen vor dem Einsatz eines Hochrisiko-KI-Systems eine Fundamental Rights Impact Assessment (FRIA) durchführen.

Wer muss eine FRIA durchführen? Behörden, Banken, Versicherungen, Bildungseinrichtungen und andere Betreiber, die Hochrisiko-KI in sensiblen Bereichen einsetzen.

Die FRIA prüft: Welche Grundrechte könnten durch den KI-Einsatz verletzt werden? Sind diskriminierte Gruppen betroffen? Welche Schutzmaßnahmen sind nötig? Das Ergebnis muss dokumentiert und der Behörde auf Anfrage vorgelegt werden.

Transparenzpflichten für alle (Art. 50)

Unabhängig von der Risikoklasse gelten für bestimmte KI-Systeme besondere Kennzeichnungspflichten:

KI-Chatbots: Wenn Menschen mit einer KI interagieren, muss dies mitgeteilt werden – es sei denn, es ist aus den Umständen offensichtlich.
Deepfakes & KI-Bilder: Künstlich erzeugte oder manipulierte Bild-, Audio- und Videoinhalte müssen als maschinell erzeugt gekennzeichnet werden.
✓
Ausnahme für Text: KI-generierte Texte, die von einem Menschen überprüft und verantwortet werden, müssen in der Regel nicht gekennzeichnet werden.
Was bedeutet das für Ihre Organisation?

Als Betreiber einer Hochrisiko-KI (z.B. KI zur Leistungsbewertung) muss Ihre Organisation:

Betreiber sind nicht nur Nutzer – sie tragen Verantwortung für den sicheren und transparenten Einsatz. Menschliche Aufsicht ist keine Option, sondern Pflicht.
Lektion 4: Praxischeck →