KI in der Schule:
Wann wird es zur Hochrisiko-KI?
KI-gestützte Lernplattformen, automatische Bewertungssysteme, Prüfungsüberwachung per Webcam – Bildungseinrichtungen setzen KI immer häufiger ein. Anhang III Nr. 3 des EU AI Act stuft bestimmte Systeme als Hochrisiko ein.
Drei Szenarien aus dem Schulalltag
Ein Schulsystem nutzt KI, um Deutschaufsätze automatisch zu benoten. Die Note fließt direkt ins Zeugnis ein.
Eine Universität überwacht Online-Prüfungen per KI-Webcam-Analyse. Die KI meldet verdächtiges Verhalten automatisch.
Eine Lernplattform analysiert Schülerleistungen und empfiehlt automatisch einen Studiengang oder Ausbildungsweg.
Anhang III Nr. 3: Bildung und Berufsausbildung
„KI-Systeme, die für folgende Zwecke bestimmt sind: a) Bestimmung des Zugangs oder der Zulassung natürlicher Personen zu Bildungseinrichtungen oder Berufsausbildungsprogrammen; b) Bewertung von Lernenden, auch wenn diese Bewertung zur Entscheidung über ihren Verbleib in Bildungseinrichtungen verwendet wird; c) Bewertung des angemessenen Bildungsniveaus einer Person und Beeinflussung des Umfangs und Art der Bildung, die eine Person erhält; d) Überwachung und Erkennung von unerlaubtem Verhalten von Lernenden bei Prüfungen."
| KI-System | Hochrisiko? | Grundlage |
|---|---|---|
| Automatische Notenvergabe (Zeugnis) | Ja | Anhang III Nr. 3 lit. b |
| Zulassungsentscheidung Studium | Ja | Anhang III Nr. 3 lit. a |
| Webcam-Prüfungsaufsicht (KI-Analyse) | Ja | Anhang III Nr. 3 lit. d |
| Lernpfad-Empfehlung (adaptives Lernen) | Ja | Anhang III Nr. 3 lit. c |
| KI-Chatbot für Hausaufgabenhilfe | Nein | Nur Art. 50 (Transparenz) |
| Automatische Rechtschreibprüfung | Nein | Kein erhebliches Risiko |
| KI-gestützte Lernstandsanalyse (ohne Entscheidung) | Ggf. | Art. 6 Abs. 3 prüfen |
Was müssen Bildungseinrichtungen tun?
Alle Lehrkräfte, die KI-Systeme einsetzen, müssen nachweislich über KI-Kompetenz verfügen. Das gilt für Schulen, Hochschulen und Berufsschulen gleichermaßen.
Kein Schüler und kein Student darf allein durch eine KI bewertet oder abgelehnt werden. Eine qualifizierte Lehrkraft muss jede KI-Bewertung überprüfen und bestätigen.
Schüler und Eltern müssen informiert werden, wenn KI bei Bewertungen oder Zulassungsentscheidungen eingesetzt wird. Bei Minderjährigen: besondere Sorgfaltspflicht.
Schulen und Hochschulen, die Hochrisiko-KI einsetzen, müssen die EU-Konformitätserklärung des Software-Anbieters vorhalten. Ohne diese Erklärung: Einsatz überdenken.
Öffentliche Bildungseinrichtungen müssen vor dem Einsatz von Hochrisiko-KI eine FRIA durchführen. Das gilt insbesondere für Prüfungsüberwachungssysteme.
Minderjährige: Erhöhte Sorgfalt
Der EU AI Act enthält keine eigene Regelung für Minderjährige, aber Erwägungsgrund 47 betont ausdrücklich, dass bei KI-Systemen, die Kinder und Jugendliche betreffen, besondere Sorgfalt geboten ist. In Kombination mit der DSGVO (Art. 8) und dem Recht auf Bildung (EU-Grundrechtecharta Art. 14) ergibt sich eine erhöhte Schutzpflicht.