KI in der Bildung: Rechtliche Orientierung für Bildungseinrichtungen und Lehrkräfte
Stand: 27. März 2026
Autor: Dr. Till Kreutzer, Rechtsanwalt bei iRights.Law, Mitgründer von iRights.info
Lizenz: CC BY 4.0
Disclaimer: Der Rechtsrahmen in Bezug auf KI ist in ständiger Bewegung. Angesichts der dynamischen Entwicklung können sich einzelne Antworten auf die hier behandelten Fragen jederzeit ändern. Im Übrigen sind viele Aspekte nicht ausdrücklich gesetzlich geregelt und bedürfen der Auslegung und juristischen Bewertung. Die Antworten auf diese FAQ sind daher keine “absoluten Wahrheiten”, sondern sie basieren auf der fachlichen Expertise und persönlichen Einschätzung des Verfassers.
- 1 1. Allgemeines
- 2 2. KI-Regulierung nach der KI-Verordnung
- 2.1 2.1. Wozu dient die KI-Verordnung und inwiefern ist sie für Akteure im Bildungswesen relevant?
- 2.2 2.2. Gilt die KI-VO auch für nicht-kommerzielles Handeln, beispielsweise durch Einrichtungen oder Freiberufler*innen im (öffentlichen) Bildungssektor?
- 2.3 2.3. Die KI-VO wurde 2024 verabschiedet. Gibt es eine Übergangszeit, bevor sie wirksam wird?
- 2.4 2.4. Die KI-VO unterscheidet zwischen Anbietern und Betreibern. Was bedeutet das - und was ist mit einfachen Nutzerinnen und Nutzern?
- 2.5 2.5. Ist eine Schule, die ein Standardsystem wie ChatGPT einkauft und allen zur Verfügung stellt, Anbieter oder Betreiber?
- 2.6 2.6. Wie ist es, wenn Lehrkräfte Standardsysteme (z. B. ChatGPT) „auf eigene Faust“ für ihre Arbeit nutzen?
- 2.7 2.7. Was gilt, wenn eine Schule ein fremdentwickeltes System einführt und es für eigene Zwecke anpasst und weiterentwickelt?
- 2.8 2.8. Was ist der Unterschied zwischen einem KI-Modell und einem KI-System?
- 2.9 2.9. Welche Arten von KI-Systemen unterscheidet die KI-Verordnung?
- 2.10 2.10. Welche Pflichten haben Anbieter und Betreiber?
- 2.11 2.11. Was bedeutet die Pflicht, KI-Kompetenz aufzubauen und an wen richtet sie sich?
- 2.12 2.12. Gibt es eine allgemeine, generelle Kennzeichnungspflicht für KI-Inhalte?
- 2.13 2.13. Welche Strafen drohen bei Verstößen gegen die KI-VO?
- 3 3. Urheberrecht
- 3.1 3.1. Dürfen KI-Unternehmen Internet-Inhalte zum Trainieren ihrer Basismodelle (Foundation Models wie LLMs) verwenden, ohne zu fragen?
- 3.2 3.2. Kann ich meine Online-Inhalte davor schützen, von KI-Crawlern verwendet zu werden?
- 3.3 3.3. Kann ich von KI-Konzernen eine Vergütung für die Nutzung meiner Inhalte verlangen?
- 3.4 3.4. Ich bin eine Lehrkraft und möchte bei ChatGPT für meinen Unterricht einige fremde Materialien (im Internet frei zugängliche PDFs) hochladen, um sie auswerten, interpretieren und zusammenfassen zu lassen. Ist das erlaubt?
- 3.5 3.5. Ich erstelle ein Lernskript mithilfe eines generativen KI-Systems. Unter anderem sind so eine Reihe von Texten entstanden, die mir die KI vorgeschrieben und die ich im Anschluss grundlegend überarbeitet habe (sowohl inhaltlich als auch sprachlich). Zudem habe ich allerhand Grafiken und Bilder generieren lassen, die ich zwar durch weiteres Prompting verfeinert, aber nicht eigenhändig verändert habe. Kann ich für mein Lernskript insgesamt oder in Teilen Urheberrecht beanspruchen?
- 3.6 3.6. Besteht dann zumindest Urheberrechtsschutz an meinen Prompts?
- 3.7 3.7. Ergibt es Sinn, mein unter Mithilfe der KI erstelltes Lernskript als OER zu kennzeichnen?
- 3.8 3.8. Welche Lizenzen oder Erklärungen sollte ich konkret angeben?
- 3.9 3.9. Unsere Mitarbeitenden nutzen KI, um kreative Inhalte (wie Texte, Bilder und Videos) zu gestalten, die auch veröffentlicht werden. Kann es passieren, dass die KI Output generiert, die gegen das Urheberrecht verstoßen?
- 3.10 3.10. Und wenn es doch einmal zu einer Urheberrechtsverletzung durch die Veröffentlichung von KI-Output kommt - kann die Lehrkraft und/oder die Einrichtung hierfür haftbar gemacht werden?
- 4 4. Datenschutzrecht
- 4.1 4.1. In welchen Fällen ist Datenschutzrecht zu beachten, was sind personenbezogene Daten?
- 4.2 4.2. Welche Daten sind nicht personenbezogen? Und was bedeutet „anonymisiert“ und was „pseudonymisiert“?
- 4.3 4.3. Darf ich als Lehrkraft Namen, Noten oder andere Schülerdaten in ein frei verfügbares KI-Tool eingeben?
- 4.4 4.4. Darf ich Fotos, Sprachaufnahmen, Videos oder Schülerarbeiten in KI-Systeme hochladen?
- 4.5 4.5. Ist die Lage anders, wenn die Schule eine eigene KI-Lösung betreibt?
- 4.6 4.6. Wer ist eigentlich verantwortlich: die Lehrkraft, die Schule oder der KI-Anbieter?
- 4.7 4.7. Reicht eine Einwilligung der Schülerinnen und Schüler oder der Eltern aus?
- 4.8 4.8. Dürfen KI-Ergebnisse mit Personenbezug ohne Weiteres veröffentlicht oder außerhalb des privaten Raums geteilt werden?
- 4.9 4.9. Darf KI Schülertexte korrigieren, Feedback geben oder Notenvorschläge machen?
- 4.10 4.10. Darf KI in der Schule über Noten, Prüfungen, Zulassung oder ähnliche Fragen entscheiden?
- 4.11 4.11. Welche Transparenzanforderungen gelten datenschutzrechtlich beim Einsatz von KI?
- 4.12 4.12. Welche technischen und organisatorischen Maßnahmen sollten Schulen beim KI-Einsatz vorsehen?
1. Allgemeines
1.1. Was ist mit Künstlicher Intelligenz (KI) im vorliegenden Kontext gemeint?
Der Begriff Künstliche Intelligenz beschreibt im weiteren Sinn Technologien des maschinellen Lernens (machine learning). KI-Technologien sind in der Lage, Funktionen und Lösungsmechanismen auszuprobieren, zu erlernen und zu optimieren. Hierfür brauchen sie viele Daten, an denen sie Zusammenhänge erkennen und lernen können. Je höher die Anzahl und Qualität von Trainingsdaten und Trainingsvorgängen, desto größer ist der Lerneffekt.
Siehe zur gesetzlichen Definition Art. 3 Nr. 1 KI-Verordnung (KI-VO englisch “AI Act”)
1.2. Was ist “KI-Recht”? Welche Regularien sind zu beachten, wenn ich KI im Bildungswesen einsetzen will?
“KI-Recht” ist ein unpräziser Begriff und kein Fachterminus. Es gibt kein “KI-Gesetz”, in dem alle - oder auch nur alle grundlegenden - Fragen geregelt wären. Vielmehr kann eine Vielzahl unterschiedlicher Regularien anwendbar sein. Welche das sind, hängt von den konkreten Umständen ab, z. B.:
Um wen geht es, welche Rolle hat die Person, Einrichtung oder das Unternehmen im konkreten KI-Kontext (Entwickler*innen, Anbieter*innen, Betreiber*innen, Nutzer*innen)?
Werden personenbezogene Daten verarbeitet?
Um was für ein KI-Modell oder -System handelt es sich? Welches Risiko geht hiervon aus?
Wird das System rein intern verwendet oder zur Nutzung auch Dritten angeboten?
Woher kommen die Daten/Inhalte und wo/bei wem werden sie gespeichert?
Bedeutende Regelungen in diesem Kontext sind die Datenschutzgrundverordnung (DS-GVO), die KI-Verordnung (KI-VO) und das Urheberrechtsgesetz (UrhG).
2. KI-Regulierung nach der KI-Verordnung
2.1. Wozu dient die KI-Verordnung und inwiefern ist sie für Akteure im Bildungswesen relevant?
Die KI-Verordnung der Europäischen Union (Verordnung (EU) 2022/1689 vom 13. Juni 2024) ist ein zentraler Bestandteil der europäischen Digitalstrategie. Sie soll einheitliche Regelungen für die Entwicklung, den Vertrieb und den Einsatz von KI in der Europäischen Union schaffen. Hiermit werden verschiedene - oft zuwiderlaufende - Ziele verfolgt. Einerseits sollen die Potenziale von KI für Wirtschaft und Innovationskraft gestärkt werden. Andererseits soll die Verordnung vor schädlichen Auswirkungen - vor allem auf Grundrechte, die Demokratie, Rechtsstaat und Umweltschutz - schützen. Die KI-VO versucht, einen ausgewogenen Interessenausgleich herzustellen. Um dies zu gewährleisten, basiert sie auf einem abgestuften und risikobasierten Regulierungsansatz, der nicht auf die Technologie als solche fokussiert, sondern auf die hiervon ausgehenden Risiken und die hierfür verantwortlichen Akteure. Konkret heißt das:
Je mehr Risiken eine KI-Technologie mit sich bringt, desto strenger sind die einzuhaltenden Auflagen.
Je mehr Einfluss ein Akteur auf das jeweilige Risiko hat, desto stärker wird er in die Verantwortung genommen. KI-Betreiber (zum Begriff s. u.), die ein KI-System nur einsetzen und nicht entwickeln, müssen generell weniger Auflagen erfüllen als Anbieter. Letztere haben entscheidenden Einfluss auf die Ausgestaltung der Technologie, erstere “nur” auf deren Verwendung.
2.2. Gilt die KI-VO auch für nicht-kommerzielles Handeln, beispielsweise durch Einrichtungen oder Freiberufler*innen im (öffentlichen) Bildungssektor?
Ja. Die KI-VO enthält keine generelle Ausnahme für gemeinnütziges/nicht-kommerzielles Handeln. Sie gilt damit auch für öffentliche Schulen oder freiberufliche Trainer*innen und auch die KI. Die Verordnung differenziert auch nicht grundsätzlich in Bezug auf die Leistungsfähigkeit oder Größe des jeweiligen Akteurs, sondern nach den von ihnen jeweils erzeugten und beherrschten Risiken. Die Intensität und Reichweite der Auflagen hängen also weniger davon ab, “wer man ist”, sondern v. a. davon, “was man macht”.
Gänzlich ausgeschlossen vom Anwendungsbereich der KI-VO sind lediglich rein persönliche, nicht berufliche Verwendungen. Diese sog. Haushaltsausnahme wird sehr eng definiert. Sie ist grundsätzlich beschränkt auf rein privates Handeln und umfasst damit nicht einmal ehrenamtliche Arbeit.
2.3. Die KI-VO wurde 2024 verabschiedet. Gibt es eine Übergangszeit, bevor sie wirksam wird?
Die KI-VO tritt schrittweise in Kraft. Manche Regelungen gelten schon jetzt (Stand März 2026), die meisten Anforderungen werden 24 Monate nach dem Inkrafttreten der Verordnung (also ab August 2026) wirksam.
Derzeit wird auf EU-Ebene über die “Digital-Omnibus-Verordnung zur KI” verhandelt. Hier geht es unter anderem um die Umsetzungsfristen der KI-VO, die gegebenenfalls zum Teil verlängert werden sollen. Was hierbei herauskommt, ist jedoch noch unklar. Der Omnibus wurde noch nicht verabschiedet und ist in seinen Details stark umstritten.
2.4. Die KI-VO unterscheidet zwischen Anbietern und Betreibern. Was bedeutet das - und was ist mit einfachen Nutzerinnen und Nutzern?
Die KI-Verordnung (KI-VO) knüpft viele ihrer Regeln an bestimmte Rollen. Besonders wichtig sind „Anbieter“ und „Betreiber“ eines KI-Systems.
Anbieter sind die Hersteller*innen, also diejenigen, die ein KI-System entwickeln oder es unter ihrem Namen in Verkehr bringen. Sie konzipieren das System und verbreiten es. Damit treffen sie die wesentlichen Entscheidungen über die Funktionsweise und haben erheblichen Einfluss auf die hiermit einhergehenden Risiken. Beispiele für Anbieter sind:
Hersteller*innen von Chatbots oder Klausur-Auswertungstools.
Eine Hochschule, die ein eigenes KI-System entwickelt und anderen Schulen zur Nutzung anbietet.
Ein EdTech-Unternehmen, das eine KI-Lernplattform auf den Markt bringt.
Betreiber sind diejenigen, die ein fertiges KI-System in eigener Verantwortung einsetzen. Das können z. B. Schulen, Hochschulen oder Weiterbildungsträger sein, die ein KI‑Tool offiziell für Unterricht, Prüfungen oder Verwaltung einführen. Sie „nutzen“ das System für eigene Zwecke, ohne es selbst entwickelt zu haben. Beispiele sind etwa:
Schulen oder Hochschulen, die ein KI-Tool zentral einführen.
Ein Bildungsanbieter, der eine KI-Lernplattform seinen Teilnehmenden zur Verfügung stellt.
Eine Lehrkraft, die das von der Schule eingeführte KI-System zu Unterrichtszwecken nutzt.
An dem letzten Beispiel zeigt sich, dass der Betreiberbegriff sehr weit geht. Hierunter fallen auch Endnutzer*innen, also reine Verwender*innen. Betreiber können sowohl Freiberufler*innen als auch Firmen, Behörden oder Vereine (usw.) sein.
Den Begriff “Endnutzer” kennt die KI-VO nicht. Selbst eine Lehrkraft, die einen frei verfügbaren KI‑Dienst für ihre beruflichen Zwecke verwendet, ist “Betreiber”. Gänzlich aus dem Anwendungsbereich der KI-VO ausgeschlossen sind lediglich rein private Nutzungen (siehe 2.6).
2.5. Ist eine Schule, die ein Standardsystem wie ChatGPT einkauft und allen zur Verfügung stellt, Anbieter oder Betreiber?
In diesem Fall wird die Schule Betreiberin des KI-Systems sein, nicht Anbieterin. Sie entwickelt das System nicht selbst, sondern stellt es ihren Lehrkräften, Beschäftigten und ggf. Schüler*innen zur Nutzung bereit und setzt es damit in eigener Verantwortung ein. Der eigentliche Dienstanbieter (z. B. OpenAI, Google, Anthropic) ist hier Anbieter im Sinne der KI‑VO.
2.6. Wie ist es, wenn Lehrkräfte Standardsysteme (z. B. ChatGPT) „auf eigene Faust“ für ihre Arbeit nutzen?
Da die Nutzung nicht rein privaten/persönlichen Zwecken dient, ist die Lehrkraft “Betreiber”. Sie muss jedoch nur sehr geringe Anforderungen (s. u.) erfüllen.
2.7. Was gilt, wenn eine Schule ein fremdentwickeltes System einführt und es für eigene Zwecke anpasst und weiterentwickelt?
Wird ein bestehendes KI‑System oder -Modell technisch so verändert, dass seine Funktionsweise oder sein Verhalten wesentlich angepasst wird (z. B. durch eigenes Feintuning oder tiefgreifende Integration in ein schulinternes RAG‑System), kann die Schule rechtlich (Mit‑)Anbieterin des „neuen“ Systems werden. In einfacheren Fällen, in denen nur eigene Daten „angedockt“ und abgerufen werden, ohne das zugrunde liegende Modell selbst zu verändern, bleibt die Schule eher Betreiberin eines fremden KI‑Systems mit erweitertem Einsatzkontext. Wo hier genau die Grenze verläuft und welche Folgen das hat, ist derzeit Gegenstand fachlicher Diskussionen und sehr unklar.
2.8. Was ist der Unterschied zwischen einem KI-Modell und einem KI-System?
Generative KI-Systeme basieren auf KI-Modellen (Basismodelle oder „Foundation Models”), wie beispielsweise großen Sprachmodellen (Large Language Models - LLMs). Ein KI-System ist eine voll funktionsfähige und regelmäßig mit einer Benutzeroberfläche ausgestattete KI-Anwendung, die auf einem KI-Modell basiert. Beispielsweise bezeichnet “GPT” das LLM von OpenAI, während deren hierauf basierendes KI-System “ChatGPT” genannt wird.
Die Pflichten von Anbietern von KI-Modellen für allgemeine Zwecke (“GPAI-Modelle”) sind in der KI-VO gesondert geregelt. Sie richten sich vorwiegend an große Unternehmen wie Google, Microsoft oder OpenAI. Da GPAI-Modelle die Grundlage für eine Vielzahl von möglichen KI-Anwendungen bilden, weisen sie spezifische Risiken auf, denen mit besonderen Regeln begegnet werden soll. Sie werden hier, mangels praktischer Relevanz für die Zielgruppe, nicht weiter behandelt.
2.9. Welche Arten von KI-Systemen unterscheidet die KI-Verordnung?
Die KI-Verordnung (KI-VO) folgt einem risikobasierten Ansatz und unterscheidet vier Kategorien von KI-Systemen. Die Kategorisierung ist entscheidend für den Umfang der Auflagen, die man beim Betrieb oder Angebot des jeweiligen Systems zu erfüllen hat. Je höher das Risiko, desto strenger die Auflagen bis hin zum absoluten Verbot.
KI-Kategorien nach der KI-VO:
Verbotene Praktiken (inakzeptables Risiko): Hierzu zählen u. a. manipulative Technologien, Social-Scoring-Systeme oder Echtzeit-Fernidentifizierungssysteme. Solche Technologien widersprechen den Grundwerten der Europäischen Union elementar und sind damit vollständig verboten.
Hochrisiko-KI-Systeme: Diese unterliegen strengen Auflagen (Risikomanagement, Transparenz, Dokumentation, Konformitätsbewertung). Beispiele im Bildungssektor können sein:
KI zur Bewertung von Lernergebnissen (z. B. automatisierte Notenvergabe bei Klassenarbeiten).
KI zur Zuweisung von Schülerinnen und Schülern zu Klassen, Kursen oder Förderprogrammen.
Emotionserkennung im Unterricht (z. B. zur Überwachung der Schüleraufmerksamkeit).
KI zur Zugangskontrolle an Bildungseinrichtungen (z. B. Zulassungsverfahren).
Systeme mit geringem oder minimalem Risiko: Betreiber und Anbieter müssen gewisse - überschaubare - Anforderungen an KI-Kompetenz und Transparenz erfüllen. Beispiele im Bildungskontext können sein:
Chatbots und andere GPAI-Systeme, die zur Unterstützung des Unterrichts von Lehrkräften und Lernenden genutzt werden.
Systeme mit minimalem Risiko: Hierfür sieht die KI-VO keine Auflagen vor. Beispiele im Bildungskontext können sein:
(KI gestützte) Spam-Filter für Schul-E-Mails.
KI unterstützte Lernspiele.
2.10. Welche Pflichten haben Anbieter und Betreiber?
Die KI-VO enthält eine Vielzahl von Pflichten und Auflagen. Sie unterscheiden sich - gemäß dem risikobasierten Ansatz - danach, ob es sich bei dem jeweiligen Regelungsadressaten um einen Anbieter oder einen Betreiber handelt sowie danach, ob das jeweilige System hoch-, gering oder minimal riskant ist. Nachstehend werden einige der Pflichten (sortiert nach Betreiber- und Anbieterpflichten) kurz erläutert.
Anforderung, Rechtspflicht | Adressaten (wer?) | Kategorie des KI-Systems (was?) | Wo steht das in der KI-VO? |
KI-Kompetenz: Es sind Maßnahmen zu ergreifen, um sicherzustellen, dass Personal, das mit Betrieb und Nutzung von KI-Systemen befasst ist, ausreichend kompetent ist. | Betreiber
Anbieter | Alle KI-Systeme, soweit nicht aus dem Anwendungsbereich ausgenommen oder verboten | Art. 4 |
Ordnungsgemäße Benutzung: Es ist sicherzustellen, dass das System gemäß der Gebrauchsanweisung genutzt wird. | Betreiber | Hochrisiko-KI-System | Art. 26 Abs. 1 |
Menschliche Aufsicht: Kompetente und geschulte Personen haben die Benutzung zu beaufsichtigen und die Nutzer zu unterstützen. | Betreiber | Hochrisiko-KI-System | Art. 26 Abs. 2 |
Technische Überwachung: Der Betrieb des Systems ist zu überwachen. | Betreiber | Hochrisiko-KI-System | Art. 26 Abs. 5 |
Grundrechte-Folgenabschätzung: Vor Inbetriebnahme ist eine Abschätzung vorzunehmen, welche Personen in welchem Maß in ihren Grundrechten betroffen sein könnten. | Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt
Betreiber, von Hochrisiko-Systemen, die bei der Kreditwürdigkeitsprüfung oder der Risikobewertung und Preisbildung von Lebens- und Krankenversicherungen verwendet werden | Hochrisiko-Systeme (ggf. spezifische) | Art. 27 Abs. 2
Anhang III Nr. 5 lit. b und c |
Transparenz bei KI-Systemen, die Deepfakes erzeugen: Deepfakes können - sofern sie nicht kenntlich gemacht werden - erhebliche Risiken verursachen, z. B. weil hierdurch Meinungen oder Entscheidungen manipuliert werden können. Sie sind daher als solche zu kennzeichnen.
Zu den Umsetzungsfragen wird die EU-Kommission Praxisleitfäden verabschieden, an denen sich die Adressaten dieser Regelungen orientieren sollten. Der Prozess ist (Stand März 2026) noch nicht abgeschlossen. Derzeit aktuell ist die zweite Entwurfsfassung vom 5.3.2026. | Betreiber | Alle KI-Systeme, die Deepfakes erzeugen (können) | Art. 50 Abs. 4 UA 1 |
Transparenz bei öffentlichen Informationen: Informationen von allgemeinem Interesse, mit denen die Öffentlichkeit informiert werden soll, sind kenntlich zu machen, wenn sie von einer KI generiert wurden. Dies ist beispielsweise im Journalismus, aber auch dann relevant, wenn Informationen über Hochschulaktivitäten auf deren Webseite veröffenlticht werden. Die Pflicht gilt wiederum nicht, wenn die Informationen vor Veröffentlichung einer menschlichen Prüfung unterzogen werden und ein Mensch die Verantwortung für diese Veröffentlichungen übertragen wurde.
Zu den Umsetzungsfragen wird die EU-Kommission Praxisleitfäden verabschieden, an denen sich die Adressaten dieser Regelungen orientieren sollten. Der Prozess ist (Stand März 2026) noch nicht abgeschlossen. Derzeit aktuell ist die zweite Entwurfsfassung vom 5.3.2026. | Betreiber | Alle KI-Systeme, mit denen öffentlichkeitsrelevante Informationen generiert werden. | Art. 50 Abs. 4 UA 2 |
Transparenz bei interaktiver KI: Interagiert ein KI-System mit Menschen, muss es so konzipiert und ausgestaltet werden, dass die Nutzer darüber informiert werden, dass sie mit einer KI interagieren.
Zu den Umsetzungsfragen wird die EU-Kommission Praxisleitfäden verabschieden, an denen sich die Adressaten dieser Regelungen orientieren sollten. Der Prozess ist (Stand März 2026) noch nicht abgeschlossen. Derzeit aktuell ist die zweite Entwurfsfassung vom 5.3.2026. | Anbieter | Alle KI-Systeme, die für die direkte Interaktion mit Menschen bestimmt sind | Art. 50 Abs. 1 |
Transparenz bei KI-Systemen, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen: Der Output generativer KI-Systeme ist erkennbar als künstlich erzeugt oder manipuliert zu kennzeichnen.
Zu den Umsetzungsfragen wird die EU-Kommission Praxisleitfäden verabschieden, an denen sich die Adressaten dieser Regelungen orientieren sollten. Der Prozess ist (Stand März 2026) noch nicht abgeschlossen. Derzeit aktuell ist die zweite Entwurfsfassung vom 5.3.2026. | Anbieter | Alle KI-Systeme, die synthetische Audio-, Text-, Bild- und Videoinhalte erzeugen | Art. 50 Abs. 2 |
Risikomanagement: Es ist ein Risikomanagement-System aufzusetzen und kontinuierlich zu aktualisieren/weiterzuentwickeln, mit dem potenzielle Risiken des KI-Systems ermittelt, bewertet und gesteuert werden. | Anbieter | Hochrisiko-Systeme | Art. 9 |
Daten-Governance: Sofern Hochrisiko-KI-Systeme mit Daten trainiert werden, müssen Trainings-, Validierungs- und Testdatensätze verwendet werden, die bestimmten Qualitätskriterien entsprechen. | Anbieter | Hochrisiko-Systeme | Art. 10 |
Technische Dokumentation: Bevor ein Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen wird, ist eine technische Dokumentation anzufertigen. Sie hat bestimmte Spezifika zu erfüllen und ist laufend zu aktualisieren. | Anbieter | Hochrisiko-Systeme | Art. 11 |
Aufzeichnung und Protokollierung: Hochrisiko-KI-Systeme müssen technisch so ausgestattet sein, dass sie in der Lage sind, bestimmte “Ereignisse” automatisch dauerhaft aufzuzeichnen. Dies ist die technische Grundlage, damit die Betreiber ihrer Beobachtungspflicht nachkommen können. | Anbieter | Hochrisiko-Systeme | Art. 12 |
Transparenz über Funktionsweise: Hochriskante KI-Systeme müssen mit Bedienungsanleitungen und Dokumentationen versehen werden. Dies ist die Voraussetzung, damit die Betreiber ihren Pflichten zur ordnungsgemäßen Benutzung nachkommen können. Diese Pflicht soll dem Black-Box-Phänomen entgegenwirken. | Anbieter | Hochrisiko-Systeme | Art. 13 |
Technische Ermöglichung menschlicher Aufsicht: Hochriskante KI-Systeme sind so zu konzipieren, dass sie vom Betreiber mit angemessenen Mitteln wirksam menschlich überwacht werden können. Das setzt u.a. voraus, dass ihre Funktionsweise, Fähigkeiten und Grenzen verständlich sind. Auch diese Pflicht soll dem Black-Box-Phänomen entgegenwirken. | Anbieter | Hochrisiko-Systeme | Art. 14 |
Gewähr von Genauigkeit, Robustheit und Cybersicherheit: Hochsicherheits-KI-Systeme müssen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit gewährleisten und über die gesamte Lebenszeit aufrechterhalten. | Anbieter | Hochrisiko-Systeme | Art. 15 |
Qualitätsmanagementsystem: Anbieter von Hochrisiko-KI-Systemen müssen ein Qualitätsmanagementsystem einrichten, das u.a. Konzepte zur Einhaltung von Regulierungsvorschriften, Maßnahmen für Entwurfs- und Qualitätskontrolle, Test- und Validierungsverfahren umfassen muss. | Anbieter | Hochrisiko-Systeme | Art. 17 |
Korrekturmaßnahmen und Informationspflichten: Sofern der Verdacht besteht, dass ein KI-System nicht mit der KI-VO vereinbar ist oder Risiken für die Gesundheit oder Sicherheit oder Grundrechte von Personen verursacht, ist unverzüglich gegenzusteuern. Es entstehen Informationspflichten und Pflichten zur Kooperation mit den zuständigen Behörden. | Anbieter | Hochrisiko-Systeme | Art. 20 Art. 21 |
Konformitätserklärungen und CE-Kennzeichnungen: Bei Hochrisiko-KI-Systemen müssen Konformitätsprüfungen vorgenommen und Konformität muss entsprechend erklärt werden. Hochrisiko-KI-Systeme müssen zudem mit einer CE-Kennzeichnung versehen sein, aus der ihre Konformität mit der KI-Verordnung hervorgeht. | Anbieter | Hochrisiko-Systeme | Art. 42 - 47 (Konformität) Art. 48 (CE-Kennzeichnung) |
Quelle: Till Kreutzer in: Der Paritätische (Hrsg), Rechtsfragen beim Einsatz von generativer KI in gemeinnützigen Organisationen, 2024, siehe https://www.der-paritaetische.de/fileadmin/user_upload/Publikationen/doc/broschuere_rechtshilfe-KI_2025_web.pdf
2.11. Was bedeutet die Pflicht, KI-Kompetenz aufzubauen und an wen richtet sie sich?
Die Pflicht aus Art. 4 KI-VO, “AI Literacy” aufzubauen, richtet sich an jeden Anbieter und Betreiber. Auch “normale Verwender” wie beispielsweise Lehrkräfte (siehe Frage 2.6) haben sie zu beachten.
“KI-Kompetenz” in diesem Sinne bedeutet: “Die Fähigkeiten, die Kenntnisse und das Verständnis, um KI-Systeme sachkundig, verantwortungsvoll und sicher einzusetzen und sich der Chancen und Risiken (z. B. ethisch, rechtlich, gesellschaftlich) von KI bewusst zu sein.” (so das “Hinweispapier der Bundesnetzagentur”). Die KI-VO lässt offen, wie diese Kenntnisse vermittelt oder erlangt werden sollen.
Welche Maßnahmen erforderlich sind, hängt von der jeweiligen Konstellation ab. Für eine Einzelperson (mag sie auch “Betreiber” nach der KI-VO sein), die zu beruflichen Zwecken ein KI-System nutzt, dürfte es genügen, sich über dessen Funktionsweise allgemein zu informieren. Eine Institution muss dagegen dafür Sorge tragen, dass alle mit KI beschäftigten Mitarbeitenden über ein allgemeines Verständnis von KI verfügen, sowie über zumindest grundlegende Kenntnisse in Bezug auf die Funktionsweise, Möglichkeiten und Risiken des oder der konkret genutzten KI-Systeme. Schulungen, interne KI-Leitlinien oder Policies sind mögliche Mittel, um solche Kenntnisse aufzubauen. Angesichts der Dynamik der Entwicklung werden einmalige Fortbildungsmaßnahmen nicht ausreichend sein. Dementsprechende Kenntnisse müssen vielmehr mit der Zeit aktualisiert und aufgefrischt werden.
Konkrete Fristen sieht die KI-VO dafür ebenso wenig vor wie Qualitätssicherungsmechanismen (beispielsweise Zertifizierungsanforderungen für Weiterbildungsanbieter). In Bezug auf die Details besteht somit viel Spielraum, was ermöglicht, auf die Notwendigkeiten und Leistungsfähigkeit in der jeweiligen Konstellation Rücksicht zu nehmen. In jedem Fall sollten institutionelle Betreiber die getroffenen Maßnahmen aber nachvollziehbar dokumentieren.
Weitere Hinweise und Checklisten lassen sich dem Hinweispapier der Bundesnetzagentur “KI-Kompetenzen nach Artikel 4 KI-Verordnung” entnehmen.
2.12. Gibt es eine allgemeine, generelle Kennzeichnungspflicht für KI-Inhalte?
Nein. KI-Inhalte müssen - selbst wenn sie veröffentlicht werden - nicht stets gekennzeichnet werden. Rechtliche Vorgaben ergeben sich lediglich für spezielle Arten von KI-Inhalten (Art. 50 KI-VO), mitunter auch aus sektorspezifischen Regularien (wie beispielsweise Prüfungs- oder Promotionsordnungen). Natürlich sind diesbezügliche ethische Fragen von besonderer Sensibilität. Die Öffentlichkeit reagiert auf ungekennzeichnete KI-Inhalte (v. a. in den Medien) derzeit häufig allergisch.
2.13. Welche Strafen drohen bei Verstößen gegen die KI-VO?
Auch bei Sanktionen und Bußgeldern folgt die KI-VO einem abgestuften Konzept. Je nach Art und Schwere des Verstoßes bzw. Akteur sieht die Verordnung Bußgelder von bis zu 35 Millionen Euro vor. Die Höhe eines konkret verhängten Bußgeldes hängt vom Ermessen der Aufsichtsbehörde ab, die hierbei die Umstände des Einzelfalls (v. a. Schwere des Verstoßes, hiervon ausgehende Risiken, Art und Leistungsfähigkeit des Akteurs und Vieles mehr) zu berücksichtigen haben.
3. Urheberrecht
Urheberrechtliche Fragen werden derzeit besonders heiß diskutiert. Die öffentliche und fachspezifische Meinungsbildung ist in stetigem Fluss. Kein Tag vergeht, an dem nicht eine neue Gerichtsentscheidung, ein rechtspolitischer Vorschlag und unzählige neue Papiere, Artikel und Stellungnahmen veröffentlicht werden. Gerade auf diesem Gebiet verstehen sich viele Einschätzungen daher nur als Momentaufnahme.
3.1. Dürfen KI-Unternehmen Internet-Inhalte zum Trainieren ihrer Basismodelle (Foundation Models wie LLMs) verwenden, ohne zu fragen?
Nach momentan wohl herrschender Auffassung trifft das im Grundsatz zu. Jedenfalls im EU- und darauf basierend im deutschen Urheberrecht gibt es gesetzliche Nutzungsbefugnisse, die eine solche Nutzung erlauben. Diese Regelungen sehen vor, dass urheberrechtlich relevante Vervielfältigungen im Zuge des “Text- und Data-Minings” (TDM) gestattet sind, worunter auch durch KI-Crawler erzeugte Kopien fallen können. Hierfür müssen keine Vergütungen gezahlt werden. Einen Anspruch von Kreativschaffenden, an den Einnahmen von OpenAI & Co. beteiligt zu werden, sieht das europäische Urheberrecht derzeit nicht vor. Siehe hierzu im deutschen Urheberrechtsgesetz (UrhG) die Paragrafen 44b und 60d.
3.2. Kann ich meine Online-Inhalte davor schützen, von KI-Crawlern verwendet zu werden?
Rechtlich ist diese Option vorgesehen. Jedenfalls kommerziellem KI-Training kann der Rechteinhaber widersprechen (s. § 44b Abs. 3 UrhG). Wird ein solcher “Opt-out” erklärt, sind KI-Trainingsmaßnahmen an den jeweiligen Inhalten rechtswidrig.
Die technische und faktische Umsetzung dieser Option ist dagegen derzeit noch schwierig. Die rechtlichen Vorgaben sind im Detail hoch umstritten. Das Gesetz gibt bei online verfügbar gemachten Inhalten vor, dass ein Opt-out maschinenlesbar erklärt wird. Es ist aber unklar und wird sehr unterschiedlich beurteilt, was “maschinenlesbar” ist, ob hierunter beispielsweise nur in Code ausgedrückte Vorbehalte fallen oder auch natursprachlich formulierte. Selbst wenn dies irgendwann geklärt und standardisiert wird, sind weitere Schwierigkeiten zu bewältigen, beispielsweise bei der Rechtsdurchsetzung gegenüber ausländischen Großunternehmen.
3.3. Kann ich von KI-Konzernen eine Vergütung für die Nutzung meiner Inhalte verlangen?
Geht man davon aus, dass die oben genannten TDM-Regelungen greifen, ist ein solcher Anspruch nach derzeitiger Rechtslage nicht vorgesehen. Kreativschaffende, Verlage, Unterhaltungsindustrie und Verwertungsgesellschaften können daher nach momentanen Stand nicht verlangen, an den Einnahmen von OpenAI & Co. beteiligt zu werden. Das ist - wie gesagt - sehr umstritten und wurde in einzelnen Gerichtsentscheidungen unterschiedlich beurteilt. Hier gilt es, die weitere Entwicklung abzuwarten.
3.4. Ich bin eine Lehrkraft und möchte bei ChatGPT für meinen Unterricht einige fremde Materialien (im Internet frei zugängliche PDFs) hochladen, um sie auswerten, interpretieren und zusammenfassen zu lassen. Ist das erlaubt?
Zunächst ist grundsätzlich davon auszugehen, dass solches Material urheberrechtlich geschützt ist. Lädt man solche Dateien aus dem Internet, um sie dann in ein KI-System hochzuladen, entstehen Kopien. Solche werden Vervielfältigungen genannt und sie fallen grundsätzlich unter die Restriktionen des Urheberrechts.
Hiernach sind solche Kopien nur zulässig, wenn der Nutzer hierfür entweder a) eine Genehmigung hat (einen Vertrag, eine Lizenz, eine zustimmende E-Mail) oder b) wenn sie nach einer gesetzlichen Nutzungserlaubnis gestattet sind. Da a) in der Regel keine praktikable Option sein wird, sind gesetzliche Nutzungserlaubnisse (auch “Schranken” genannt) von großer Bedeutung. Problematisch ist, dass es für Nutzungshandlungen im Rahmen der “Content Ingestion” (individueller Upload von geschützten Material zur Auswertung durch eine KI) keine dezidierten gesetzlichen Nutzungserlaubnisse gibt. So verbleibt Rechtsunsicherheit.
Anwendung finden könnten die Regelungen zum Text- und Data-Mining (siehe Frage 3.1), die Unterrichtsschranke (§ 60a UrhG), die Regelung zum wissenschaftlichen Gebrauch (§ 60c UrhG) oder auch die Privatkopierschranke (§ 53 Abs. 1 UrhG). Sie alle beziehen sich auf Nutzungshandlungen in bestimmten Kontexten, was eine allgemeine Aussage (“ist das erlaubt?”) unmöglich macht. Nach derzeitiger Einschätzung kommt für Kopien per Content Ingestion im Kontext mit Unterricht und Bildung vor allem die Unterrichtsschranke aus § 60a UrhG in Betracht. Sie hat allerdings allerhand Beschränkungen, die zu beachten sind (siehe hierzu Kreutzer in BMFTR, Urheberrecht an Schulen, S. 13 und Kreutzer/Fischer, Urheberrecht in Schulen: Welche Nutzungen die Unterrichtsschranke erlaubt?, iRights.info).
Bei Online-Inhalten gibt es eine rechtlich unproblematische Alternative: Statt Dokumente hochzuladen, werden der KI nur URLs auf das auszuwertende Material übergeben. Hierbei erstellt der Nutzer selbst keine Kopien, sondern sagt der KI lediglich, wo sie die auszuwertenden Inhalte findet. Solche Verweise sind urheberrechtlich grundsätzlich zulässig.
3.5. Ich erstelle ein Lernskript mithilfe eines generativen KI-Systems. Unter anderem sind so eine Reihe von Texten entstanden, die mir die KI vorgeschrieben und die ich im Anschluss grundlegend überarbeitet habe (sowohl inhaltlich als auch sprachlich). Zudem habe ich allerhand Grafiken und Bilder generieren lassen, die ich zwar durch weiteres Prompting verfeinert, aber nicht eigenhändig verändert habe. Kann ich für mein Lernskript insgesamt oder in Teilen Urheberrecht beanspruchen?
Das Skript besteht aus mehreren Bestandteilen. Texte und Bilder sind hier urheberrechtlich gesondert zu betrachten.
Das Urheberrecht wird nur für schöpferische Leistungen eines Menschen gewährt. Reine KI-Schöpfungen sind hiernach nicht geschützt. Bearbeitete KI-Erzeugnisse (Output) können dagegen urheberrechtlichen Schutz genießen. Die Bearbeitung muss ein gewisses Maß schöpferischer Leistung verkörpern, so dass das Endergebnis als “persönlich geistige Schöpfung” des Urhebers - und nicht der KI - anzusehen ist. Die Grenzen für diese Bewertung sind fließend.
Abstrakt betrachtet und ohne die Einzelheiten zu kennen, besteht nach der Beschreibung des Falles Urheberrechtsschutz an den Texten, nicht aber an den Bildern und Grafiken. Selbst wenn das Prompting ausgefeilt, aufwändig und komplex war, lässt sich ein Urheberrechtsschutz an den generierten Bildern und Grafiken nicht begründen. Prompts sind lediglich Arbeitsanweisungen an die Technologie, die wesentlichen Gestaltungsentscheidungen trifft jedoch die KI (daher: “generative” KI).
3.6. Besteht dann zumindest Urheberrechtsschutz an meinen Prompts?
Dass Prompts urheberrechtlich geschützt sind, ist zwar nicht ganz ausgeschlossen, aber grundsätzlich eher unwahrscheinlich. Das Urheberrecht schützt kreative Werke, zum Beispiel der Literatur, der angewandten oder bildenden Kunst oder Musik. Ein Prompt besteht in der Regel aus einer Aneinanderreihung von Merkmalen und Befehlen in Alltagssprache. Anweisungen, wie ein Werk zu gestalten ist, sind selbst in der Regel kein Werk. Das Urheberrecht schützt ästhetische, persönliche Gestaltungen kreativ schaffender Menschen. Eine lose Abfolge von Worten ist keine Literatur, keine Lyrik, keine Belletristik. Prompts wird daher in aller Regel der Werkcharakter fehlen, ganz gleich, wie kenntnisreich, aufwändig und womöglich kostenträchtig ihre Entwicklung ist.
Selbst wenn das im Einzelfall einmal anders ist - etwa, weil der Prompt selbst kunstvoll als Gedicht formuliert wurde - ändert das an der Schutzunfähigkeit des Outputs nichts (siehe Frage 3.5).
3.7. Ergibt es Sinn, mein unter Mithilfe der KI erstelltes Lernskript als OER zu kennzeichnen?
Wenn das Skript zur freien Nachnutzung anderen als Open Educational Ressources (OER) zur Verfügung gestellt werden soll, ergibt das unbedingt Sinn. Da die meisten Menschen nicht beurteilen können, ob etwas geschützt oder nicht geschützt ist, sollte auf die freie Nachnutzbarkeit immer ausdrücklich hingewiesen werden.
3.8. Welche Lizenzen oder Erklärungen sollte ich konkret angeben?
Im vorliegenden Fall kann es sinnvoll sein, die separaten Bestandteile des Skripts unterschiedlich zu deklarieren.
Die von der KI generierten Grafiken und Bilder sind ohnehin gemeinfrei. Sie sollten daher mit einer Gemeinfreiheitserklärung wie Creative Commons Zero (CC0) oder der Creative Commons “Public Domain Mark” gekennzeichnet werden. Diese Tools stellen für die Nachnutzenden klar, dass für den jeweiligen Inhalt kein Schutz beansprucht wird und sie daher ohne Einhaltung von Restriktionen und Regeln vollkommen frei genutzt werden können.
Wer zudem auf seine Autorennennung und andere Nachnutzungsauflagen auch bei den Texten verzichten möchte, kann CC0 auch hierfür verwenden. Ansonsten sollten sie - um Sinn und Zweck von OER nicht zu unterminieren - unter eine möglichst liberale (permissive) Open-Content-Lizenz gestellt werden. In Betracht kommen hierfür CC BY oder CC BY-SA. Restriktive Lizenzvarianten wie NC- oder ND-Lizenzen sind in diesem Kontext dagegen eher hinderlich.
Siehe zu den Vor- und Nachteilen solcher Lizenzen im OER-Kontext: Kreutzer, Vor- und Nachteile der CC-Lizenzmodule bei OER.
3.9. Unsere Mitarbeitenden nutzen KI, um kreative Inhalte (wie Texte, Bilder und Videos) zu gestalten, die auch veröffentlicht werden. Kann es passieren, dass die KI Output generiert, die gegen das Urheberrecht verstoßen?
Grundsätzlich sind KIs nicht dazu gedacht, Trainingsmaterial (vorbestehende Werke) zu reproduzieren. Als Kopiermaschinen braucht man keine KI-Technologien. GenAI-Systeme wie Chatbots oder Bildgeneratoren dienen vielmehr dazu, neue Inhalte zu erschaffen und hierbei möglichst “kreativ” zu sein. Auch achten die Anbieter zunehmend darauf, dass ihre Systeme nichts erzeugen können, das urheberrechtlich geschützten Trainingsdaten sehr ähnlich ist oder sogar gleicht. Die “Regurgitation” von geschützten Materialien “is a bug not a feature”. Sie kommt nur in Ausnahmefällen vor, v.a. wenn sie vom Anwender geradezu provoziert wird.
Das schließt jedoch nicht völlig aus, dass KI-Output in Sonderfällen urheberrechtswidrige Bearbeitungen von vorbestehenden Werken enthält. In der Regel wird dies zu erkennen sein, insbesondere wenn der User mit entsprechenden Prompts versucht, vorbestehende Werke möglichst ähnlich zu reproduzieren. Solche “KI-Plagiate” sollten nicht für Veröffentlichungen genutzt werden, ansonsten drohen urheberrechtliche Sanktionen. Generiert man jedoch eigene Kreationen auf Basis vorbestehender Werke, wie Karikaturen, Parodien oder Pastiches (beispielsweise Remixes oder Mash-Ups), können solche nach § 51a UrhG zulässig sein.
3.10. Und wenn es doch einmal zu einer Urheberrechtsverletzung durch die Veröffentlichung von KI-Output kommt - kann die Lehrkraft und/oder die Einrichtung hierfür haftbar gemacht werden?
Wie gesagt sind unabsichtliche Urheberrechtsverletzungen - wenn der Nutzer es nicht darauf anlegt - durch Veröffentlichung von KI-Output recht unwahrscheinlich. Wenn so etwas doch einmal geschieht, gilt Folgendes: Nutzungen, v. a. Veröffentlichungen, von urheberrechtswidrigen Inhalten sind Rechtsverletzungen. Sie können - je nach der konkreten Konstellation - unter anderem mit Abmahnungen, Unterlassungs- und Schadensersatzansprüchen geahndet werden. Unterlassungsansprüche sind verschuldensunabhängig, bestehen also unabhängig davon, ob der Verletzer von der Verletzungshandlung wusste. Sie können Abmahnungen, und damit Rechtsverfolgungskosten in Form von Anwaltsgebühren, nach sich ziehen. Kommt der Verletzer der Abmahnung nicht nach, können weitere Kosten entstehen (Gerichtsgebühren etc.).
Für solche Ansprüche können sowohl Lehrkräfte als auch deren Arbeitgeber (im öffentlichen Schulsystem in der Regel das Bundesland) haftbar gemacht werden. Das hat der Bundesgerichtshof (BGH) in einem Urteil aus dem Jahr 2019 entschieden und ausführlich begründet.
4. Datenschutzrecht
4.1. In welchen Fällen ist Datenschutzrecht zu beachten, was sind personenbezogene Daten?
Datenschutzrecht gilt immer dann, wenn “personenbezogene Daten” verarbeitet werden. Gem. Art. 4 Nr. 1 DS-GVO sind Daten personenbezogen, die sich auf identifizierte oder identifizierbare natürliche Personen beziehen und eine direkte oder indirekte Zuordnung zu einem Individuum ermöglichen, entweder allein oder in Kombination mit weiteren Daten. Der Begriff des “Personenbezugs” wird sehr weit verstanden, eigentlich müsste es “Personenbeziehbarkeit” heißen. Beispiele sind: Name, Adresse, Geburtsdatum, Personenabbildungen wie Fotos, Geschlecht, Fingerabdruck, Steuer-ID, Kontonummer, Standortdaten der Person, KFZ-Kennzeichen, Inhalte in Social-Media-Profilen, IP-Adressen.
4.2. Welche Daten sind nicht personenbezogen? Und was bedeutet „anonymisiert“ und was „pseudonymisiert“?
Nicht personenbezogen sind Daten, die keine Rückschlüsse auf eine bestimmte Person zulassen. Beispiele sind Wetter- oder Geodaten. Ebenfalls nicht personenbezogen sind vollständig anonymisierte Daten. Wie vollständige Anonymisierung in Zeiten von Big Data, umfassenden Personenprofilen und der Analysierbarkeit riesiger Datenmengen realisiert werden kann, ist ein komplexes Thema mit vielen offenen Fragestellungen. Von einer echten Anonymisierung kann nur gesprochen werden, wenn eine Re-Identifizierung praktisch nicht mehr möglich oder nur mit unverhältnismäßigem Aufwand denkbar ist. Das zeigt, dass, entgegen häufig anzutreffender Fehlvorstellungen, Anonymisierung kein Allheilmittel für datenschutzrechtliche Problemstellungen ist!
Umso weniger trifft das auf die Pseudonymisierung zu. Pseudonyme Daten bleiben personenbezogen, weil eine Zuordnung über einen Schlüssel grundsätzlich weiterhin möglich ist. Ob dieser Schlüssel dem eigentlichen Datenverarbeiter zugänglich ist oder nur einem Dritten, ist grundsätzlich irrelevant. Sie unterfallen daher dem Datenschutzrecht.
4.3. Darf ich als Lehrkraft Namen, Noten oder andere Schülerdaten in ein frei verfügbares KI-Tool eingeben?
Grundsätzlich nicht. Wenn diese Daten einen Personenbezug zulassen, bräuchte es dafür eine datenschutzrechtliche Grundlage. Gerade bei den Standard-KI-Systemen von OpenAI, Anthropic oder DeepSeek werden diese Daten auf Server in den USA oder Asien übertragen, ohne dass ich einen Einfluss darauf habe, was dort mit den Daten geschieht. Das verstößt gegen die DSGVO. Für die Praxis bedeutet das: Klarnamen, Noten, Förderbedarfe, Gesundheitsangaben oder vergleichbar sensible Informationen gehören - jedenfalls in Kombination mit Personenangaben - grundsätzlich nicht in KI-Standardlösungen.
4.4. Darf ich Fotos, Sprachaufnahmen, Videos oder Schülerarbeiten in KI-Systeme hochladen?
Fotos, Videos, Audioaufnahmen und Spracheingaben werden häufig selbst personenbezogene Daten sein oder enthalten; zusätzlich können Metadaten übermittelt werden, etwa zu Gerät, Standort oder Aufnahmeumständen. Das gilt auch für Schülerarbeiten, wenn sie Rückschlüsse auf eine bestimmte Person zulassen. Für sie gilt daher dasselbe wie für andere personenbezogene Daten.
4.5. Ist die Lage anders, wenn die Schule eine eigene KI-Lösung betreibt?
Ja. In solchen Fällen ist der Einsatz datenschutzrechtlich deutlich besser steuerbar. Besonders datenschutzfreundlich können Lösungen sein, die über einen Vertrag (“Auftragsvereinbarung” - AV) mit einem Dienstleister, über eine schulische Schnittstelle oder auf eigener Infrastruktur betrieben werden. Das macht den Einsatz nicht automatisch unproblematisch, schafft aber bessere Voraussetzungen für einen datenschutzgerechten Betrieb. Werden hierbei Dienstleister eingesetzt, müssen in einer AV dezidierte Regelungen über den Umgang mit personenbezogenen Daten, Rollenverteilung, Schutzmaßnahmen und andere Aspekte getroffen werden.
4.6. Wer ist eigentlich verantwortlich: die Lehrkraft, die Schule oder der KI-Anbieter?
Das hängt von der jeweiligen Konstellation ab. Verantwortlicher im datenschutzrechtlichen Sinn ist, wer über Zwecke und Mittel der Verarbeitung entscheidet. Bei frei genutzten Standard-Tools ist zunächst deren Anbieter (Hersteller) für die Verarbeitung personenbezogener Daten im KI-System oder -Modell verantwortlich. Schule, Lehrkräfte und Schüler tragen dagegen die Verantwortung für ihre Eingaben und die Nutzung der Ergebnisse.
Bei eigenen KI-Lösungen muss sich die Institution über die Ausgestaltung des Systems Gedanken machen, reduziert dafür aber auch gegenüber dem Einsatz einer Standardlösung “off-the-rack” das Risiko der Datenverarbeitung in einer Blackbox, in die sie keinen Einblick und über deren Aktivitäten sie keine Kontrolle hat. Bei eigenen Lösungen besteht zumindest zu einem gewissen Maß Entscheidungsfreiheit in Bezug auf Zwecke und Mittel der Datenverarbeitung. Die Einrichtung hat hier also mehr Einfluss und Kontrolle auf die Ausgestaltung und trägt dementsprechend mehr Verantwortung. Andererseits hat sie auch wesentlich mehr Einfluss auf die Risiken. Bedient sie sich für die technische Bereitstellung des Dienstes eines externen Service-Providers, müssen mit diesem Vereinbarungen über die Auftragsverarbeitung geschlossen werden.
4.7. Reicht eine Einwilligung der Schülerinnen und Schüler oder der Eltern aus?
Gerade im Schulkontext ist eine Einwilligung oft keine tragfähige Lösung. Eine wirksame Einwilligung setzt voraus, dass sie informiert (also im Wissen um die Umstände der Datenverarbeitung) und freiwillig abgegeben wird. Freiwilligkeit ist im Kontext Schüler/Erziehungsberechtigte - Schule wegen des strukturellen Abhängigkeitsverhältnisses generell zweifelhaft. Auch ist es gerade beim Einsatz von Standard-KI-Lösungen oft unklar, was eigentlich mit den Daten geschieht. Ist dies der Fall, kann naturgemäß auch die Schule (als Betreiber) nicht ausreichend über die datenschutzrechtlichen Aspekte der Verarbeitung aufklären.
Als Rechtsgrundlage für Datenverarbeitungen unter Verwendung von KI zu Bildungs- und Unterrichtszwecken ist daher das “berechtigte Interesse” (Art. 6 Abs. 1f DS-GVO) oder das “öffentliche Interesse” (Art. 6 Abs. 1e DS-GVO i. V. m. spezialgesetzlichen Erlaubnisnormen beispielsweise aus Schulgesetzen) von größerer Bedeutung.
4.8. Dürfen KI-Ergebnisse mit Personenbezug ohne Weiteres veröffentlicht oder außerhalb des privaten Raums geteilt werden?
Nicht ohne Weiteres. Auch der Output eines KI-Systems kann personenbezogene Daten enthalten. Für die weitere Nutzung solcher Inhalte braucht es ebenfalls eine datenschutzrechtliche Grundlage. Eine solche kann vorliegen, etwa wenn es um öffentlich zugängliche, personenbezogene Daten geht (wie bei Prominenten oder Politikern). Das hängt von der Herkunft und dem Bezug der jeweiligen Daten ab.
Im Übrigen sollten personenbezogene Angaben aus KI-Ausgaben immer auf ihre Richtigkeit geprüft werden, bevor sie geteilt oder veröffentlicht werden.
4.9. Darf KI Schülertexte korrigieren, Feedback geben oder Notenvorschläge machen?
Hier muss genau unterschieden werden. KI kann im schulischen Alltag für vorbereitende Aufgaben wie Textanalyse, Formulierungshilfen oder Feedback eingesetzt werden, jedenfalls soweit ihr in diesem Zuge keine personenbezogenen Daten übergeben werden (bspw. indem Schüleraufsätze mit Namen oder weiteren persönlichen Informationen zur Analyse hochgeladen werden). Je geschützter der “KI-Raum” ist - eigene Systeme vers. Standardlösungen (siehe Frage 4.5) - desto weitreichender sind auch die datenschutzrechtlichen Möglichkeiten.
Rechtlich deutlich sensibler wird es, wenn KI-Systeme dazu verwendet werden, Lernergebnisse zu bewerten, darauf aufbauend Lernprozesse zu steuern oder Prüfungen zu überwachen. Hierfür sieht die KI-VO hohe Auflagen vor. Entscheidend ist, ob die KI nur unterstützt, indem sie bei der Vorbereitung von Bewertungen zu Rate gezogen wird, oder ob ihre Leistungsbewertungen abschließend (womöglich ohne weitere Überprüfung durch die Lehrkraft) verwendet werden. Die Letztentscheidung muss bei der Lehrkraft verbleiben.
4.10. Darf KI in der Schule über Noten, Prüfungen, Zulassung oder ähnliche Fragen entscheiden?
Hier ist besondere Vorsicht geboten. Für Entscheidungen mit erheblicher Wirkung gelten enge rechtliche Grenzen, wenn sie ausschließlich automatisiert getroffen werden. Für die Praxis heißt das: KI kann unterstützen, vorbereiten oder strukturieren - die Letztentscheidung muss aber bei einem Menschen liegen, der die Ergebnisse tatsächlich prüft und eigenständig bewertet. Wichtig ist auch, sich nicht vorschnell auf automatisierte Empfehlungen zu verlassen.
4.11. Welche Transparenzanforderungen gelten datenschutzrechtlich beim Einsatz von KI?
Aus datenschutzrechtlicher Sicht gibt es keine allgemeine Pflicht, den Einsatz von KI als solchen offenzulegen. Entscheidend ist vielmehr, ob beim Einsatz eines Systems personenbezogene Daten verarbeitet werden. Ist das der Fall, gelten die allgemeinen Transparenz- und Informationspflichten der DS-GVO. Betroffene Personen müssen dann insbesondere darüber informiert werden, wer ihre Daten verarbeitet, zu welchen Zwecken dies geschieht, auf welcher Rechtsgrundlage die Verarbeitung beruht, welche Daten betroffen sind, an wen sie übermittelt werden, wie lange sie gespeichert werden und welche Rechte den Betroffenen zustehen. Diese Anforderungen folgen aus den Art. 5 Abs. 1a, Art. 13 und 14 DS-GVO.
Für Schulen bedeutet das: Wenn die Schule selbst oder über einen eingebundenen Dienst personenbezogene Daten von Schülerinnen und Schülern, Lehrkräften oder Eltern verarbeitet, muss sie hierüber in der nach der DS-GVO gebotenen Weise informieren.
Im Übrigen enthält auch die KI-Verordnung keine allgemeine Transparenzpflicht für den Einsatz von KI oder die Nutzung von KI-Output (siehe Frage 2.12) .
4.12. Welche technischen und organisatorischen Maßnahmen sollten Schulen beim KI-Einsatz vorsehen?
In Art. 25 Abs. 1 DS-GVO heißt es: “Unter Berücksichtigung des Stands der Technik, der Implementierungskosten und der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung sowie der unterschiedlichen Eintrittswahrscheinlichkeit und Schwere der mit der Verarbeitung verbundenen Risiken für die Rechte und Freiheiten natürlicher Personen trifft der Verantwortliche sowohl zum Zeitpunkt der Festlegung der Mittel für die Verarbeitung als auch zum Zeitpunkt der eigentlichen Verarbeitung geeignete technische und organisatorische Maßnahmen - wie z. B. Pseudonymisierung -, die dafür ausgelegt sind, die Datenschutzgrundsätze wie etwa Datenminimierung wirksam umzusetzen und die notwendigen Garantien in die Verarbeitung aufzunehmen, um den Anforderungen dieser Verordnung zu genügen und die Rechte der betroffenen Personen zu schützen.” Welche Maßnahmen zu ergreifen sind, hängt also von der jeweiligen Konstellation ab. Es macht beispielsweise einen erheblichen Unterschied, ob die Schule eine KI-Standardlösung “off-the-rack” oder ein eigenes System für die Nutzung durch Lehrkräfte und Schüler bereitstellt. Im letztgenannten Fall hat die Schule naturgemäß sehr viel mehr Einfluss auf Technikgestaltung und Datenschutz als bei eingekauften Standardlösungen.
Folgende Maßnahmen werden beim Einsatz von KI in aller Regel - abhängig von der konkreten Konstellation - sinnvoll sein:
Schulungen und Sensibilisierung
Lehrkräfte, pädagogisches Personal und gegebenenfalls auch Schülerinnen und Schüler sollten wissen, welche Daten in KI-Systeme eingegeben werden dürfen oder eben auch nicht. Was geht und was nicht hängt von der Ausgestaltung des Systems ab, v.a. wo es gehostet wird und von wem, wo und wie personenbezogene Daten verarbeitet werden (siehe die Fragen 4.3 ff.). Diesbezügliche Sensibilisierungsmaßnahmen können mit solchen zur Vermittlung von KI-Kompetenz verbunden werden (siehe Frage 2.11).
Prompt-Filter und Eingabebegrenzungen
Vor allem Enterprise-Lösungen von KI-Systemen sehen oft die Möglichkeit vor, durch Prompt-Filter und Eingabebegrenzungen Leitplanken (“Guardrails”) für die Anwendung zu setzen. Solche verhindern die Verarbeitung von bestimmten Eingabeaufforderungen, setzen thematische Begrenzungen, blockieren unerwünschte Ergebnisse. Bei eigenen Systemen sollten solche Optionen technisch vorgesehen werden. Auf ihrer Basis können dann nach den jeweiligen Bedürfnissen und Präferenzen Voreinstellungen für die KI-Datenverarbeitung vorgenommen werden.
Interne Richtlinien und klare Nutzungsregeln
Schulen sollten sich bei Einsatz von KI-Technologien interne Regeln geben oder sich, soweit vorhanden, an Regeln orientieren, die von höherer Stelle ausgegeben werden (v. a. den Kultusministerien). In solchen Policies für den Umgang mit KI sollte festgelegt werden, welche Tools verwendet werden dürfen, welche Daten tabu sind, wann nur anonymisierte Fälle zulässig sind und dass KI keine Letztentscheidungen über Bewertungen, Prüfungen oder ähnlich folgenreiche Fragen treffen darf.
Solche Richtlinien sind im Übrigen auch sinnvoll, wenn die Schule selbst keine KI-Lösungen bereitstellt. Erfahrungsgemäß verwenden die meisten Menschen mittlerweile KI, auch für berufliche Zwecke. Gibt es keine Regeln, kommt es zu dem weit verbreiteten Phänomen der “Schatten-KI”. Hiermit gemeint ist die ungeregelte und unkontrollierte Nutzung von KI-Tools durch Mitarbeitende ohne Wissen oder Steuerung durch den Arbeitgeber.
Pseudonyme oder anonyme Benutzeraccounts
Bei schuleigenen Systemen - seien es Eigenentwicklungen oder Standardlösungen - sollte es den Anwendenden ermöglicht werden, eigene berufliche, am besten anonyme, Benutzeraccounts anzulegen (sog. Funktionsaccounts). Dies schützt die Privatsphäre der Nutzer sowohl gegenüber dem KI-Betreiber/-Anbieter als auch den anderen Nutzenden.
Kurze Speicherfristen und deaktivierte Verlaufshistorie
Eingaben in KI-Systeme sollten nicht länger gespeichert werden als nötig. Die Speicherdauer von Chatverläufen kann in den Einstellungen reguliert, Verlaufshistorien können deaktiviert und automatische Löschfristen vorsehen werden. Welche Maßnahmen hier sinnvoll sind, hängt auch von der Ausgestaltung der Accounts ab (s. o.): Bei personalisierten Benutzeraccounts mag dies weniger wichtig sein, als bei Gruppenzugängen.
Keine Freigabe zur Weiterverarbeitung durch den Anbieter
Jedenfalls bei Standard-Tools sollte die Schule - soweit technisch möglich - Optionen deaktivieren, nach denen Prompts und Chats für Produktverbesserung, Training oder sonstige Weiterverarbeitung genutzt werden dürfen.
Vorgeschaltete Datenschutzhinweise im System
Soweit möglich, kann es sinnvoll sein, Datenschutzhinweise im System, etwa vor jeder Nutzung oder zumindest beim erstmaligen Anmelden, anzuzeigen (etwa mit Hinweisen wie: „Keine Namen eingeben“, „Keine Gesundheitsdaten verwenden“, „Nur anonymisierte Fallbeispiele nutzen“ oder „Ergebnisse immer fachlich prüfen“.)
Dokumentation
Ein zentrales Prinzip der DS-GVO ist die Rechenschaftspflicht. Verantwortliche müssen Datenschutzvorschriften nicht nur einhalten, sondern dies auch dokumentieren und gegenüber den Aufsichtsbehörden nachweisen können. Auch hierfür sind technische und organisatorische Maßnahmen vorzusehen (Art. 24 Abs. 1 DS-GVO). Sie umfassen beispielsweise die Erstellung von Verzeichnissen der Verarbeitungstätigkeiten, die Benennung eines Datenschutzbeauftragten, Datenschutz-Folgeabschätzungen, die Implementierung von internen Richtlinien oder die Ein- und Durchführung eines Datenschutzmanagementsystems. Welche Maßnahmen konkret zu treffen sind, hängt vom jeweiligen Nutzungskontext ab.