Das EU-KI-Gesetz: Was es bedeutet und wie es umgesetzt wird

Das Gesetz über künstliche Intelligenz (KI-Gesetz) ist das erste horizontale Gesetz der EU für künstliche Intelligenz, das festlegt, wie KI entwickelt, in Verkehr gebracht und genutzt werden darf. Es gilt für Anbieter, Importeure, Vertreiber und Betreiber, unabhängig davon, ob ihre KI-Systeme innerhalb der EU betrieben werden oder lediglich Ergebnisse liefern, die Menschen dort betreffen. Ziel ist es, Risiken für Gesundheit, Sicherheit und Grundrechte zu verringern und gleichzeitig den Weg für vertrauenswürdige Innovationen offen zu halten.

Ein wichtiger Unterschied zu den meisten Compliance-Rahmenwerken: Beim KI-Gesetz geht es nicht in erster Linie um Risiken für Ihr Unternehmen. Es regelt vielmehr die Risiken, die KI-Systeme für Einzelpersonen, Gruppen und die Gesellschaft insgesamt mit sich bringen. Ein Einstellungsinstrument, das diskriminiert, ein Kreditmodell, das Menschen ungerechtfertigt ausschließt, ein Chatbot, der irreführt: Das sind die Schäden, auf die das Gesetz abzielt. Diese nach außen gerichtete Risikoperspektive prägt alle Aspekte, von der Einstufung bis zur Durchsetzung.

Das Gesetz verfolgt einen risikobasierten Ansatz: Je größer das Schadenspotenzial, desto strenger die Kontrollen. Bestimmte KI-Anwendungen sind gänzlich verboten, während risikoreiche Systeme nur unter strengen Governance- und technischen Auflagen zugelassen sind. Bei Anwendungen mit geringerem Risiko bleiben die Auflagen gering und beschränken sich auf grundlegende Transparenzpflichten statt auf umfassende Compliance-Regelungen.

Unterschiedliche Risikostufen

Zu den risikoreichen Systemen zählen solche, die in sensiblen Bereichen wie Strafverfolgung, Arbeitswelt und kritischer Infrastruktur eingesetzt werden. Diese Systeme müssen umfangreiche Anforderungen erfüllen, die Risikomanagement, menschliche Aufsicht, Datenverwaltung und technische Robustheit umfassen.

Zu den Systemen mit begrenztem Risiko zählen Chatbots, Bild- oder Textgeneratoren sowie einfache Empfehlungssysteme. Für diese gelten lediglich Transparenzpflichten, die in erster Linie die Offenlegung erfordern, dass die Nutzer mit KI interagieren.

Systeme mit minimalem Risiko, wie beispielsweise Spamfilter, unterliegen gemäß dem Gesetz keinerlei Regulierung, obwohl freiwillige Verhaltenskodizes empfohlen werden.

Da das Gesetz auf bestehendem EU-Recht aufbaut, anstatt es zu ersetzen, haben Organisationen, die bereits mit der DSGVO, Produktsicherheitsvorschriften oder Verbraucherschutzrahmen arbeiten, einen Vorsprung. Ein Großteil der erforderlichen Governance-Maßnahmen kann auf die bestehenden Strukturen aufgesetzt werden, auch wenn die Anforderungen an Dokumentation und Rechenschaftspflicht über den gesamten KI-Lebenszyklus hinweg steigen.

Kostenlose Konformitätsprüfung: Überprüfen Sie Ihren Compliance-Status gemäß dem AI Act

Was das KI-Gesetz vorschreibt

Das Gesetz basiert auf Risikostufen, rollenbasierten Verpflichtungen und Kontrollen über den gesamten Lebenszyklus hinweg. Es führt zudem spezifische Vorschriften für allgemeine KI-Modelle sowie gezielte Transparenzpflichten für alltägliche KI-Interaktionen ein. Diese Ziele schlagen sich in konkreten Instrumenten nieder: Verbote und Kontrollen für Bereiche mit hohem Risiko schützen die Grundrechte, die CE-Kennzeichnung und harmonisierte Normen sorgen für Rechtssicherheit, und regulatorische Sandkästen sowie Verhaltenskodizes fördern Innovationen.

Es ist anzumerken, dass die Definition eines KI-Systems in dem Gesetz bewusst technologieneutral gehalten ist. Sie umfasst jede Software, die aus Eingaben Schlussfolgerungen zieht und Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen generiert, unabhängig davon, ob sie auf maschinellem Lernen, logikbasierten Methoden oder statistischen Ansätzen beruht. Viele Tools, die von den Teams derzeit nicht als KI bezeichnet werden, könnten dennoch darunter fallen, weshalb eine gründliche Bestandsaufnahme ein unverzichtbarer erster Schritt ist.

Anbieter, Implementierer und die Wertschöpfungskette

Das KI-Gesetz legt die Pflichten entsprechend der Position innerhalb der Wertschöpfungskette fest; die wichtigste Unterscheidung wird zwischen Anbietern von KI mit hohem Risiko und Betreibern von KI-Systemen mit hohem Risiko getroffen. Anbieter sind Organisationen, die ein KI-System entwickeln oder unter ihrem eigenen Namen in Verkehr bringen. Sie tragen die größte regulatorische Last: Technische Dokumentation, Risikomanagement, Qualitätsmanagement, Konformitätsbewertung, CE-Kennzeichnung und Überwachung nach dem Inverkehrbringen obliegen dem Anbieter.

Anwender sind Organisationen, die ein KI-System in ihren eigenen Betriebsabläufen einsetzen. Ihre Pflichten sind weniger umfangreich, aber dennoch erheblich, insbesondere bei risikoreichen Systemen. Anwender risikoreicher KI-Systeme müssen eine menschliche Aufsicht gewährleisten, das System gemäß den Anweisungen des Anbieters nutzen und in ihrem spezifischen Kontext auf Risiken achten. Außerdem sind sie verpflichtet, vor der Inbetriebnahme eines risikoreichen Systems eine Folgenabschätzung hinsichtlich der Grundrechte durchzuführen, in der die potenziellen Auswirkungen der Nutzung des KI-Systems auf Einzelpersonen, Gruppen und die Gesellschaft ermittelt werden. Importeure und Vertreiber haben ihre eigenen Pflichten in Bezug auf Überprüfung und Rückverfolgbarkeit, doch für die meisten Leser ist die Unterscheidung zwischen Anbieter und Betreiber entscheidend.

Zu verstehen, welche Rolle man bei jedem KI-System spielt, ist der Ausgangspunkt für die Einhaltung der Vorschriften. Ein Unternehmen kann bei einem System als Anbieter und bei einem anderen als Betreiber auftreten, wobei sich die Verpflichtungen erheblich unterscheiden.

Risikobasierte Stufen und verbotene Praktiken

Das Gesetz definiert vier Risikostufen: verbotene Praktiken, Systeme mit hohem Risiko, Anwendungen mit begrenztem Risiko (Transparenz) und Anwendungen mit minimalem Risiko. Der Verwaltungsaufwand steigt direkt proportional zur Risikoeinstufung.

Systeme mit hohem Risiko erfordern ein umfassendes Compliance-Programm, das den gesamten Lebenszyklus abdeckt. 

Systeme mit begrenztem Risiko erfordern lediglich Maßnahmen zur Offenlegung und Transparenz.

Für Systeme mit minimalem Risiko gelten keine besonderen Verpflichtungen, allerdings wird die Einhaltung freiwilliger Verhaltenskodizes empfohlen.

Das bedeutet, dass die Ermittlung des Risikograds jedes einzelnen Systems genauso wichtig ist wie die Klärung Ihrer Rolle, da beide Faktoren zusammen bestimmen, wie viel Aufwand die Einhaltung der Vorschriften erfordern wird.

Die verbotenen Praktiken sind eng gefasst, aber streng. Dazu gehören:

• KI, die das Verhalten auf eine Weise manipuliert, die wahrscheinlich erheblichen Schaden verursacht
• Soziale Bewertung durch Behörden, die zu einer ungerechten oder schädlichen Behandlung führt
• Biometrische Fernidentifizierung in Echtzeit im öffentlichen Raum, beschränkt auf genau festgelegte Ausnahmen im Bereich der Strafverfolgung
• Verschiedene Anwendungen der biometrischen Kategorisierung, die Rückschlüsse auf sensible Merkmale zulassen

Einstufung als Hochrisikounternehmen und damit verbundene Verpflichtungen

Der operative Kern des Gesetzes konzentriert sich auf die Regulierung von KI-Systemen mit hohem Risiko, wobei das Gesetz diese Anwendungsfälle in zwei Gruppen unterteilt. Die erste Gruppe umfasst KI, die als Sicherheitskomponente in EU-regulierten Produkten wie Medizinprodukten, Maschinen und Fahrzeugen zum Einsatz kommt. Die zweite Gruppe umfasst eigenständige KI, die bei sensiblen Entscheidungen eingesetzt wird, darunter Zugang zu Bildung, Personalbeschaffung und Personalmanagement, Bonitätsbewertung, lebenswichtige Dienste, Strafverfolgung, Migration und Justiz.

Der Aufwand für die Einhaltung der Vorschriften ist bei Systemen mit hohem Risiko beträchtlich. Anbieter müssen:

• Ein Risikomanagementsystem betreiben
• Ein Qualitätsmanagementsystem einrichten
• Daten-Governance für Trainings-, Validierungs- und Testdatensätze implementieren
• Dokumentation, Protokollierung, Genauigkeit, Robustheit, Cybersicherheit und menschliche Aufsicht gewährleisten
• Ein System zur Überwachung nach dem Inverkehrbringen und zur Meldung von Zwischenfällen betreiben

Betreiber von Systemen mit hohem Risiko unterliegen weniger, aber dennoch wesentlichen Verpflichtungen. Sie müssen das System gemäß den Anweisungen des Anbieters nutzen, eine menschliche Aufsicht gewährleisten, auf kontextspezifische Risiken achten und vor der Inbetriebnahme eine Folgenabschätzung hinsichtlich der Grundrechte durchführen.

Transparenz bei alltäglichen Interaktionen mit KI

Selbst KI-Anwendungen, die nicht in die Kategorie der hohen Risiken fallen, können Schutzmaßnahmen erfordern. Das Gesetz schreibt eine klare Offenlegung vor, wenn Menschen mit KI wie Chatbots interagieren, und verlangt Kennzeichnungen für synthetische oder manipulierte Medien, die mit echten verwechselt werden könnten. Zusammen verringern diese Maßnahmen das Risiko von Täuschung und helfen den Nutzern, ihr Vertrauen einzuschätzen.

In der Praxis müssen Anbieter und Betreiber Schnittstellen, Inhaltspipelines und Benutzerhinweise entsprechend anpassen. Die Mitarbeiter müssen wissen, wann Hinweise auf KI-Interaktionen und Kennzeichnungen für synthetische Inhalte anzuwenden sind, insbesondere dort, wo sich diese Aufgaben mit Plattformrichtlinien, Marketing-Workflows und der öffentlichen Kommunikation überschneiden.

Allgemeine KI-Modelle und systemische Risiken

Allgemeine KI-Modelle verfügen über bereichsübergreifende Funktionen, was bedeutet, dass ihre Anbieter technische Dokumentationen führen, Informationen über Funktionen und Einschränkungen veröffentlichen und den nachgelagerten Nutzern die erforderlichen risikorelevanten Details zur Verfügung stellen müssen. Urheberrechtsschutzmaßnahmen und Zusammenfassungen der Trainingsdaten sind Teil dieser Transparenzpflicht.

Modelle, die als besonders risikobehaftet eingestuft werden, unterliegen aufgrund ihres potenziellen systemischen Risikos strengeren Auflagen, darunter Modellbewertungen, Adversarial Testing, Cybersicherheitsmaßnahmen, die Meldung von Vorfällen sowie Transparenz hinsichtlich der Ressourcen, einschließlich Rechen- und Energieverbrauch. Die Anbieter dieser Modelle müssen mit den Aufsichtsbehörden zusammenarbeiten und die Entwicklung harmonisierter Standards und Verhaltenskodizes unterstützen.

Vermittler, die Allzweckmodelle optimieren oder neu verpacken, übernehmen die Dokumentationspflichten des ursprünglichen Anbieters, während nachgelagerte Nutzer ihre eigenen Anwendungsfälle eigenständig bewerten und die im jeweiligen Kontext geltenden Pflichten hinsichtlich hoher Risiken oder Transparenz erfüllen müssen.

Konformitätsbewertung und CE-Kennzeichnung

Bevor ein System mit hohem Risiko in Verkehr gebracht oder in Betrieb genommen werden kann, muss es einer Konformitätsbewertung unterzogen werden. Bei einigen Bewertungen reicht eine interne Kontrolle auf der Grundlage einer technischen Dokumentation aus, während andere eine Prüfung durch eine benannte Stelle erfordern. Sobald die Konformität eines Systems festgestellt wurde, bringt der Anbieter die CE-Kennzeichnung an und registriert es in der EU-KI-Datenbank.

Das Gesetz ermöglicht zudem harmonisierte Normen und gemeinsame Spezifikationen, die praktische Wege zum Nachweis der Konformitätsvermutung bieten. Die Anbieter müssen umfassende technische Unterlagen führen und diese über alle Versionen und Schulungszyklen hinweg auf dem neuesten Stand halten.

Regulierung, Durchsetzung und Sanktionen

Jeder Mitgliedstaat benennt eine nationale Aufsichtsbehörde, und benannte Stellen sowie Marktüberwachungsbehörden werden die mit den Produktvorschriften verbundenen risikoreichen Systeme überwachen. Auf EU-Ebene wird eine Koordinierungsstruktur die Entwicklung von Normen leiten, Leitlinien herausgeben und grenzüberschreitende Fälle bearbeiten.

Die Strafen bei Nichteinhaltung sind erheblich. Die Anwendung verbotener Praktiken oder die Verletzung wesentlicher Anforderungen kann zu Geldbußen führen, die sich entweder auf einen Festbetrag oder einen Prozentsatz des weltweiten Jahresumsatzes belaufen, wobei der jeweils höhere Betrag gilt. Das Gesetz passt diese Obergrenzen an die Größe des Unternehmens und die Schwere des Verstoßes an. Die Führung genauer Aufzeichnungen und die unverzügliche Meldung von Vorfällen können das Risiko von Sanktionen erheblich verringern.

So setzen Sie das KI-Gesetz in Ihrem Unternehmen um

Die praktische Umsetzung funktioniert am besten, wenn sie an bestehende Führungsstrukturen angebunden ist, und kleine Teams können die Arbeit so einteilen, dass sie den zeitlichen Rahmen der schrittweisen Umsetzung berücksichtigt, anstatt alles auf einmal in Angriff zu nehmen.

Die beiden Fragen, die alles andere bestimmen, lauten: Welche Rolle nehmen Sie bei jedem KI-System ein (Anbieter oder Nutzer), und wie ist das System risikomäßig eingestuft? Erstellen Sie zunächst ein Verzeichnis aller KI-Systeme und -Funktionen in Ihrem Unternehmen und ordnen Sie jedes einzelne einer Rolle und einer Risikoklasse zu. Ein Nutzer, der einen Chatbot mit begrenztem Risiko einsetzt, unterliegt Offenlegungspflichten. Ein Nutzer, der ein risikoreiches Rekrutierungstool einsetzt, benötigt Vorkehrungen zur menschlichen Aufsicht sowie eine Folgenabschätzung hinsichtlich der Grundrechte. Ein Anbieter desselben Tools muss das gesamte Compliance-Programm erfüllen. Wenn diese Zuordnung frühzeitig korrekt vorgenommen wird, lassen sich sowohl Überdimensionierung als auch gefährliche Lücken vermeiden.

Führen Sie anschließend strukturierte Risikobewertungen für risikoreiche Elemente durch, die die Bereiche Sicherheit, Verzerrung, Robustheit, Datenherkunft und Auswirkungen auf Rechte abdecken. Richten Sie ein Qualitätsmanagementsystem ein, passen Sie Beschaffungsverträge an, um die Verpflichtungen des KI-Gesetzes zu berücksichtigen, und stimmen Sie bestehende Datenschutz-Folgenabschätzungen oder Sicherheitstests auf die KI-Risikobewertungen ab, um Doppelarbeit zu vermeiden. Die Einhaltung der Vorschriften endet nicht mit der Markteinführung: Modelle unterliegen einer Drift und Kontexte ändern sich, daher müssen die Überwachung nach der Markteinführung und regelmäßige Neubewertungen Teil des Betriebsablaufs sein.

Für Sicherheitsteams wird vieles davon vertraut vorkommen. Die Bedrohungsmodellierung kann auf Risiken durch böswillige maschinelle Lernverfahren ausgeweitet werden, die sichere Entwicklung kann Datenherkunft und Bewertungsprotokolle einbeziehen, und die Reaktion auf Vorfälle kann auf KI-spezifische Ereignisse und Meldungen an Aufsichtsbehörden ausgeweitet werden. Für Compliance-Manager bietet sich hier eine echte Chance zur Abstimmung: Die Daten-Governance im Rahmen der DSGVO lässt sich nahtlos auf Kontrollen für KI-Datensätze übertragen, und eine einzige, gut konzipierte Kontrollmaßnahme kann Nachweise für mehrere Regelwerke liefern.

Cyberday Ihnen dabei helfen, Ihr KI-Inventar zu zentralisieren, Kontrollmaßnahmen auf das KI-Gesetz abzustimmen und diese mit ISO 27001, NIS2 und der DSGVO in Einklang zu bringen. Dashboards visualisieren die Abdeckung der Kontrollmaßnahmen über verschiedene Rahmenwerke hinweg, verfolgen den Status von Lieferanten und Vorfälle und bieten auditfähige Exporte, sodass Sie Ihre Bemühungen auf die Bereiche konzentrieren können, in denen das Risiko am höchsten ist.

Starten Sie mit Cyberday

Cyberday Teams dabei, das KI-Gesetz in Verbindung mit ISO 27001, NIS2 und der DSGVO umzusetzen. Sie können ein KI-Asset-Inventar führen, Verpflichtungen Kontrollmaßnahmen zuordnen und Nachweise einmalig für mehrere Rahmenwerke erfassen. Über Dashboards lassen sich Konformität, Lieferantenstatus und Vorfälle verfolgen, sodass Sie Ihre Ressourcen dort einsetzen können, wo das Risiko am höchsten ist.

Überprüfen Sie jetzt Ihren Status bezüglich des AI Act: AI-Act-Bewertung