Hochrisiko-KI-Systeme: Strategische Einstufung unter der KI-Verordnung und Anhang III

Die neue KI-Verordnung (häufig als KI-VO oder AI Act bezeichnet) ist seit August 2024 in Kraft. Für die Geschäftsführung und rechtliche Entscheider ist die Identifikation von Hochrisiko-KI-Systemen die kritischste Aufgabe, da hier die maximalen Anforderungen an Compliance und Haftungsvermeidung greifen. Die Verordnung verfolgt einen risikobasierten Ansatz, bei dem Künstliche Intelligenz nach ihrem potenziellen Schadensausmaß für die Sicherheit oder Grundrechte natürlicher Personen klassifiziert wird. Werden KI-Systeme als hochriskant eingestuft, müssen sie strenge Auflagen erfüllen, bevor sie in Verkehr gebracht oder in Betrieb genommen werden dürfen. 

Einstufung als Hochrisiko-KI-System gemäß Artikel 6 KI-VO

Die Einstufung eines Systems als Hochrisiko-KI-System erfolgt nach Art. 6 KI-VO über zwei primäre Wege. Es ist entscheidend, dass Anbieter und Betreiber diesen Prozess bereits in der Designphase durchführen. 

Hochrisiko-KI-Systeme gemäß Anhang III (Spezifische Anwendungsbereiche)

Die in Anhang III aufgeführten Anwendungsfälle sind für den deutschen Mittelstand besonders relevant. Hier wird die Künstliche Intelligenz aufgrund ihres sensiblen Einsatzgebietes als hochriskant eingestuft, da sie ein erhebliches Risiko für die Sicherheit oder die Grundrechte natürlicher Personen birgt.

Wichtige Beispiele aus Anhang III (Auszug):

• Biometrische Identifizierung: Systeme zur Fernidentifizierung, biometrischen Kategorisierung oder Emotionserkennung (sofern nicht verboten).

• Personalmanagement & Beschäftigung: KI-Systeme zur Bewertung von Leistungen, zur Beförderung oder zur gezielten Auswahl und Einstellung natürlicher Personen (Recruiting-Software).

• Kritische Infrastruktur: Management und Betrieb von Wasser, Gas, Strom oder digitaler Infrastruktur, sofern ein Ausfall das Leben oder die Gesundheit gefährden könnte.

• Bildung und Berufsbildung: Systeme zur Bestimmung des Zugangs zu Bildungseinrichtungen oder zur Bewertung von Prüfungsergebnissen.

Hinweis zur Vollständigkeit: Dies stellt lediglich einen Ausschnitt der Hochrisiko-Bereiche dar. Anhang III umfasst darüber hinaus weitere sensible Sektoren wie die Strafverfolgung, das Migrations- und Asylmanagement sowie die Rechtspflege und demokratische Prozesse. Da sich die Liste der Hochrisiko-Anwendungen durch die EU-Kommission künftig ändern oder erweitern kann, ist eine regelmäßige Überprüfung der aktuellen Rechtslage für Compliance-Verantwortliche zwingend erforderlich.

Pflichten für Anbieter und Betreiber von Hochrisiko-KI-Systemen: Operative Umsetzung 

Sobald eine Anwendung als Hochrisiko-KI-System identifiziert wurde, trägt die Organisation die volle rechtliche Verantwortung für die Einhaltung umfassender technischer und organisatorischer Maßnahmen. Die KI-Verordnung (KI-VO) unterscheidet hierbei präzise zwischen der Rolle des Anbieters (Entwickler) und des Betreibers (Anwender), wobei beide für die regulatorische Sicherheit beim Inverkehrbringen und im laufenden Betrieb geradestehen müssen. 

Risikomanagementsystem und technische Dokumentation 

Ein Hochrisiko-KI-System darf niemals als isoliertes IT-Projekt betrachtet werden; es muss zwingend in ein etabliertes Risikomanagementsystem eingebettet sein, das über den gesamten Lebenszyklus des Systems aktiv bleibt. 

• Erstellung einer technischen Dokumentation: Anbieter sind verpflichtet, eine lückenlose Dokumentation vorzuhalten, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Diese muss detaillierte Informationen über die Architektur, die mathematische Logik und die Robustheit des AI-Systems enthalten, um der Aufsicht durch zuständige Behörden standzuhalten. 

• Genauigkeit und Robustheit: Anbieter und Betreiber müssen ein angemessenes Maß an technischer Zuverlässigkeit sichergestellt haben. Dies umfasst die Messung der Genauigkeit unter realen Bedingungen sowie den Schutz gegen Manipulationen, um die Sicherheit oder Grundrechte natürlicher Personen nicht zu gefährden. 

• Bereitstellung von Informationen: Transparenz ist ein Kernelement der KI-VO. Betreiber müssen durch den Anbieter über die exakte Funktionsweise und die Grenzen der KI-Anwendungen informiert werden. Nur so lassen sich Fehlbedienungen und daraus resultierende Haftungsrisiken für die Geschäftsführung vermeiden. 

Angemessene menschliche Überprüfung und Aufsicht 

Ein Kernpunkt der KI-VO ist das Prinzip des „Human-in-the-Loop“. Hochrisiko-KI-Systeme dürfen Entscheidungen mit erheblicher Tragweite niemals vollautonom ohne eine qualifizierte Kontrollinstanz treffen. 

• Menschliche Bewertung: Es muss technisch und organisatorisch sichergestellt sein, dass Aufsichtspersonen in der Lage sind, das System bei Fehlfunktionen sofort zu übersteuern oder vollständig zu deaktivieren. Diese „Not-Aus“-Funktion ist zentraler Bestandteil der Einhaltung regulatorischer Vorgaben. 

• Erkennung von Abweichungen: Die Aufsicht muss geschult sein, um Entscheidungsmuster oder Abweichungen von früheren Logiken kritisch zu hinterfragen. Dies ist essenziell, um algorithmische Diskriminierung (z. B. aufgrund von sensiblen oder geschützten Attributen) proaktiv zu verhindern. 

• Prävention: Das primäre Ziel der menschlichen Aufsicht ist die Prävention. Durch die angemessene menschliche Überprüfung soll ein erhebliches Risiko für die Gesundheit oder die Grundrechte durch automatisierte Fehlentscheidungen von vornherein ausgeschlossen werden. 

Sonderfall: KI-Modelle mit allgemeinem Verwendungszweck (GPAI) 

In der aktuellen Debatte nehmen KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI) eine Sonderrolle ein. Diese können als Basis für verschiedene Hochrisiko-KI-Systeme dienen. 

• Systemrisiken: Modelle, die ein systemisches Risiko bergen, unterliegen zusätzlichen Transparenz- und Testpflichten. 

• Anbieterpflichten: Wer solche Modelle entwickeln oder entwickeln lassen hat, muss den nachfolgenden Anbietern von Hochrisiko-KI-Systemen alle notwendigen Informationen für deren Konformitätsbewertung bereitstellen. 

Exekutive Strategie: Das Risiko für die Organisation rechtssicher managen 

Für Sie als Verantwortliche bedeutet die Regulierung einen Paradigmenwechsel: KI ist kein reines IT- Thema mehr, sondern ein zentrales Compliance-Feld. Die zuständigen Behörden in Deutschland werden das Inverkehrbringen und den Betrieb scharf kontrollieren. 

Die Rolle von Anhang III der KI-VO im Unternehmen 

Prüfen Sie systematisch, ob Ihre KI-Systeme unter die in Anhang III aufgeführten Anwendungsfälle relevant sind. Eine Fehlklassifizierung kann zu Bußgeldern von bis zu 7 % des weltweiten Umsatzes führen. 

• Migration und Asyl: Besondere Vorsicht gilt bei KI-Anwendungen im Zusammenhang mit Migration oder Grenzkontrollen. 

• Öffentliche Dienste: Systeme zur Entscheidung über den Zugang zu öffentlichen Diensten und Leistungen sind fast immer hochriskant. 

• Rechtspflege: Bestimmte KI-Systeme, die die Entscheidungsfindung durch Justizbehörden unterstützen, fallen ebenfalls unter diese Kategorie. 

Fazit: Zukunftsfähigkeit durch strukturierte Risikoklassifizierung 

Zusammenfassend lässt sich sagen: Die KI-Verordnung schafft einen Rahmen, der den Einsatz von KI in Europa sicher macht. Unternehmen, die sich frühzeitig mit der Einstufung ihrer Systeme befassen und die Einhaltung der technischen Standards sichergestellt haben, werden einen signifikanten Vertrauensvorsprung am Markt genießen. Das Ziel ist eine Künstliche Intelligenz, die Innovation fördert, ohne die Sicherheit oder die Grundrechte natürlicher Personen zu gefährden.  

Weitere Experten-Beiträge zum EU AI Act

EU AI Act in Deutschland: Das neue EU-Gesetz zur Künstlichen Intelligenz (KI-Verordnung) pragmatisch umgesetzt

ISO 42001: Das Managementsystem für Künstliche Intelligenz als Schlüssel zur EU AI Act Compliance 

EU AI Act & Künstliche Intelligenz: Risikoklassen und die KI-Verordnung für KI-Systeme mit hohem Risiko