Algorithmische Diskriminierung im EU AI Act
Risiko einer entstehenden systematischen Benachteiligung
Inhalte, Pflichten und
Auswirkungen für Unternehmen
Stand: 2026
Lesezeit: ca. 5 Minuten
Das Wichtigste zu algorithmischer Diskriminierung im EU AI Act auf einen Blick
Algorithmische Entscheidungen sind längst ein fester Bestandteil unternehmerischer Praxis. Sie kommen von der Vorauswahl von Bewerberinnen und Bewerbern über Kredit- und Versicherungsentscheidungen bis hin zu KI-gestützten Kundenservice-Systemen zum Einsatz. Häufig wird dabei unterschätzt, dass auch vermeintlich neutrale Modelle systematische Benachteiligungen erzeugen können. Ursachen hierfür sind verzerrte Trainingsdaten, ungeeignete Proxy-Variablen wie die Postleitzahl als indirekter Indikator für soziale Herkunft oder fehlerhafte Modellannahmen. Der EU AI Act setzt genau hier an. Ein zentrales Ziel besteht darin, Diskriminierung und Bias insbesondere bei Hochrisiko-KI-Systemen zu verhindern. Für Unternehmen bedeutet dies, dass die Umsetzung der Vorschriften eng mit den Anforderungen der DSGVO verzahnt werden muss. Nur so lassen sich regulatorische, rechtliche und reputative Risiken wirksam beherrschen.
Kerndaten des EU AI Act
Der EU AI Act verfolgt einen risikobasierten Ansatz. Besondere Pflichten gelten für Hochrisiko-KI-Systeme, bei denen ein erhebliches Risiko für Grundrechte besteht. Unternehmen müssen frühzeitig prüfen, ob ihre Anwendungen als hochriskant einzustufen sind. Dies betrifft insbesondere Bereiche wie Personalmanagement, Kreditvergabe, Versicherungsentscheidungen oder sicherheitsrelevante Systeme. Hochrisiko-KI unterliegt umfangreichen organisatorischen und technischen Pflichten, die von der Sicherstellung robuster Datenqualität über Risikomanagement, Monitoring, menschliche Aufsicht bis hin zu lückenloser Dokumentation reichen. Dabei ist die DSGVO als geltendes Datenschutzrecht zu beachten, sodass Rechtsgrundlage, Zweckbindung, Datenminimierung und Speicherbegrenzung stets gewährleistet sein müssen.
Hintergrund und Ziele
Algorithmische Diskriminierung tritt auf, wenn KI-Systeme Personen systematisch benachteiligen, etwa aufgrund von Geschlecht, Herkunft, Alter, Behinderung oder Gesundheitsdaten. Solche Diskriminierungen können bewusst oder unbeabsichtigt erfolgen und zeigen sich in unterschiedlichsten Anwendungsfeldern, von Recruiting über Banking und Versicherungswesen bis hin zu generativer KI, die diskriminierende Inhalte erzeugen kann. Der EU AI Act verfolgt das Ziel, diese Risiken zu erkennen und zu mindern. Gleichzeitig soll er Unternehmen dabei unterstützen, Bias- und Diskriminierungsprüfungen in die Organisation zu integrieren, ohne die bestehenden Datenschutzregeln der DSGVO zu verletzen. Damit entsteht ein Spannungsfeld, das sorgfältig gestaltet werden muss, um sowohl regulatorische Anforderungen als auch operative Praktikabilität zu gewährleisten.
Wesentlicher Regelungsinhalt
Für Hochrisiko-KI-Systeme definiert der EU AI Act konkrete Pflichten zur Vermeidung von Diskriminierung. Dazu gehören die Pflicht, Datenqualität und Risikomanagement sicherzustellen, transparente Dokumentation zu führen und menschliche Aufsicht einzurichten. Ein zentrales Thema ist die Frage, ob sensible personenbezogene Daten verarbeitet werden dürfen, um Bias valide zu erkennen. Der AI Act erlaubt dies unter strengen Voraussetzungen, sofern die Datenverarbeitung für die Überwachung, Erkennung und Korrektur von Diskriminierung erforderlich ist und angemessene Schutzmaßnahmen implementiert werden. Gleichzeitig muss die DSGVO eingehalten werden, sodass Rechtsgrundlagen, Zweckbindung, Minimierung und Speicherbegrenzung strikt beachtet werden. Für Unternehmen ergibt sich daraus die Notwendigkeit, Bias-Prüfungen und Datenschutzanforderungen eng miteinander zu verzahnen.
Sanktionen und Durchsetzung
Verstöße gegen die Anforderungen des AI Acts können erhebliche rechtliche und wirtschaftliche Folgen haben, insbesondere wenn sie mit Diskriminierung oder systematischem Bias zusammenhängen. Die Aufsichtsbehörden können Bußgelder verhängen, Maßnahmen zur Geschäftstätigkeit einschränken und detaillierte Prüfungen durchführen. Darüber hinaus drohen Reputationsverluste, die den Geschäftserfolg mittel- und langfristig erheblich beeinträchtigen können. Unternehmen sind daher gut beraten, präventiv klare Prozesse, Governance-Strukturen und dokumentierte Kontrollmechanismen für den Umgang mit Hochrisiko-KI-Systemen zu etablieren.
Die wichtigsten Fragen – kurz beantwortet
Der AI Act richtet sich primär an Unternehmen, die KI-Systeme entwickeln oder betreiben, insbesondere Hochrisiko-KI. Mittelbar betroffen sind Unternehmen, die KI-Anwendungen einsetzen, wie Banken, Versicherungen, Industrieunternehmen, Dienstleister und HR-Anwendungen.
Unternehmen sollten ihre KI-Anwendungen erfassen und auf Hochrisikopotenzial prüfen. Sie müssen Bias-Risiken identifizieren, Prozesse für die Verarbeitung sensibler Daten abstimmen, Datenschutzkonzepte mit AI-Act-Pflichten verzahnen und ein Monitoring etablieren. Zusätzlich sind Governance-Strukturen, Verantwortlichkeiten, Security-by-Design-Maßnahmen und Nachweisführungen Pflicht, um regulatorische Anforderungen zuverlässig zu erfüllen.
Der AI Act tritt stufenweise in Kraft. Die Regelungen für Hochrisiko-KI sind seit Februar 2025 relevant, die vollständige Umsetzung erfolgt schrittweise in den kommenden Jahren. Unternehmen sollten bereits jetzt präventive Maßnahmen etablieren, um einen regulatorischen Rückstand zu vermeiden und Compliance-Risiken frühzeitig zu minimieren.
