Bias und Diskriminierung

KI-Systeme gelten oft als „objektiv“, weil Maschinen keine Gefühle haben. Das ist ein gefährlicher Irrtum: KI kann Vorurteile übernehmen, verstärken und in großem Maßstab anwenden. Dieses Phänomen heißt Bias (Verzerrung).

Woher kommt Bias?

Die wichtigste Quelle sind die Trainingsdaten. Machine-Learning-Systeme lernen Muster aus der Vergangenheit und übernehmen dabei auch deren Schieflagen:

• Historische Verzerrungen: Wenn in einem Unternehmen jahrzehntelang überwiegend Männer in Führungspositionen eingestellt wurden, „lernt“ ein damit trainiertes System, dass männliche Profile erfolgversprechender aussehen.
• Unausgewogene Daten: Sind bestimmte Gruppen in den Daten unterrepräsentiert, etwa ältere Menschen oder Menschen mit Migrationsgeschichte, funktioniert das System für sie schlechter.
• Verzerrte Merkmale: Auch scheinbar neutrale Angaben wie Wohnort, Vereinsmitgliedschaften oder Lücken im Lebenslauf können indirekt auf Herkunft, Geschlecht oder Alter hindeuten. Das System diskriminiert dann über Umwege.

Das bekannteste Beispiel aus dem HR-Bereich

Ein großer Technologiekonzern entwickelte ein KI-System zur Bewerbervorauswahl, trainiert mit den Bewerbungen der Vergangenheit, die überwiegend von Männern stammten. Das Ergebnis: Das System wertete Hinweise auf Frauen systematisch ab, etwa den Besuch eines Frauen-Colleges. Der Konzern stoppte das Projekt. Die Lehre daraus: Nicht die Maschine war „frauenfeindlich“: Sie hat die Muster der Vergangenheit perfekt gelernt und fortgeschrieben.

Warum das rechtlich brisant ist

Diskriminierung bleibt Diskriminierung, auch wenn sie aus einem Algorithmus kommt:

• Das Allgemeine Gleichbehandlungsgesetz (AGG) verbietet Benachteiligungen etwa wegen Geschlecht, Alter, Herkunft, Religion oder Behinderung, auch bei KI-gestützten Personalentscheidungen.
• Der EU AI Act stuft KI im Personalbereich als Hochrisiko ein und verlangt unter anderem hochwertige Daten und menschliche Aufsicht.
• Betroffene können Ansprüche geltend machen. Die Beweisführung „das war die KI“ schützt das Unternehmen nicht.

Was Sie konkret tun können

Auch ohne Data-Science-Kenntnisse können Sie zur Fairness beitragen:

• Ergebnisse hinterfragen: Fällt Ihnen auf, dass ein KI-System bestimmte Gruppen auffällig oft schlechter bewertet? Sprechen Sie es an.
• Nie blind übernehmen: Behandeln Sie KI-Vorschläge in sensiblen Bereichen (Personal, Kundenbewertung) als Hypothese, nicht als Urteil.
• Vielfalt in der Prüfung: Lassen Sie wichtige KI-gestützte Entscheidungen von mehreren Personen mit unterschiedlichen Perspektiven prüfen.
• Melden statt schweigen: Nutzen Sie die internen Meldewege, wenn Sie diskriminierende Muster vermuten (mehr dazu in Lektion 4).

Merksatz: KI ist so fair wie ihre Daten und ihre Kontrolle. Fairness entsteht nicht von selbst, sondern ist eine Daueraufgabe von Menschen.