Illustrierte Collage, die das Gesicht einer Frau ergibt.
Medien

Mein Einsatz gegen
KI-Diskriminierung

5. Dezember 2024

Ein Essay von Robin Pocornie

Künstliche Intelligenz (KI) soll unser Leben einfacher gestalten. Zahlreiche Menschen benachteiligt sie allerdings – zum Beispiel aufgrund ihrer Hautfarbe, sexuellen Identität oder ihres Alters. Das geschieht dann, wenn die Daten, mit denen die KI trainiert wird, bestehende gesellschaftliche Vorurteile widerspiegeln. Robin Pocornie hat als Studentin selbst diese Erfahrung gemacht. Seitdem engagiert sich die heutige Wissenschaftlerin und Speakerin für gerechtere KI-Systeme. Hier erklärt sie, warum vielfältigere Datensätze allein das Problem nicht lösen werden.

Das Wichtigste in Kürze:

  • Diskriminierung durch KI? Robin Pocornie machte diese Erfahrung mit einer Gesichtserkennungssoftware. 

  • Kampf für faire Algorithmen: Seitdem setzt sie sich für eine faire, gerechte KI ein und fordert mehr Transparenz bei algorithmischen Entscheidungssystemen.

  • Lösungsansätze: Pocornie schlägt vor, Daten lokal zu verwalten, regelmäßige Voreingenommenheitsprüfungen durchzuführen und den Fokus von rein technologischen auf gerechtigkeitsorientierte Kriterien zu verlagern. 

Eine Feder auf gelbem Hintergrund

Die Studentin ohne Gesicht: digital diskriminiert?

Im Jahr 2020, auf dem Höhepunkt der Coronapandemie, begann ich damit, mich für eine gerechtere künstliche Intelligenz einzusetzen. Ich tat das nicht freiwillig oder aus wissenschaftlichen Gründen – obwohl ich Informatik studierte. Sondern weil ein Algorithmus zur Gesichtserkennung mich nicht erkannt hatte. Die Software, die meine Universität für Onlineprüfungen nutzte, war nicht in der Lage, Schwarze Studierende wahrzunehmen. Folglich kam es bei mir – anders als bei meinen Weißen Kommilitoninnen und Kommilitonen – zu Verzögerungen und Problemen bei meinen Prüfungen. Ich beschloss, meine Universität über diese unerfreuliche (um nicht zu sagen schmerzliche) Erfahrung zu informieren. Dazu motivierten mich auch Berichte über andere Studierende weltweit, die mit dem gleichen Problem kämpften.

Es hat mich viele Versuche (und mehrere Monate) gekostet, um auch nur die richtige Anlaufstelle für meine Beschwerde zu finden. Letztlich lehnte die Universität meine Forderung ab, die Prüfungssoftware nicht mehr zu nutzen. Seitdem kämpfe ich für faire und gerechte Algorithmen und will Organisationen, Regierungen und den privaten Sektor zu einem verantwortungsvolleren Umgang bewegen. Im Jahr 2022 urteilte das Netherlands Institute for Human Rights in einer ersten Einschätzung, dass ich genügend Beweise für eine Diskriminierung vorgelegt hätte. Doch nachdem die Universität angehört worden war, kam das Institut im Oktober 2023 zu dem Schluss, dass die betreffende Software zwar diskriminierend sein könnte, aber nicht eindeutig bewiesen sei, dass dies in meinem Fall auch tatsächlich stattgefunden habe. Ich war enttäuscht. Diese Entscheidung zeigte mir, wie schwierig es ist, technische Diskriminierung juristisch zu stoppen.

Es braucht mehr als nur vielfältigere Datensätze.“

Illustration einer Frau aus Sicht von künstlicher Intelligenz, mit Elementen aus Natur und Kultur
Edward Carvalho-Monaghan illustriert künstliche Intelligenz als eine ideale Wissensquelle. Als Sammlung von Bildern und Texten, die an eine virtuelle Bibliothek von Alexandria erinnert.
 

Unsere KI-Modelle basieren auf Datensätzen, welche die Lebensrealität bevorzugt aus der Perspektive einer wohlhabenden europäischen und nordamerikanischen Bevölkerung abbilden. Dies führt dazu, dass sich Stereotype zu Hautfarbe oder auch Geschlecht weiter halten, was wiederum Initiativen gegen Vorurteile behindert. Als etwa Text-zu-Bild-Generatoren Bilder von Menschen in verschiedenen Berufen erzeugen sollten, waren die Ergebnisse bedrückend simpel: In Berufen mit hohem Einkommen erschienen Bilder von weißen Männern, in Berufen mit niedrigem Einkommen Bilder von nichtweißen Frauen.

Auch bei der Stellenbesetzung können sich geschlechtsspezifische Vorurteile durch KI verfestigen. Ein Beispiel dafür ist die KI-gesteuerte Bewerbungssoftware von Amazon. Wegen veralteter Daten, die ein ungleiches Geschlechterverhältnis widerspiegelten, bevorzugte es für technische Positionen grundsätzlich männliche Bewerber. Diese Verzerrung zeigt, dass KI-Systeme mehr Transparenz und Fairness brauchen, um Diskriminierung zu verhindern und Chancengleichheit für alle Bewerberinnen und Bewerber zu gewährleisten.

Das bevorzugte Vorgehen gegen vorurteilsbelastete KI besteht darin, die Datensätze zum Training der Algorithmen zu diversifizieren. Die Forderungen nach vielfältigeren Datensätzen sind zwar gut gemeint, aber sie reichen nicht aus. Wir brauchen einen anderen Blick auf die Entwicklung von KI und müssen diese von Grund auf überdenken. Eine solche neue Sichtweise erfordert, dass Fairness und Gleichberechtigung höher priorisiert werden als technologische Vorteile.

3 Wege hin zu gerechteren KI-Entscheidungen

Oft laden mich Unternehmen und Organisationen ein, mein Wissen über diese ethische KI-Perspektive zu teilen. Die Lösungen, die ich gegen die zunehmenden Vorurteile unserer Entscheidungsmodelle vorschlage, lassen sich von Software-Entwicklungsteams ebenso umsetzen wie von Führungsgremien. Denn sie berücksichtigen sowohl technologische als auch organisatorische Aspekte im Umgang mit KI. Am wichtigsten finde ich, dass die Auswirkungen von KI, die der Öffentlichkeit oft verborgen bleiben und womöglich unvorhergesehene Folgen haben können, besser sichtbar gemacht werden. Wie?

1. Lokale Datenverwaltung

Indem wir Communitys dazu befähigen, eigene Daten zu sammeln, zu besitzen und zu verwalten. So kann sichergestellt werden, dass KI-Systeme vielfältigere Realitäten widerspiegeln. Eine lokale Datenverwaltung, bei der Communitys die Bedingungen für die Erhebung und Nutzung von Daten bestimmen, kann Benachteiligungen und Falschdarstellungen verhindern.    

2. Voreingenommenheits-Prüfungen

Regelmäßige Voreingenommenheits-Prüfungen und Mechanismen zur Rechenschaftspflicht können den ethischen Mängeln aktueller KI-Systeme entgegenwirken. Mein negatives Erlebnis mit der Gesichtserkennungssoftware ist ein Paradebeispiel hierfür. Ohne geeignete Prozesse, um (negative) KI-Erfahrungen zu melden, bleibt die verantwortliche Stelle unbehelligt. Dies ist besonders dann problematisch, wenn sich diese „System-sagt-Nein“-Entscheidungen nicht oder nur schwer anfechten lassen.

3. Neue, faire Kriterien

Nicht zuletzt kann eine Verlagerung des Fokus von rein technologischen auf gerechtigkeitsorientierte Kriterien dafür sorgen, dass KI-Systeme diese im gleichen Maße priorisieren wie quantitative Parameter. Das sind beispielsweise faire Arbeitsbedingungen in Rechenzentren (wo häufig Menschen aus marginalisierten Gruppen beschäftigt sind) oder Informationen über Umweltauswirkungen. Der Erfolg von Algorithmen sollte nicht nur an dem gemessen werden, was wir direkt auf dem Bildschirm sehen, sondern auch an ihrer Fairness, Repräsentativität und Rücksichtnahme.

Dieser Ansatz erfordert ein grundlegendes Umdenken in Bezug auf KI: Weg von der Konzentration auf technische Möglichkeiten, hin zu ethischer Verantwortung und sozialer Gerechtigkeit. Die Art und Weise, wie wir das System aufbauen, wer davon profitiert und wem diese Entwicklung schadet, wird von entscheidender Bedeutung sein.

Portrait von Robin Pocornie

Über die Autorin

ROBIN POCORNIE

ist Wissenschaftlerin und Speakerin im Bereich Technologie sowie Ethik und berät Organisationen hinsichtlich eines verantwortungsvollen Einsatzes von Algorithmen. Durch ihr Engagement hat sie als erste Person in den Niederlanden einen Präzedenzfall zu algorithmischer Diskriminierung publik gemacht.

Illustration: Edward Carvalho-Monaghan; Foto: Bete Photography