Im Juni 2015 veröffentlichte Jacky Alciné einen Post auf Twitter. Alciné machte öffentlich, dass die App „Google Photos“ Bilder von einer Freundin auf seinem Laptop automatisch als „Gorilla“ klassifizierte. Dies ist ein Beispiel von vielen für rassistische Algorithmen.
Von Diskriminierung durch Technik sind vor allem diejenigen betroffen, die nicht zur Gruppe der weißen, männlichen, heterosexuellen und körperlich oder geistig unbeeinträchtigten Menschen gehören. Für sie werden gesellschaftliche Muster der Diskriminierung in Algorithmen fortgesetzt oder gar verstärkt. Wissenschaftler*innen haben in den letzten Jahren zunehmend auf Rassismus und Diskriminierung in Algorithmen hingewiesen. Nun entwickelt sich langsam auch in der Technikbranche eine Sensibilität für das Thema.
„Wir, die Technikbranche, machen viele junge unterrepräsentierte Minderheiten zu ,Anderen‘ (und sorgen also dafür, dass sie sich ausgeschlossen fühlen), die nicht so subtile Nachricht lautet dann: diese Technik ist nur für Weiße“ (Hankerson et al. 2016, S. 481.) [1]
Doch wie genau passiert algorithmische Diskriminierung? Welche Beispiele gibt es für Rassismus in Algorithmen? Und wie kann man dem Ganzen begegnen?
Diskriminierung durch Algorithmen
Was ist ein Algorithmus?
Einfach gesagt, ist ein Algorithmus eine Formel, die dabei hilft, Entscheidungen zu treffen. Die Mathematikerin Cathy O’Neil gibt hierfür ein Beispiel: Wenn Sie für eine vierköpfige Familie oder eine Wohngemeinschaft ein Abendessen zubereiten möchten, müssen Sie mehrere Faktoren beachten: Geschmack, persönliche Vorlieben, Allergien und Kosten. Sie müssen diese Faktoren gewichten und schlussendlich eine Entscheidung treffen.[2] Algorithmen funktionieren genauso, nur sie arbeiten meist mit großen Datensätzen und komplexeren Modellen. Entgegen allgemeiner Auffassung sind Algorithmen nicht rein automatisiert. Häufig arbeitet ein Mensch eng mit einem Algorithmus zusammen. Dies nennt man sozio-technische Assemblage, bei der die Zuständigkeitsbereiche von Menschen und Maschinen verschmelzen und beide sich gegenseitig beeinflussen.[3]
Daten, Daten, Daten zum Quadrat
Algorithmen brauchen Daten, um Entscheidungen zu treffen. Und das ist auch schon der Knackpunkt: Denn die Qualität und Zusammensetzung der Daten hat einen großen Einfluss auf die Entscheidungen der Algorithmen. Wenn Datensätze nicht die Bevölkerung repräsentieren, über die eine Entscheidung getroffen wird, dann bergen algorithmische Entscheidungen Diskriminierungspotenzial. Zum Beispiel hat die Wissenschaftlerin Caroline Criado-Perez drauf hingewiesen, dass Datensätze vorwiegend aus Daten von männlich gelesenen Menschen bestehen und „die Hälfte der Bevölkerung“ ausklammern.[4] Weiterhin hat eine Studie von den Wissenschaftler*innen Joy Buolamwini und Timnit Gebru in den USA herausgefunden, dass Algorithmen zur Gesichtserkennung von großen IT-Firmen vorwiegend mit Bildern von männlich und europäisch aussehenden Menschen trainiert wurden. Dies hat dazu geführt, dass weiblich gelesene Menschen mit dunkler Hautfarbe entweder gar nicht von der Software erkannt oder fälschlicherweise als männlich klassifiziert wurden.[5] Der englischsprachige Comic „How a computer scientist fights bias in algorithms“ erzählt die Geschichte von Joy Buolamwini und ihrer Forschung.
Das Problem der algorithmischen Diskriminierung lässt sich am besten mit dem Stichwort „Mustererkennung“ auf den Punkt bringen. Wenn ein Datensatz vorwiegend aus Bildern mit männlich gelesenen Gesichtern besteht, dann erkennt ein auf Künstlicher Intelligenz basierter Algorithmus diesen Trend und nutzt ihn für die eigenen Entscheidungen.
Schlimmer noch, dieser verzerrte Trend wird häufig als Realität verstanden, da Technik gemeinhin als neutral und rational wahrgenommen wird.[6]
„Algorithmen, die auf Künstlicher Intelligenz basieren, […] finden Muster innerhalb von Datensätzen, die unsere eigenen Vorurteile widerspiegeln, und stellen dadurch unsere Vorurteile als allgemeingültige Wahrheit dar bzw. verstärken diese“ (Howard und Borenstein 2018, S. 1524.) [7]
Strukturen der Ungleichheit
Der Mangel an einer ausgeglichenen Repräsentanz der unterschiedlichen Bevölkerungsgruppen in Datensätzen ist Ausdruck von ungleichen Strukturen in der Wissenschaft allgemein, aber der Informatik im Besonderen. Daten werden nämlich meistens von den Gruppen erhoben, zu denen Wissenschaftler*innen einfachen Zugang haben, oder solchen Gruppen, die im Bewusstsein der Entwickler*innen stehen und öffentlich sichtbar sind. Dies ist die weiße Mehrheitsgesellschaft. Häufig sind die Wissenschaftler*innen und Entwickler*innen selbst weiß. Der Mangel an Daten von Minderheiten fällt deshalb weder bei deren Erhebung noch bei der Testung des Algorithmus auf.[8] Nicht nur das: Auch in Technikberufen sind marginalisierte Gruppen in den USA und in Deutschland unterrepräsentiert, wobei diese Tendenz noch einmal im Hinblick auf geschäftsführende Positionen steigt.[9]
Die Fortschreibung von Rassismus in Algorithmen
Der rassistische Algorithmus, der Schwarze Menschen als „Gorillas“ bezeichnet, oder die Gesichtserkennungssoftware, die Schwarze Frauen schlechter identifizieren kann als weiße, stehen nicht ohne historischen Zusammenhang. In westlichen Ländern wie den USA, aber auch Deutschland, gibt es eine Geschichte der Unterdrückung Schwarzer Menschen, von Sklaverei und Kolonialismus bis zu Polizeigewalt, Masseninhaftierung und Alltagsrassismus.[10] Afro-Amerikaner*innen oder Afro-Deutsche werden „übersehen“, ihre Meinungen marginalisiert, gleichzeitig werden sie jedoch kontrolliert und überwacht.
Sehr reale Konsequenzen…
Diese Dialektik aus Nichtbeachtung und negativer Aufmerksamkeit materialisiert sich auch in Interaktion mit Technik: Aufgrund mangelnder Beachtung von Minderheiten führen Datenverzerrungen dazu, dass Schwarze Menschen fehlklassifiziert werden. Gleichzeitig überwachen Kameras mit Gesichtserkennungspotenzial gezielt Menschen mit dunkler Hautfarbe in der Fußgängerzone, am Flughafen oder in sozial benachteiligten Nachbarschaften. Eine algorithmische Fehlidentifikation, womöglich gepaart mit erhöhter Polizeigewalt gegenüber Menschen mit dunkler Hautfarbe, kann dann schnell sehr reale Konsequenzen für die algorithmisch diskriminierte Person haben.[11]
Ein gesellschaftliches Problem!
Rassismus in Algorithmen ist also nicht bloß ein technisches, sondern auch ein gesellschaftliches Problem. Der Ursprung für algorithmische Diskriminierung liegt in sozialen Konstrukten und Machthierarchien, die geschichtlich eingeschrieben und bis heute fortgeführt werden. Kurz gesagt: Rassismus in unserer Gesellschaft schafft Rassismus in Algorithmen.
Lösungsansätze für eine rassismuskritische Technikentwicklung
Mittlerweile gibt es mehr und mehr Ansätze, die für eine ethische Technikentwicklung sowie Methoden stehen, die Datensätze repräsentativer und Algorithmen „fairer“ machen möchten. Diese technisch orientierten Lösungsansätze sind jedoch im Sinne einer rassismuskritischen Technikentwicklung nicht ausreichend. Wir müssen die gesellschaftlichen Wurzeln von Rassismus und Diskriminierung angehen. Es braucht ein Umdenken in der Gesellschaft durch Bildung, wie etwa die Integration von sozialen Fragen in Informatik-Studiengängen und die Reflexion unserer eigenen Vorurteile. Denn erst wenn Rassismus in der Gesellschaft verringert wird, werden auch Algorithmen weniger Rassismus reproduzieren.[12]
Bildung für Informatikstudierende
Eine Möglichkeit, mehr Sensibilität für Rassismus in Algorithmen zu schaffen, ist die Anpassung von Bildungsmaterialien für Informatiker*innen. Ob in der Schule oder an der Universität, wenn angehende Technikentwickler*innen lernen, bestehende Machtstrukturen zu hinterfragen, steigt die Wahrscheinlichkeit, dass sie auch in ihrem Berufsalltag Sensibilität für Diskriminierung zeigen.
„Das eigentliche Ziel von Bildung für mehr Sensibilität für Rassismus in der Technikentwicklung ist es, eine andere Welt zu visualisieren, in der wir uns von alten Mustern befreien“ (Daniels et al. 2019, S. 2) [13]
Reflexion unserer eigenen Vorurteile
Es ist nicht nur sinnvoll, sondern in einer pluralistischen Gesellschaft auch notwendig, dass sich Angehörige der Mehrheitsgesellschaft mit rassistischen Mustern in ihrem Denken und Handeln beschäftigen. Denn zu einer strukturellen Transformation – nicht nur in der Technikbranche – kommen wir erst, wenn alte Denkmuster aufgearbeitet und durch neue ersetzt werden. Wie steht es um unseren eigenen Rassismus? Ertappen wir uns selbst bei problematischen Denkmustern? Handeln wir unbewusst rassistisch oder erkennen unsere Fehltritte womöglich gar nicht? Insbesondere weiße Menschen in Deutschland sind aufgefordert, sich kritisch mit Rassismus auseinanderzusetzen. Schriftsteller*innen wie Alice Hasters und Noah Sow bieten hier lesenswerte Impulse für diese nicht ganz leichte Aufgabe.[14]
veröffentlicht am 16.08.2022
Einzelnachweise
- Hankerson, David/Marshall, Andrea R./Booker, Jennifer/El Mimouni, Houda/Walker, Imani/Rode, Jennifer A. (2016). Does Technology Have Race? In: Kaye, Jofish/Druin, Allison/Lampe, Cliff/Morris, Dan/Hourcade, Juan Pablo (Eds.), Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems – CHI EA ‘16. the 2016 CHI Conference Extended Abstracts. New York, New York, USA: ACM Press, pp. 473–486.
- O’Neil, Cathy (2016). Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy. London: Allen Lane, S. 27. Siehe auch: O’Neil, Cathy (2017). The Era of Blind Faith in Big Data Must End. www.youtube.com/watch?v=_2u_eHHzRto
- Matzner, Tobias (2019). The Human Is Dead – Long Live the Algorithm! Human-Algorithmic Ensembles and Liberal Subjectivity. In: Theory, Culture & Society 16 (7), S. 1–22. Roberge, Jonathan/Seyfert, Robert (2017). Was sind Algorithmuskulturen? In: Roberge, Jonathan/Seyfert, Robert (Hrsg.), Algorithmuskulturen: Über die rechnerische Konstruktion der Wirklichkeit. Transcript Verlag.
- Criado-Perez, Caroline (2020). Unsichtbare Frauen. Wie eine von Daten beherrschte Welt die Hälfte der Bevölkerung ignoriert. München: btb Verlag.
- Buolamwini, Joy/Gebru, Timnit (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of Machine Learning Research 81, S. 1–15. http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
- Noble, Safiya Umoja (2018). Algorithms of Oppression. How Search Engines Reinforce Racism. New York: New York University Press, S. 70.
- Howard, Ayanna/Borenstein, Jason (2018). The Ugly Truth About Ourselves and Our Robot Creations: The Problem of Bias and Social Inequity. In: Science and Engineering Ethics 24 (5), S. 1521–1536. Übersetzt aus dem englischen Original: „AI algorithms […] find patterns within datasets that reflect our own implicit biases and, in so doing, emphasize and reinforce these biases as global truth“ (S. 1524).
- Criado-Perez 2020
- U.S. Equal Employment Opportunity Commission (n.d.). Diversity in High Tech. Special Report, www.eeoc.gov/special-report/diversity-high-tech Laut des U.S. Bureau of Labor Statistics waren im Jahr 2020 nur 2,5 Prozent Schwarzer Frauen in computerbezogenen Berufen angestellt. Siehe: Clement, J. (2022). Percentage of Employed Women in Computing-related Occupations in the United States from 2007 to 2020, by Ethnicity. Edited by Statistica. U.S. Bureau of Labor Statistics, www.statista.com/download/MTY1NDE2MTE5MyMjMzY1MTQxIyMzMTE5NjcjIzEjI3BkZiMjU3RhdGlzdGlj In Deutschland lässt sich ebenso ein Mangel an Frauen in der IT-Branche feststellen, jedoch werden hier keine Daten zur ethnischen Zusammensetzung erhoben. Siehe: ZEIT Online; dpa; KNA; AFP; jci (2019). Frauen in technischen Berufen weiter unterrepräsentiert. In: ZEIT, 18.11.2019. www.zeit.de/arbeit/2019-11/geschlechterrollen-berufswahl-maenner-technik-frauen-lehrerinnen-stereotype
- In den USA ist Rassismus verbunden mit der Entführung und Versklavung Schwarzer Menschen vom afrikanischen Kontinent in den amerikanischen Kolonien. Nach dem Ende der Sklaverei wurde Rassismus als institutionalisierte Segregation weitergeführt. Siehe dazu unter anderem: Alexander, Michelle/West, Cornel (2012). The New Jim Crow. Mass Incarceration in the Age of Colorblindness. New York: The New Press. Als Einführung in das Thema „Rassismus in Amerika“ dient vor allem diese Sammlung: Washington Post Staff (2020). Race and Reckoning: Resources to Understand America’s Long History of Injustice and Inequality. Washington Post. www.washingtonpost.com/nation/2020/06/08/understanding-racism-inequality-america/ Auch in Europa gibt es eine Geschichte des Rassismus von der Kolonialzeit bis heute. Siehe dazu: Salem, Sara/Thompson, Vanessa (2016). Old racisms, New masks: On the Continuing Discontinuities of Racism and the Erasure of Race in European Contexts. In: nineteen sixty nine: an ethnic studies journal 3 (1). https://escholarship.org/uc/item/98p8q169#main
- In den USA gibt es Fälle, in denen Menschen aufgrund einer fehlerhaften Identifikation mit Gesichtserkennungssoftware inhaftiert wurden. Hill, Kashmir (2020). Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. In: New York Times, 29.12.2020. www.nytimes.com/2020/12/29/technology/facial-recognition-misidentify-jail.html
- Daniels, Jessie/Nkonde, Mutale/Mir, Darakhshan (2019). Advancing Racial Literacy. Why Ethics, Diversity in Hiring, and Implicit Bias Training Aren’t Enough. Data & Society. https://datasociety.net/wp-content/uploads/2019/05/Racial_Literacy_Tech_Final_0522.pdf Übersetzt aus dem englischen Original: „The real goal of building capacity for racial literacy in tech is to imagine a different world, one where we can break free from old patterns“ (S. 2).
- Daniels et al. (2019). Übersetzt aus dem englischen Original: „The real goal of building capacity for racial literacy in tech is to imagine a different world, one where we can break free from old patterns“ (S. 2).
- Hasters, Alice (2020). Was weiße Menschen nicht über Rassismus hören wollen, aber wissen sollten. 10. Auflage. München: hanserblau. Sow, Noah (2018). Deutschland Schwarz Weiß. Der alltägliche Rassismus. Ausgabe 2018. Norderstedt: BoD – Books on Demand.
