Montag, 10. August 2020
Navigation öffnen
Anzeige:

Gesundheitspolitik

16. Oktober 2019 Diskriminierungsrisiko: Vom Algorithmus benachteiligt

Nicht nur Unternehmen, auch staatliche Institutionen setzen verstärkt auf automatisierte Entscheidungen durch algorithmenbasierte Systeme. Ob bei der Kreditvergabe, der Auswahl neuer Mitarbeitender oder bei juristischen Entscheidungen – in immer mehr Bereichen werden Algorithmen dazu eingesetzt, menschliche Entscheidungen vorzubereiten oder sie ihnen gleich ganz abzunehmen. Ihre Effizienz spart Zeit und Geld – birgt jedoch vielfältige Gefahren der Benachteiligung einzelner Menschen und ganzer Bevölkerungsgruppen. Zu diesem Ergebnis kommt eine jetzt vorgestellte Studie der Technikfolgenabschätzung des Karlsruher Instituts für Technologie (KIT) im Auftrag der Antidiskriminierungsstelle des Bundes.
Anzeige:
Fachinformation
 „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, so Carsten Orwat, vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des KIT. „Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten und auf eigentlich geschützte Merkmale zurückgreifen“, so der Autor. Hierzu gehören vor allem Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.

Welche Ursachen diese Formen der Diskriminierung haben, wie sie sich auf die Gesellschaft auswirken und sich Diskriminierungsrisiken künftig verringern lassen, hat Carsten Orwat im Auftrag der Antidiskriminierungsstelle des Bundes eingehend untersucht. Die Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ veranschaulicht anhand von 47 Beispielen, wie Algorithmen auf unterschiedliche Weise diskriminieren können und wie man dies nachweisen kann.

Immobilien, Kredite, Justiz und mehr: Vielfältige Beispiele für Diskriminierungsrisiken

Der Autor der Studie beschreibt beispielsweise Vorgänge auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. In den USA gebe es mehrere dokumentierte Fälle, in denen die Algorithmen Sozialer Medien Wohnungsanzeigen zugelassen hätten, die durch den ‚Fair Housing Act‘ geschützte Personengruppen nicht zu sehen bekamen – etwa Migranten, Menschen mit Behinderung oder Nicht-Weißer Hautfarbe, so der Studienautor. In Finnland wurde ein Kreditinstitut zu Strafzahlungen verurteilt, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern bei der Kreditvergabe benachteiligte. Eine Ungleichbehandlung, die nach dem finnischen Antidiskriminierungsrecht verboten ist. US-amerikanische Richter arbeiten bei der Entscheidung über vorzeitige Haftentlassungen mit einem umstrittenen System, das Risikoscores berechnet. Journalisten- und Menschrechtsverbände kritisieren, dass das System das Rückfallrisiko von Schwarzen Menschen systematisch zu hoch bewertet.

„Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärt Carsten Orwat. „Dann spiegeln auch die so erzeugten Algorithmen die Ungleichbehandlungen oder Stereotypen wider. Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken.“ Das zeigte sich beispielsweise in den USA bei einem System für Lebensmittel- und Gesundheitskontrollen, das auf diskriminierenden Bewertungen von Restaurants basierte.

Empfehlungen zur Regulierung

Die Gesellschaft muss diese Ungleichbehandlungen aber nicht tatenlos hinnehmen. Die Studie nennt mehrere Ansatzmöglichkeiten, um Diskriminierungen bei algorithmenbasierten Differenzierungen zu begegnen. „Am sinnvollsten erscheinen präventive Maßnahmen“, sagt Carsten Orwat. So könnten Firmen ihre Personal bzw. IT-Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch dazu sensibilisieren, nur solche Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegeln.

Das Ziel sei es, so Orwat, dass Algorithmen in Zukunft „diskriminierungsfrei by design“ werden. Dazu müssten Programme bereits während ihrer Entwicklung geprüft werden. Letztlich gehe es dabei immer um den Schutz von gesellschaftlichen Werten wie Gleichheitsziele oder Schutz der freien Entfaltung der Persönlichkeit. Damit diese auch angesichts der rasanten Entwicklungen von „Big Data“ und KI gewährt bleiben, sei es an verschiedenen Stellen nötig, das Antidiskriminierungs- und Datenschutzrecht zu verbessern.

Quelle: Karlsruher Institut für Technologie


Anzeige:

Das könnte Sie auch interessieren

Coronavirus: Die Angst geht um

Coronavirus: Die Angst geht um
© dottedyeti - stock.adobe.com

Das Coronavirus hält die Welt seit Wochen in Atem. Drastische Maßnahmen werden in China, aber zum Beispiel auch in Deutschland ergriffen, um die Ausbreitung der neuen Lungenkrankheit zu verhindern. Auch wenn das Kern-Infektionsgebiet Wuhan rund 8.300 Kilometer Luftlinie von Deutschland entfernt liegt: Bei vielen Menschen weckt das Ängste. So sind in hiesigen Apotheken beispielsweise vereinzelt Mund- und Atemschutzmasken ausverkauft. Michael Falkenstein, Experte für Psychologie von der KKH Kaufmännische Krankenkasse, erklärt, woher solche Ängste kommen...

13 Prozent der Deutschen glauben, Rheuma sei eine Krankheit des Alters

13 Prozent der Deutschen glauben, Rheuma sei eine Krankheit des Alters
© wavebreak3 / fotolia.com

Rheuma ist keine Frage des Alters Rheumatoide Arthritis ist eine von mehr als 200 verschiedenen Rheuma-Erkrankungen Welt-Rheuma-Tag am 12. Oktober   Mehr als jeder Zehnte glaubt, Rheuma sei eine altersbedingte Krankheit, die einfach hingenommen werden müsste (1). Das ergab eine repräsentative Umfrage unter 1.000 Deutschen anläßlich des Welt-Rheuma-Tages am 12. Oktober im Auftrag des Biotechnologie-Unternehmens Amgen. Dabei kann die Erkrankung in jedem Lebensalter auftreten. Auch viele junge Menschen erkranken an Rheuma: Rund 20.000 Kinder und...

Klinikeinweisung wegen Herzschwäche: Welche Warnsignale müssen Betroffene kennen?

Klinikeinweisung wegen Herzschwäche: Welche Warnsignale müssen Betroffene kennen?
© freshidea / Fotolia.com

Jedes Jahr werden in Deutschland mehr als 440.000 Patienten mit Herzschwäche in eine Klinik eingewiesen, weil bei ihnen ihr Herz entgleist ist. Damit zählt die Herzschwäche zu den häufigsten Anlässen für einen Krankenhausaufenthalt. „Ganz konkrete Warnsignale zeigen das Entgleisen des Herzens an. Für diese müssen Betroffene wachsam sein, insbesondere für Wassereinlagerungen im Körper, an den Knöcheln, den Unterschenkeln oder im Bauchraum. Diese sogenannten Ödeme sind leicht zu erkennen, wenn man sich täglich wiegt....

Sie können folgenden Inhalt einem Kollegen empfehlen:

"Diskriminierungsrisiko: Vom Algorithmus benachteiligt"

Bitte tragen Sie auch die Absenderdaten vollständig ein, damit Sie der Empfänger erkennen kann.

Die mit (*) gekennzeichneten Angaben müssen eingetragen werden!

Die Verwendung Ihrer Daten für den Newsletter können Sie jederzeit mit Wirkung für die Zukunft gegenüber der rsmedia GmbH widersprechen ohne dass Kosten entstehen. Nutzen Sie hierfür etwaige Abmeldelinks im Newsletter oder schreiben Sie eine E-Mail an: info[at]rsmedia-verlag.de.


EILMELDUNGEN zu SARS-CoV-2 und COVID-19
  • Italien verlängert Notstand bis Oktober (dpa, 29.07.2020).
  • Italien verlängert Notstand bis Oktober (dpa, 29.07.2020).

Cookies

Diese Webseite benutzt Cookies, um den Nutzern das beste Webseiten-Erlebnis zu ermöglichen. Ausserdem werden teilweise auch Cookies von Diensten Dritter gesetzt. Weitere Informationen erhalten Sie in den Allgemeine Geschäftsbedingungen und in den Datenschutzrichtlinien.

Verstanden