Algorithmische Diskriminierung: “Algorithmen als ein Teil von jener Kraft, die stets das Gute will und stets das Böse schafft.” 

Erst kürz­lich wur­de im Schwei­zer Par­la­ment eine Inter­pel­la­ti­on im Hin­blick auf die Regu­lie­rung von Künst­li­cher Intel­li­genz hin­ter­legt.¹ In Euro­pa und auch in der Schweiz gibt es Vor­schrif­ten, die eine Dis­kri­mi­nie­rung auf­grund des Geschlechts ver­hin­dern sol­len. Durch den ver­mehr­ten Ein­satz von Künst­li­cher Intel­li­genz und Algo­rith­men kann es zu soge­nann­ten algo­rith­mi­schen Dis­kri­mi­nie­run­gen kom­men. Unter algo­rith­mi­scher Dis­kri­mi­nie­rung ver­steht man eine unge­recht­fer­tig­te Ungleich­be­hand­lung auf­grund eines geschütz­ten Merk­mals (z.B. Geschlecht oder Reli­gi­on), bei der eine mensch­li­che Ent­schei­dung ganz oder teil­wei­se durch einen Algo­rith­mus ersetzt oder wesent­lich unter­stützt wird und die Dis­kri­mi­nie­rung eines Men­schen bewirkt.

Ursa­che hier­für kön­nen ent­we­der das Design der Algo­rith­men selbst oder aber die Daten­sät­ze sein, wel­che Vor­ur­tei­le oder Bia­ses ent­hal­ten. Die Daten­sät­ze wer­den sowohl für das Trai­ning, die Vali­die­rung, als auch zum Tes­ten der Algo­rith­men benö­tigt. Ein kon­kre­tes Bei­spiel von algo­rith­mi­scher Dis­kri­mi­nie­rung ist der Ein­satz von Rekru­tie­rungs­soft­ware, bei der Algo­rith­men die Per­so­nal­aus­wahl unter­stüt­zen oder sogar erset­zen. Eine Dis­kri­mi­nie­rung ist hier auf allen Stu­fen des Bewer­bungs­ver­fah­rens mög­lich, Ein­falls­tor ist jedoch häu­fig das auto­ma­ti­sche Sich­ten von Lebens­läu­fen (sog. CV par­sing²). Hier kann einer­seits das Design des Algo­rith­mus durch Vor­ur­tei­le und Bia­ses der Ent­wick­le­rIn­nen beein­flusst wor­den sein, weil das mind­set zu gewis­sen Ent­schei­dun­gen beim Ent­wer­fen eines Models für den Algo­rith­mus führt. Ande­rer­seits kön­nen die für das Trai­nie­ren des Models ver­wen­de­ten Daten­sät­ze vor­ur­teils­be­haf­tet sein, weil es sich not­wen­di­ger­wei­se um his­to­ri­sche Daten han­delt. So kön­nen bei­spiels­wei­se im IT-Bereich die Daten von frü­he­ren Bewer­bun­gen zum Trai­nie­ren des Models ver­wen­det wer­den, um die idea­len Job-Kan­di­da­ten zu gewin­nen. Wenn aus­schliess­lich oder ver­mehrt männ­li­che Kan­di­da­ten in der IT-Bran­che arbei­te­ten oder arbei­ten, dann wirkt sich das auf die Ent­schei­dun­gen des Algo­rith­mus aus, weil die­ser auf der Basis der ver­füg­ba­ren Daten ent­schei­det. Hier beein­flus­sen bei­spiels­wei­se der Gen­der Data Gap und der Digi­tal Gen­der Divi­de die vor­han­de­nen Daten und somit die Ergeb­nis­se der Algo­rith­men-basier­ten Ent­schei­dun­gen im Rekru­tie­rungs­be­reich.³

Grund­sätz­lich gilt, dass der glei­che Schutz vor Dis­kri­mi­nie­rung sowohl off­line als auch in der online-Welt gewähr­leis­tet sein soll­te. Vie­le Bei­spie­le aus jüngs­ter Zeit zei­gen jedoch, dass Algo­rith­men Bia­ses oder sogar Dis­kri­mi­nie­run­gen her­vor­ru­fen kön­nen.⁴

Aus die­sen Grün­den haben seit eini­gen Jah­ren inter­na­tio­na­le Orga­ni­sa­tio­nen (z.B. Euro­pa­rat⁵, OECD⁶, UNESCO⁷) und Staa­ten (z.B. Kana­da⁸, USA⁹, Schweiz¹⁰) Emp­feh­lun­gen im Bereich der Men­schen­rech­te und künst­li­cher Intel­li­genz ver­ab­schie­det, wel­che in nicht bin­den­der Wei­se Hand­lungs­vor­schlä­ge zum Umgang mit künst­li­cher Intel­li­genz geben. Ins­be­son­de­re die Risi­ken von KI im Hin­blick auf Gleich­stel­lung und Dis­kri­mi­nie­rung wer­den in den jewei­li­gen Doku­men­ten behan­delt. Auf­grund ver­stärk­ter Dis­kus­sio­nen in der Öffent­lich­keit und der Wis­sen­schaft, dis­ku­tiert die Poli­tik mitt­ler­wei­le auch über recht­li­che Rah­men, um den Ein­satz von Künst­li­cher Intel­li­genz zu regu­lie­ren, haupt­säch­lich um nega­ti­ve Kon­se­quen­zen wie bei­spiels­wei­se Bia­ses und Dis­kri­mi­nie­run­gen zu verhindern.

Schweiz und der Europarat

In der Schweiz gibt es der­zeit kei­ne kon­kre­ten juris­ti­schen Vor­stös­se, um künst­li­che Intel­li­genz zu regu­lie­ren. Aller­dings gibt es eini­ge nicht­bin­den­de Doku­men­te, die ins­be­son­de­re Leit­li­ni­en für künst­li­che Intel­li­genz und den öffent­li­chen Dienst skiz­zie­ren. Die Schweiz ist aller­dings Mit­glied des Euro­pa­rats, der im Jah­re 2020 eine Emp­feh­lung zu Künst­li­cher Intel­li­genz und Men­schen­rech­ten ver­ab­schie­det hat. Der Euro­pa­rat arbei­tet momen­tan an einer Rah­men­rechts-Kon­ven­ti­on, um die men­schen­recht­li­chen Aus­wir­kun­gen beim Ein­satz von Künst­li­cher Intel­li­genz zu regeln. Das zustän­di­ge Komi­tee, das Com­mit­tee on Arti­fi­cial Intel­li­gence (CAI), zur­zeit unter dem Vor­sitz des Schwei­zers Tho­mas Schnei­der, ist für die Aus­ar­bei­tung des recht­li­chen Vor­schlags ver­ant­wort­lich.¹¹ Soll­te der Vor­schlag Ende des Jah­res 2023 ange­nom­men wer­den, so könn­ten nach Annah­me und Rati­fi­ka­ti­on durch die Schweiz die­se Regeln auch in der Schweiz gel­ten­des Recht werden.

Europäische Union – Vorreiterrolle bei der Regulierung von KI

Dar­über hin­aus hat die Euro­päi­sche Uni­on einen Gesetz­ge­bungs­vor­schlag zu künst­li­cher Intel­li­genz im Jahr 2021 vor­ge­stellt, den soge­nann­ten EU Arti­fi­cial Intel­li­gence Act („EU AI Act“)¹², wel­cher momen­tan von den euro­päi­schen Gesetz­ge­bern im soge­nann­ten Tri­log Ver­fah­ren, unter spa­ni­scher Rats­prä­si­dent­schaft, ver­han­delt wird. Soll­te der Vor­schlag ange­nom­men wer­den, wür­de es sich um die ers­ten recht­li­chen Regeln welt­weit han­deln, die kon­kre­te Vor­schrif­ten beim Ein­satz von Künst­li­cher Intel­li­genz ins­be­son­de­re für Unter­neh­men vor­se­hen. Zwar han­delt es sich bei dem Vor­schlag für eine Ver­ord­nung nicht um eine spe­zi­fi­sche Rege­lung, um Gleich­stel­lung zu erzie­len und Dis­kri­mi­nie­run­gen zu bekämp­fen, jedoch fal­len bestimm­te Hoch-Risi­ko KI-Sys­te­me in den Anwen­dungs­be­reich, die sehr rele­vant und mög­li­cher­wei­se das Risi­ko einer Dis­kri­mi­nie­rung mit­brin­gen. Ein Bei­spiel sind die soge­nann­ten KI-Rekru­tie­rungs­sys­te­me, wel­che vom Anwen­dungs­be­reich der zukünf­ti­gen Ver­ord­nung umfasst sind, und wel­che in der Zukunft bestimm­ten Regu­lie­rungs­an­for­de­run­gen unter­lie­gen wer­den, bei­spiels­wei­se im Hin­blick auf Trans­pa­renz, Doku­men­ta­ti­on oder Zugang zum Quell­code der Algo­rith­men etc. Die­se Regu­lie­rungs­an­for­de­run­gen könn­ten es poten­zi­el­len Opfern einer Dis­kri­mi­nie­rung erleich­tern, eine Beschwer­de oder Kla­ge erfolg­reich durchzuführen.

Vereinte Nationen – Globale Regeln für das globale Phänomen KI

Auch die Ver­ein­ten Natio­nen den­ken über Mög­lich­kei­ten nach, künst­li­che Intel­li­genz zu regu­lie­ren, um mög­li­che Men­schen­rechts­ver­let­zun­gen zu ver­mei­den. So wur­den bei­spiels­wei­se eini­ge Berich­te von Son­der­be­richt­erstat­tern ver­ab­schie­det, die Aspek­te von künst­li­cher Intel­li­genz, Algo­rith­men und den Aus­wir­kun­gen auf Dis­kri­mi­nie­rung und Gleich­stel­lung unter­su­chen und kon­kre­te Hand­lungs­vor­schlä­ge und Emp­feh­lun­gen sowohl an Staa­ten als auch an Unter­neh­men beinhal­ten.¹³ Die Grup­pe The Elders — ehe­ma­li­ge Staats­män­ner und ‑frau­en, Friedensaktivist:innen, Menschenrechtler:innen sowie pro­mi­nen­ten Intel­lek­tu­el­le — rie­fen kürz­lich die Ver­ein­ten Natio­nen (VN) auf, eine neue glo­ba­le Regu­lie­rungs­ar­chi­tek­tur für Künst­li­che Intel­li­genz zu schaf­fen sowie einen völ­ker­recht­li­chen Ver­trag aus­zu­ar­bei­ten, der eine inter­na­tio­na­le Agen­tur für die Sicher­heit der Künst­li­chen Intel­li­genz schaf­fen soll. ¹⁴

Technologieunternehmen – unverbindliche KI-Prinzipien und ethische Richtlinien

Schliess­lich haben die meis­ten Tech­no­lo­gie­un­ter­neh­men auch selbst nicht bin­den­de Prin­zi­pi­en für künst­li­che Intel­li­genz oder ethi­sche Emp­feh­lun­gen ver­ab­schie­det, die vie­le Aspek­te wie Dis­kri­mi­nie­rung, Gleich­stel­lung, Vor­ur­tei­le, Diver­si­tät und Ähn­li­ches beinhal­ten.¹⁵ Aller­dings feh­len die­sen Emp­feh­lun­gen nicht nur die bin­den­de Wir­kung, son­dern auch kon­kre­te Durch­set­zungs­mög­lich­kei­ten, falls Bürger:innen Opfer einer Dis­kri­mi­nie­rung werden.

Ausblick

Es kann mit Span­nung ver­folgt wer­den, ob die Schweiz unab­hän­gig von den Vor­schlä­gen der Euro­päi­schen Uni­on und des Euro­pa­rats eige­ne Vor­schlä­ge auf den Tisch legt. Zuletzt gab es eini­ge Ver­su­che, das The­ma im Schwei­zer Par­la­ment auf die Agen­da zu set­zen.¹⁶ Die mög­li­chen nega­ti­ven Aus­wir­kun­gen der KI auf Gleich­stel­lung und Dis­kri­mi­nie­rung, aber auch die poten­zi­el­len Chan­cen, um nega­ti­ve Fol­gen zu erken­nen und zu bekämp­fen, machen eine Beschäf­ti­gung mit dem The­ma sowohl in aka­de­mi­schen als auch in poli­ti­schen Zir­keln uner­läss­lich. Die Öffent­lich­keit ist spä­tes­tens seit ChatGPT für die Chan­cen und Gefah­ren der KI sen­si­bi­li­siert und es bleibt mit Span­nung abzu­war­ten, ob die Schweiz auf den Regu­lie­rungs­zug auf­springt. Auch wenn Pünkt­lich­keit als eine Tugend der Schweiz gilt, wer­den die recht­li­chen Regeln im Bereich der KI wohl noch ein biss­chen auf sich war­ten lassen.

Quel­len:

• Lütz, Fabi­an. (2023) Algo­rith­mi­sche Ent­schei­dungs­fin­dung aus der Gleich­stel­lungs­per­spek­ti­ve – ein Balan­ce­akt zwi­schen Gen­der Data Gap, Gen­der Bias, Machi­ne Bias und Regu­lie­rung, GENDER – Zeit­schrift für Geschlecht, Kul­tur und Gesell­schaft, 1–2023, S. 26–41. https://doi.org/10.3224/gender.v15i1.03 .
• Lütz, Fabi­an. (2023). Gen­der Equa­li­ty and Arti­fi­cial Intel­li­gence: SDG 5 and the Role of the UN in Figh­t­ing Ste­reo­ty­pes, Bia­ses, and Gen­der Discri­mi­na­ti­on. In: Forna­lé, E., Cris­ta­ni, F. (eds) Women’s Empower­ment and Its Limits. Pal­gra­ve Mac­mil­lan, Cham. https://doi.org/10.1007/978–3‑031–29332-0_9 .
• Lütz, Fabi­an. (2023). Le rôle du droit pour con­trer la discri­mi­na­ti­on algo­rith­mi­que dans le recru­tement auto­ma­ti­sé, dans Guil­laume Flo­rence (eds.) La tech­no­lo­gie, l‘humain et le droit (Con­fé­ren­ces CUSO), Stämpf­li Verlag.
• Lütz, F. Gen­der equa­li­ty and arti­fi­cial intel­li­gence in Euro­pe. Addres­sing direct and indi­rect impacts of algo­rith­ms on gen­der-based discri­mi­na­ti­on. ERA Forum 23, 33–52 (2022). https://doi.org/10.1007/s12027-022–00709‑6 .

Refe­ren­zen:

Titel: Johann Wolf­gang von Goe­the: Faust 1 — Ham­bur­ger Aus­ga­be Band 3, dtv, Mün­chen 1982, S. 47, Stu­dier­zim­mer, 1334–1336; Im Ori­gi­nal von Johann Wolf­gang von Goe­the heisst es: “Ich bin ein Teil von jener Kraft, Die stets das Böse will und stets das Gute schafft.”

[1] Die Bun­des­ver­samm­lung, 23.3147, INTERPELLATION vom 14. März 2023, Regu­lie­rung der künst­li­chen Intel­li­genz in der Schweiz, https://www.parlament.ch/de/ratsbetrieb/suche-curia-vista/geschaeft?AffairId=20233147 .

[2] Vgl. https://www.talention.de/blog/was-ist-cv-parsing-eine-erklaerung-und-die-vorteile-auf-einen-blick#:~:text=Resume%20Parsing%20(CV%20%3D%20Curriculum%20vitae,in%20eine%20Bewerbermanagement%2DSoftware%20importiert.

[3] Vgl. wei­ter­füh­rend zu Dis­kri­mi­nie­rung bei Rekru­tie­rungs­al­go­rith­men, Fabi­an Lütz, Le rôle du droit pour con­trer la discri­mi­na­ti­on algo­rith­mi­que dans le recru­tement auto­ma­ti­sé, dans Guil­laume Flo­rence (eds.) La tech­no­lo­gie, l‘humain et le droit (Con­fé­ren­ces CUSO), Stämpf­li Ver­lag (2023).

[4] Dastin, Jef­frey. 2022. Ama­zon scraps secret AI recrui­t­ing tool that show­ed bias against women. Reu­ters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G (Rekru­tie­run­gen-Algo­rith­men); Vigdor, Neil. 2019. Apple Credit Card Inves­ti­ga­ti­on. The New York Times, Novem­ber 10 (ver­schie­de­ne Kre­dit­rah­men für Män­ner und Frauen).

[5] Coun­cil of Euro­pe, Recom­men­da­ti­on CM/Rec(2020)1 of the Com­mit­tee of Minis­ters to mem­ber Sta­tes on the human rights impacts of algo­rith­mic sys­tems, https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154 .

[6] OECD, Recom­men­da­ti­on of the Coun­cil on Arti­fi­cial Intel­li­gence, OECD/LEGAL/0449, https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449 .

[7] UNESCO, Recom­men­da­ti­on on the Ethics of Arti­fi­cial Intel­li­gence, https://unesdoc.unesco.org/ark:/48223/pf0000381137 .

[8] Cana­da, Respon­si­ble use of arti­fi­cial intel­li­gence (AI), https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai.html#toc1 .

[9] US White House, Blue­print for an AI Bill of Rights, MAKING AUTOMATED SYSTEMS WORK FOR THE AMERICAN PEOPLE, https://www.whitehouse.gov/ostp/ai-bill-of-rights/ .

[10] Leit­li­ni­en «Künst­li­che Intel­li­genz» für den Bund, Ori­en­tie­rungs­rah­men für den Umgang mit künst­li­cher Intel­li­genz in der Bun­des­ver­wal­tung (2020), https://www.sbfi.admin.ch/dam/sbfi/de/dokumente/2020/11/leitlinie_ki.pdf.download.pdf/Leitlinien%20Künstliche%20Intelligenz%20-%20DE.pdf .

[11] https://www.coe.int/en/web/artificial-intelligence/cai

[12] Pro­po­sal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE (ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION LEGISLATIVE ACTS, COM/2021/206 final.

[13] Ver­glei­che z.B. A/HRC/44/57, Report of the Spe­cial Pro­ce­du­re of the Human Rights Coun­cil. Racial discri­mi­na­ti­on and emer­ging digi­tal tech­no­lo­gies: Report of the Spe­cial Rap­por­teur on Con­tem­pora­ry Forms of Racism, Racial Discri­mi­na­ti­on, Xeno­pho­bia and Rela­ted Into­le­ran­ce; A/HRC/48/31, The right to pri­va­cy in the digi­tal age, Report of the United Nati­ons High Com­mis­sio­ner for Human Rights; A/HRC/53/65, Digi­tal Inno­va­ti­on, tech­no­lo­gies and the right to health, Report of the Spe­cial Rap­por­teur (21 April 2023); A/HRC/53/24, Buil­ding capa­ci­ty for the imple­men­ta­ti­on of the Gui­ding Princi­ples on Busi­ness and Human Rights, Report of the working group on the issue of human rights and trans­na­tio­nal cor­po­ra­ti­ons and other busi­ness enter­pri­ses; A/HRC/53/L.27/Rev.1, New and emer­ging digi­tal tech­no­lo­gies and human rights (high­ligh­t­ing both the risks for the right to equa­li­ty and non-discri­mi­na­ti­on and the oppor­tu­nities for gen­der equality.

[14] https://theelders.org/news/elders-urge-global-co-operation-manage-risks-and-share-benefits-ai

[15] Vgl. zum Bei­spiel, Goog­le (AI Princi­ples, avail­ab­le at: https://ai.google/principles/); Ama­zon (Respon­si­ble use of arti­fi­cial intel­li­gence and machi­ne lear­ning), avail­ab­le at: https://aws.amazon.com/de/machine-learning/responsible-machine-learning/ ), Meta (Facebook’s five pil­lars of Respon­si­ble AI, avail­ab­le at: https://ai.facebook.com/blog/facebooks-five-pillars-of-responsible-ai/) ; Micro­soft (Micro­soft Respon­si­ble AI Stan­dard, v2, June 2022, avail­ab­le at: https://query.prod.cms.rt.microsoft.com/cms/api/am/binary/RE5cmFl .

[16] https://www.tdg.ch/le-ps-passe-a-loffensive-sur-lintelligence-artificielle-807307585264 ; https://www.parlament.ch/fr/ratsbetrieb/suche-curia-vista/geschaeft?AffairId=20233147 .

Bild: unsplash.com