A digitális társadalom olvasatai – XI.

Ez a cikk több mint egy éve került publikálásra. A cikkben szereplő információk a megjelenéskor pontosak voltak, de mára elavultak lehetnek.

Alábbi cikksorozatában a szerző a digitális társadalom különböző aspektusait tárja elénk, igyekezve lényegre törően bemutatni szerkezetének fontosabb csomópontjait, és összegezni a tudásrendszerek, az internet, a mesterséges intelligencia, a hálózati társadalmak fontosabb, a jogalakulás szempontjából releváns mozgásait. Ezúttal az igazságügyi algoritmusok problematikáját veszi górcső alá.

Kritikák

Rossz embert küldött börtönbe az arcfelismerő szoftver – kürtölte világgá az internetes hírfolyam a mesterséges intelligencia (MI) tévedését.[1] A szkeptikusok ehhez hozzátették: nem először, a még inkább kétkedők pedig: nem utoljára. A hír sokkal nagyobb hatást váltott ki, mintha egy bíró tette volna ugyanezt (pedig megteszi néha), az MI tévedésével ugyanis elveszthetjük a gépi intelligencia tévedhetetlenségébe vetett hitünket. Felvetődik, mit várunk el az igazságszolgáltatásban alkalmazott MI-rendszerektől, és milyen elvárásainkat nem teljesítik az igazságügy algoritmusai? Utána kell természetesen annak is nézni, vajon nem túlzottak-e ezek az elvárások.

A hír – hatásán túlmenően – nem különösebben izgalmas, az arcfelismerő szoftver tévedett. Amit csak a sorok mögött olvashatunk, nem az algoritmus, hanem az arra illetékes rendőri szerv tartóztatta le (küldte börtönbe) az érintett polgárt. Az arcfelismerő szoftvert már betiltották, „gagyi” volt, a közösségi médiákról letöltött fényképekkel dolgozott. Pedig azt már egy kisiskolás is tudja, hogy e médiákon több millió hamis, vagy az algoritmusok által előállított álfénykép (és személy) kering. Az alkalmazás amatőr volt, de mi a helyzet a professzionális alkalmazásokkal (pl. COMPAS)?

A professzionalista MI-alkalmazásokkal szembeni kritikák egyidősek bevezetésükkel. Az irodalmat olvasva azonban hamar kiderül, a kifogások nagy része nem kifejezetten az igazságügyben alkalmazott MI-megoldásokra, hanem általában az algoritmusok prediktív funkcióira irányul. Az algoritmusok gyengeségében osztozik az igazságszolgáltatás fegyverhordozó megoldásainak színe java is – ez nem kétséges –, s mindez nem egyszer még jobban kiélezi az algoritmusok kapcsán tapasztalható társadalmi feszültséget. Összefonódik a két terület, s noha az összefonódás nem véletlen, mégis nehezen lehet különbséget tenni közöttük. Egyes kérdéscsoportokat nézve – pl. transzparencia – pedig úgy tűnik, nem is lehet. Megnehezíti a kérdések tisztázását, hogy az algoritmusok „tévedése” másként és más módon esik latba egy bíróság esetében, mint egy magánvállalkozás piaci stratégiájában.

Az arcfelismerés pontossága – foglalja össze Alessandro Vespignani – nagyon erősen attól függ, hogy a tanulás melyik típusát alkalmazták az algoritmus betanulási fázisában. Kutatások ezen túlmenően megállapították, az atipikus, bőrszínben és arcjegyekben a modelltől eltérő mintázat esetében a hibahatár 21 százalék és 35 százalék közé esik.[2] Vespignani a szakírók nagy részével együtt azonban azt a nézetet képviseli, hogy az algoritmus „tévedése” nem a gépi logika tévútja, hanem azoknak az adatbázisoknak a korlátja, amelyek alapján az algoritmus tanítása történik. Bizonyos adatok felülreprezentációja az adatbázisokat kialakító ország (hely, kontinens) statisztikai összetevőiből ered, például az algoritmus által tévesen azonosított mintázat alig van jelen a betanulás bázisát képező adatrendszerben. Szociológiailag a diszkrimináció problémakörét járjuk itt körül, és valóban, az igazságügyi algoritmusok egyik nagy problémájának a diszkrimináció előfordulásának magas valószínűségét tekinthetjük.

A sokat emlegetett COMPAS esetében mérések és elemzések kimutatták, hogy az alkalmazás magas kockázati pontszámokat ad lényegében alacsony kockázatot hordozó egyéneknek, és fordítva. A színes bőrűek vonatkozásában nagy számban adott hibás pozitív előjelzést, magas kockázatúnak állított be olyanokat, akik nem követtek el később újabb bűncselekményeket.[3]  Hozzá kell tenni, a vitatott algoritmus (szoftver) eredményét csak nagyon kevés bíró merte felülbírálni, a többség inkább áttolta a személyiség súlyának mérlegelését (és a felelősséget) az úgynevezett arctalan gépi intelligenciára.

A szoftver ugyanakkor az előrejelzések sikerességében jól teljesített. Magas valószínűséggel jelezte előre a visszaesőket, legyenek azok fehérek vagy feketék, férfiak vagy nők. A két ellentétes követelmény teljesíthetőségének egyidejűségét újabb elemzések vizsgálták. Alexandra Chouldechova végül (döntőbíróként) megállapította: egyszerre lehetetlen eleget tenni a visszaesés helyes és az álpozitív esetekben megmutatkozó helytelen (mindkettő a pártatlanság egy-egy eleme) feltételének.[4] Más elemzések megállapították, a pártatlanság körülbelül huszonnégy különböző kritériumot tartalmaz, ezek közül pedig jó egynéhány kizárja egymást. Mások ehhez hozzáteszik, lehetetlen egyszerre biztosítani a hitelesség maximumát és a pártatlanságot, mivel a gyakorlatban a jogilag különbözőképpen védett társadalmi csoportok egymástól eltérő adataival kell dolgozni.[5] Több kutató szerint a pártatlanság 100 százalékos elérésének lehetetlensége magában a kockázatelemzések matematikai–statisztikai módszerében rejlik, röviden: egy csoport múltbeli viselkedéséből valószínűsítik annak (és egyedeinek) jövőbeli magatartását. Megnyugtató, a modern, elterjedő félben lévő szimulatív modellek, amelyek a jelen valós adataiból végeznek prediktív következtetéseket, talán kezelni tudják e hibát.[6]

Az igazságügyi algoritmusok – összefoglalva – legfontosabb problémájának a diszkrimináció kérdésköre tűnik. Az Európa Tanács emberi jogi összefoglalója, amelyben a jelentéstevők az algoritmusok és az emberi jogok kapcsolatát elemezték, mind a jogok katalógusának vizsgálata során, mind a tisztességes eljáráshoz való jog elemzésében külön kiemelte a mesterséges intelligencián alapuló algoritmusokra visszavezethető torzításokat.[7] Ugyanakkor megállapították, amennyiben az alkalmazott gépi megoldások integrált és semleges rendszerben működnek, a lehetséges diszkrimináció foka alacsonyabb. Figyelmeztettek arra a veszélyre, ami akkor keletkezik, ha a bírók a mesterséges intelligenciára delegálják a döntést, különösen akkor, amikor az adott jogesetre a használt gépi intelligencia még nem készült fel. A jelentés az igazságügyi algoritmusok diszkriminatív megoldásai mellett kitért az élet más területein tapasztalható, ám a gépi intelligencián nyugvó diszkriminációra, ezeken ugyanis masszív jelek mutatkoznak e hibák „megerősített újratermelődésére”. Kétféle diszkriminációt különböztettek meg, az indirekt és a direkt típust. A direkt diszkrimináció esetében a döntéshozó tudatosan és szándékosan építi döntését a jogellenes, az egyének és a csoportok jogait háttérbe szorító, algoritmusokra lefordított kritériumokra. Az indirekt diszkrimináció során néhány döntési kritérium automatikusan állítja elő a jogellenes szempontokat, esetleg a törvényi tilalom ellenére vizsgál bizonyos csoportokat. Az indirekt diszkrimináció akkor keletkezik, írja a jelentés, ha a különböző eljárások (a gépi algoritmus folyamatai és vezérlése) indokolatlanul (rendszeridegen elemként) működnek. Tipikus példája ennek az a kockázat elemző megoldás, ahol a rendszer részrehajlóan, valamilyen társadalmi jelenséget (tényezőt) kiemelő (egy adott nem, egy adott faj, egy adott bőrszín) adatok generálásán nyugszik. A döntés maga nem diszkriminatív, ám a mögöttes adattenger kritériumrendszere számos szempont alapján (faj, nem, szexualitás stb.) torz, hiszen elveszítette semlegességét. A jelentés készítőivel – és számos szakértők álláspontjával egyetértve – úgy gondoljuk, hogy a legnagyobb probléma az indirekt diszkrimináció itt felvázolt gépi intelligencián alapuló rendszerével van.[8]

Az Európa Tanács jelentése az igazságügy által használt algoritmusok működésének problémáit tágabb társadalmi kontextusba helyezte el. Köztudott ugyanis, hogy a rendvédelmi szervek algoritmusai – például a rendőrségé vagy a különböző közigazgatási szervezeteké – „elérik” az állampolgárok érzékeny adatait tartalmazó adatbázisokat, így a magánszférának az igazságügyi adatfeldolgozó algoritmusokkal szembeni védelme kiemelt fontosságú kérdés az emberi jogok érvényesülése szempontjából. Az ET mindezeket a problémákat azonban az adatvédelem körébe sorolta, ezzel egyáltalán nem nyugtatta meg az érdeklődő közönséget.

Az emberi jogok katalógusa mentén elvégzett elemzésekből még egy, az igazságszolgáltatást érintő szempontra hívnánk fel a figyelmet, a hatékony jogorvoslat jogának érvényesülésére. A gondot e körben az automatikus döntéshozatali (gépi) eljárásokkal hozott döntések elleni jogorvoslatok jelentik. Főleg akkor aggódhatunk, ha tisztában vagyunk azzal, hogy az automatikus gépi döntéshozatalra a hatalmi–politikai autoritások egyre nagyobb szegmensében kerül sor, és e döntések az emberi jogok egyre nagyobb részét érintik. Egészségügyi állapot (egészséghez való jog), munkavállalói státusz (munkavállalói jogok), s a sor sokáig folytatható, egészen a közösségi médiákban működő algoritmus által vezényelt (a szólásszabadságot vagy a demokratikus választáshoz való jogot érintő) döntésekig. A hatékony jogorvoslat útjai és módjai nem egyértelműek, sőt az sem biztos, hogy egyáltalán lehetőség van jogorvoslat benyújtására. A szerzők az Emberi Jogok Európai Konvenciójának 13. cikkében foglalt jog megerősítése mellett érvelnek, és felszólítanak az intézményes megoldások kidolgozására.

Az elemzések és a különböző vizsgálatok alapján ki lehet szűrni azokat a legfontosabb kritériumokat, amelyeknek az MI algoritmusainak eleget kell tenniük, beleértve az igazságszolgáltatás gépi intelligenciára támaszkodó eljárásait. Láttuk, a diszkrimináció-mentesség, a pontosság milyen nagy szerepet játszik. Az MIT szakértői kiemelik a specifikus célok meghatározásának fontosságát, az algoritmusok által végzett mérések kritériumának és a fejlesztési útvonal irányának tisztázását, a tesztelések, a folyamatos auditálások elengedhetetlenségét.[9] Más szakértők – és a közvélemény – elvárása a transzparencia biztosítása, az elszámolhatóság (felelősségre vonhatóság), valamint a kockázatelemzések etikai keretének kiépítése.[10] Meg kell teremteni a folyamatos monitoring, a licenszek kiadásának intézményes kereteit.

Nem könnyű e feltételeknek eleget tenni, és jelenleg arról sincs tudomásunk, hogy egy-két piaci rendszerben működő megoldás kivételével a kormányzati vagy igazságszolgáltatási területen operáló algoritmusok eleget tennének a fenti feltételeknek. Nem felmentve a szolgáltatás működtetőit, azért azt látnunk kell, néha e kritériumok nem, vagy csak nehezen teljesíthetők, együttesen pedig esetleg a távoli jövőben.

„Bízzál benne, de ellenőrizd”[11] Reagan elnök hidegháborúból származó jelszavát vette elő a Harvard jogi karának két szerzője, amikor a mesterséges intelligencia algoritmusainak (náluk szoftverek) jogi szabályozhatóságát vizsgálta. Álláspontjukat röviden összefoglalva: egyfelől lehetetlennek látják bizonyos kritériumok explicit (számítástechnikai) és egyidejű megvalósítását (ilyen kiemelt és vizsgált kritérium a transzparencia és elszámolhatóság), másfelől kidolgoznak egy olyan (szervezeti) szabályozási eljárást, amely a különböző szoftverek ellenőrzését (egyúttal átláthatóságukat) már a fejlesztés kezdő lépéseitől biztosítaná. A megoldás függ attól, hol, melyik területen alkalmazzák a kérdéses szoftvert. A „nyitott kapukat” működtető állami politika azonban, amely így megalapozhatja a felelősségre vonhatóság jogintézményét, megfelelő kulcs a magánszektorhoz is. E rendszer alkalmazásával elejét lehetett volna venni – írják – a Volkswagen diesel autóinál felfedezett úgynevezett csaló szoftverek bevetésének. Külső (harmadik) fél tartós jelenléte, kritikai és dinamikus megközelítés, az alkalmazott kritériumok szűrése majd ezek újra-, és átértelmezése, valamint a rendszer szenzitív (és védett) adatoktól való távoltartása. E megoldásokra a mai digitális tér jelszerkezete, az adatok rendszere és mennyisége eleve alkalmas. A feladat előttünk áll, így a következő részben megvizsgáljuk az Európai Unió fehér könyvét, ahol lefektették az algoritmusokkal kapcsolatos szabályozás európai alapelveit.[12]

A cikksorozat első részét itt, a másodikat itt, a harmadikat itt, a negyediket itt , az ötödiket itt, a hatodikat itt, a hetediket itt, a nyolcadikat itt , a kilencediket itt, a tizediket pedig itt olvashatja el.

Lábjegyzetek:

[1] Nagy Nikoletta: Rossz embert küldött börtönbe az arcfelismerő szoftver. https://24.hu/tech/2020/12/31/arcfelismero-szoftver-new-jersey-tevedes/ 2020.12.31.

[2] A fekete nők arcfelismerésére vonatkozott ez a megállapítás, a Microsoft esetében mérték a 21%-ot, a 35% az IBM algoritmusára vonatkozott. Alessandro Vespignani: A jóslás algoritmusa. Libri, Budapest, 2020.122.

[3] A vizsgálati tényanyaga megtalálható: Julia Angwin – Jeff Larson – Surya Mattu – Lauren Kirchner (ProPublica): Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks. 2016.May 23. https://www.propublica.org/article/machine-bias-risk-assessments-in-c. 2018.08.22. Rachel Courtland: The Bias Detectives. As machine learning infilt rates society, scientist grapple with how to make algorithms fair.  Nature, 21. June 2018. Vol. 558/357.

[4] Fontos kiemelnünk, itt matematikai – logikai problémáról van szó, amely az algoritmus felépítésében és működésében jelenik meg

[5] Alexandra Chouldechova: Far Prediction with Disparete Impact: A Study of Bias in Recidivism Prediction Instrument. Big Data, 5/2. 1. June, 2017. Richard Berka – Hoda Heidaric – Shahin Jabbaric – Michael Kearns -Aaron Roth: Fairness in Criminal Justice Risk Assessments: The State of the Art. arXiv:1703.09207v2 [stat.ML] 28 May 2017. University of Pennsylvania

[6] Itt egy nagyon érdekes problémára bukkanunk, gyökere az arisztotelészi logikában található meg. Egyébként pedig ez a logika az alapja az algoritmus működésének. A prediktív algoritmusok azokat a csoportokat nem tudják kezelni, amelyek tagjai – a visszaesést mérlegelve – magas kockázatot jelentenek, és mégsem követnek el a jövőben újabb bűncselekményeket. A szillogikai következtetés ugyanis az, hogy a magas kockázati alany nagy valószínűséggel követ el újabb bűncselekményt, tehát ebbe a csoportba kell sorolni. A kizárt harmadik tételéből következően azonban nem lehet egyszerre igaz, hogy a magas kockázatú csoport tagja elkövet és nem követ el bűncselekményt a jövőben. A Nature idézett cikkében Rachel Courtland éppen erre az ellentmondásra hívta fel a figyelmet

[7] Algorithms and Human Rights. Study of Human Rights Dimension of Automated Data Processing Techniques ans Possible Regulatory Implications. Council of Europe Study. DGI (2017) 12.

[8] Különösen akkor – fogalmaz a jelentés –, ha a gépi döntéshozatal az emberi döntéshozatal diszkriminatív megoldásainak megtanulásán alapul, és a MI nem csinál mást, mint megismétli, felerősiti az ember döntéseinek ezen sajátosságait. A diszkriminációra még: Latanya Sweeney: Discrimination in online Ad Delivery. Communications of the ACM, May 2013, Vol. 56 No. 5, Pages 44-54. di.acm.org. Jon Kleinberg – Jens Ludwig – Sendhil Mullainathan – Cass R. Sunstein: Discrimination in the Age of Algorithms. February 5. 2019.  Journal of Legal Analysis, Volume 10, 2018, Pages 113–174, https://doi.org/10.1093/jla/laz001. 2020.12.12. letöltés

[9] A Perspective on Legal Algoritms. MIT Computational Law Report. https://law.mit.edu/pub/aperspectiveonlegalalgorithms/release/3 2021.01.08 letöltés

[10] „Az emberi döntés folyamata nem szükségképpen „jobb”, hanem egyszerűen különbözik az automatikus döntéshozatali eljárásoktól, eltérő jellegű vagy elfogultságú, és eltérő az automatikus gépi döntéshozatal működésében fellépő kockázat vagy hiba is.” Im: Algorithms and Human Rights. Study of Human Rights Dimension of Automated Data Processing Techniques ans Possible Regulatory Implications. Council of Europe Study. DGI (2017) 12.

[11] Trust But Verify. Ronald Reagen mondása a szovjet – amerikai kapcsolatokra vonatkozott. A bonmot –ra 532 millió Google találat esik, nagyon nagy népszerűségnek örvend a szakírók és a pszichológia művelőinek körében is. Külön Wikipédia oldala van a https://en.wikipedia.org/wiki/Trust,_but_verify címen. A tanulmány: Deven R. Desai – Joshua A. Kroll: Trust but Verify: a Guide to Algorithms and the Law. Harvard Journal of Law & Technology. Vol. 31. No.1.

[12] Fehér könyv a mesterséges intelligenciáról: a kiválóság és a bizalom európai megközelítése. Európai Bizottság. Brüssel, 2020, 2.19. COM(2020) 65 final.

---