Druhý případ ještě dnes výrazně zasahuje do života lidí. Ve Spojených státech amerických se výkon soudní moci liší stát od státu a často i okres od okresu. Podobně jako v České republice i v USA je napřed rozhodováno o vině a následně o trestu. Pro stanovení jeho výše je důležitý odhad rizika recidivy, resp. doby do recidivy, tedy opětovného spáchání trestného činu. Několik států jako New York, Wisconsin nebo Kalifornie používalo nebo používá systém COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) pro odhad doby do recidivy, odhad rizika následné násilné trestné činnosti atp. Z počátku bylo nasazení systému motivováno systematickými chybami soudců, např. přísnějšími tresty udělovanými při slyšeních těsně před obědem než těsně po obědě.
Vývin férových algoritmů je předmětem aktivního výzkumu. FEL ČVUT vede související výzkum na celoevropské úrovni.
V roce 2016 se tým investigativních žurnalistů a aktivistů ze skupiny ProPublica na základě amerického zákona o svobodném přístupu k informacím dostal k řadě návrhů systému a následným rozsudkům. Ukázalo se, že rozsudky vycházely z doporučení COMPASu, který ale ve svém odhadu měl systematickou chybu. Mezi lidmi, kteří v trestné činnosti dále nepokračovali, měli Afroameričané dvakrát vyšší pravděpodobnost, že budou z pohledu recidivy označeni za "vysoce rizikové", než bílí Američané. Podobně mezi těmi, kteří následně v trestné činnosti pokračovali, byli bílí Američané podstatně častěji chybně označeni za "málo rizikové" než Afroameričané. Klíčovým problémem nebyla chyba v odhadu jako taková, ale její systematický charakter, který vedl k diskriminaci Afroameričanů při stanovení výše trestu.
Definovat vhodné vlastnosti podobných systémů, abychom je mohli vnímat jako férové, není snadné. Pro většinu definic, pokud už je máme, můžeme připravit odpovídající algoritmus pro detekci systematické chyby i učení bez systematické chyby. Zda jsou ale definice nebo seznam "chráněných" skupin populace správné a úplné, by mělo být předmětem celospolečenské diskuze.
Diskuze "společenského zadání" pro tyto systémy v ČR se rozbíhá v souvislosti s regulací umělé inteligence, tzv. AI Act, kterou navrhuje Evropská komise. AI Act zcela zakazuje některé aplikace AI, včetně biometrie na veřejných místech. U dalších aplikací, například podobných systému COMPAS, které jsou vnímány jako vysoce rizikové, regulace vyžaduje speciální procesy validace a auditu. U aplikací jako řízení dodavatelského řetězce, kde je míra rizika nízká, naopak Evropská komise výzkum, vývoj a použití umělé inteligence omezovat nechce. Ač pochopitelně není zřejmé, jak nejlépe specifikovat vysoce rizikové aplikace, přístup založený na analýze rizik se zdá být srozumitelný a v evropském právním prostředí velmi rozšířený.
Důležitou součástí společenského zadání je výběr populací, které je potřeba chránit. Leckoho napadnou "muži a ženy". Kolik populací ale obsahuje například LGBTQ+ komunita? Kolik máme v ČR etnických menšin? Od kolika členů můžeme uvažovat etnickou menšinu? Druhým krokem je definice systematické chyby pro každou z chráněných populací a vývoj algoritmů pro detekci systematické chyby. Často je možné ji definovat ve smyslu vzdáleností mezi rozděleními, což je oblast běžně studovaná ve statistice. V tomto smyslu člověk uvažuje rozdělení pro obecnou populaci a populaci chráněnou. Aby bylo možné takto definovanou chybu odhalit s dostatečnou jistotou, potřebovali bychom ale velmi velké množství vzorků. To znamená, že řada firem a institucí bude muset sbírat velké množství dat, která zatím nesbíraly, například o příslušnosti k definovaným chráněným populacím. Na velkém počtu vzorků pak ale výpočet může být časově náročný.
Pro většinu definic, pokud už je máme, můžeme připravit odpovídající algoritmus pro detekci systematické chyby i učení bez systematické chyby.
Konečně potom vývin férových algoritmů a zejména "strojové učení bez systematické chyby" je předmětem aktivního výzkumu. Fakulta elektrotechnická (FEL) ČVUT vede související výzkum na celoevropské úrovni (viz humancompatible. org) se zaměřením na dvě důležité oblasti využití umělé inteligence. Jednou z nich je automatizace řízení lidských zdrojů (HR), kde stále častěji umělá inteligence připravuje HR specialistům předvýběr z uchazečů, a naopak servery s nabídkami práce (např. i LinkedIn firmy Microsoft) uchazečům připravují předvýběr nabídek práce, které by je mohly oslovit. Druhou oblastí je pak použití umělé inteligence finančními institucemi, např. při poskytování cílených nabídek nebo při stanovení pravidel pro poskytování úvěru. V obou případech může mít návrh systému zásadní dopad na životy lidí.
Lepší návrh algoritmů může mít přímý pozitivní dopad na životy lidí.
Oblast HR je komplikovaná tím, že se typicky neposuzuje jen jeden údaj (např. doba do recidivy, třída v klasifikaci rizika), ale uspořádání seznamu kandidátů v předvýběru nebo uspořádání seznamu nabídek práce. Jak potom např. vyhodnotit systematickou chybu, pokud první na seznamu je žena následovaná třemi muži? Někdo může namítat, že dvě ženy následované dvěma muži také nepředstavují rovné zastoupení, pokud se uvažuje uspořádání seznamu. Pro vývin férových algoritmů je ale třeba shody na nějaké definici.
Ve sféře financí se zase obvykle pracuje s poměrně komplikovanými časovými řadami. Představme si například pohyby na bankovním účtu nebo transakce na bankovní kartě. Je potřeba rozlišovat debit a kredit. Nestačí uvažovat jen jednotlivé transakce v daném pořadí, ale je potřeba rovněž zvažovat, kdy se udály. Ideálně bychom dokázali identifikovat disponibilní příjem celé domácnosti, která může mít řadu členů, z nichž jen někteří jsou ekonomicky aktivní. Opět se nabízí otázky po definici systematické chyby.
Alespoň okrajově se tým doktora Marečka věnuje i dalším oblastem. Například na datech systému COMPAS, která byla zmíněna v úvodu, připravil definice, které vedou k co nejpodobnější chybě na "jednu i druhou stranu" pro všechny skupiny populace. Díky odpovídajícímu algoritmu se tak zlepšil celkový statistický výkon předpovídajícího modelu na souboru dat zveřejněném skupinou ProPublica i eliminace systematické chyby. Článek publikoval prestižní časopis Journal of Artificial Intelligence Research (JAIR). Lepší návrh algoritmů tak může mít přímý pozitivní dopad na životy lidí. ? Text vznikl ve spolupráci s Fakultou elektrotechnickou ČVUT.