Maminku, nebo babičku?

Auta odstranila z dopravy koně; autonomní vozidla teď přinášejí soumrak zbývajícímu zvířeti na silnicích: člověku. Kdo to ale po nás přebírá volant? Jak se vozy, které řídí samy sebe, rozhodují v dopravních situacích? Na čem závisí, zda strhnou v neřešitelném silničním dilematu volant doleva, nebo doprava? A kdo ponese za jejich rozhodnutí zodpovědnost?

Až budou silnice brázdit jen autonomní vozidla, začneme všichni skákat do přechodů na červeného panáčka. Vážně, proč otálet s čekáním na toho zeleného, když bude vozovka plná aut vybavených nejbystřejšími bezpečnostními systémy pod sluncem? Autonomní auto nikoho nepřejede, takže sluchátka na uši, klapky na oči a tradá do burácející řeky motorových vozidel... ne?
Už dnes získáte v běžném městském provozu dojem, že autonomní čili samořízená vozidla, jež k provozu nepotřebují řidiče, vládnou ulicím – jinak by se přece tolik lidských pilotů za jejich volanty nevěnovalo místo jízdy projíždění facebookových zdí na svých mobilních telefonech. Když si to nevědomky ověříte tím, že s pohledem taktéž přikovaným k obrazovce smartphonu skočíte do rušné silnice, shledáte, že za řidiče to ubrzdí nouzový systém AEB, načež nad jeho vozem převezme znovu nadvládu popojíždějící asistent, jako je Traffi c Jam Pilot, a automaticky začne vůz postrkovat dále do hlubin dopravní zácpy... Celý vylíčený hypotetický incident se přitom odehraje zcela bez lidské asistence, do značné míry možná i bez vědomí lidských zúčastněných; mírně šokovaný řidič, jehož audina byla donedávna symbolem jeho macho nadvlády nad světem, nadále zůstává za volantem vlastně už jen od toho, aby celé to silniční mikrodrama nasdílel na Facebook.
Navzdory občasnému dojmu automobily úplně samy po silnici ještě nejezdí; ale budou. Zdaleka nejsme na vrcholu evoluce autonomních vozidel; jsme na jejím začátku – ovšem už v této fázi se lidský řidič stává pátým kolem u (samořízeného) vozu. Nalijme si čisté nafty: lidský řidič je nejslabší článek auta budoucnosti, takže je čas, aby dostal padáka. Ve firmě Valeo, kde se vyvíjejí i systémy pro autonomní vozidla, mi říkali svůj oblíbený vtípek: vynález automobilu před sto lety vyřadil ze hry koně; a teď, s nástupem autonomních aut, přišel čas vyřadit i to druhé zvíře.
Takže tady je otázka za sto bodů: Co za robota to vlastně převezme volant po nás?

UČENÍ STROJŮ

Pro standardní model mozku autonomně řízeného automobilu se dnes používají takzvané hluboké konvoluční neuronové sítě. Docent Karel Zimmermann, který se autonomními stroji a roboty zabývá na pražském ČVUT, připodobňuje model sítě struktuře lidského mozku; "pouze v tomto případě základní kameny namísto neuronů tvoří matematické nelineární funkce," vysvětluje. Lineární funkce jsou tu zesíťované jedna za druhou a tvoří mechanismus strojového uvažování, na jehož začátku je údajový vstup (v případě auta kupříkladu dopravní situace složená z údajů z kamer, senzorových dat, GPS, hloubkového měření milióny laserových paprsků a dalších faktorů) a na jeho konci pak funkční výstup (například ve formě zatočení volantem doleva nebo doprava). V tom, aby vůz projel celou trasu ve štěstí a bez nehody, hraje zásadní roli jeho schopnost rozpoznávání objektů (tzv. object detection), kdy auto v rámci milisekund defi nuje předměty ve svém zorném poli. K tomu, aby se naučilo rozlišovat člověka od stromu, přitom slouží jak sofi stikované výpočetní technologie, tak stará dobrá manuální dřina: scény nasnímané testovacími vozy se posílají do servisů třeba do Číny, kde na nich farmy živých lidí (říká se jim mechanical turk workers) označují předměty a člení je do stovek kategorií typu "člověk" nebo "strom"; na základě této trénovací množiny se pak neuronová síť automobilu učí rozpoznávat nejtitěrnější detaily těch nejkomplexnějších dopravních situací.
Kýženým výsledkem je auto, jež bude v každé situaci dělat vždy to, co je správné.
Co se ale stane, když bude postaveno před situaci, která správné řešení nemá?
Co když se hypoteticky bude muset rozhodnout mezi tím, zda srazí babičku, nebo maminku?

BABIČKA JE ZA MILIÓN

"Pokud jste schopen přiřadit pravděpodobnost ke každé situaci, k níž může dojít, a u každé situace odhadnout výši ztráty, pak by mělo jít o jednoznačné rozhodnutí," odkazuje na tzv. bayesovskou minimalizaci očekávaného rizika u volby mezi přejetím hypotetické babičky či hypotetické maminky docent Zimmermann z ČVUT. Dodává, že pro takový případ by však musela existovat společenská kategorizace, systém sociálního bodování, podle něhož by automobil usoudil, zda je cennější babička (řekněme, že by měla hodnotu milión bodů), či maminka (ta by měla pět miliónů), a podle toho minimalizoval ztrátu; nic takového ovšem ve vídeňské úmluvě o silničním provozu, která od roku 1968 upravuje pravidla na silnicích, nenajdete. "Alternativou k minimalizaci bayesovského rizika je tzv. Neyman-Pearsonova rozhodovací úloha," říká docent Zimmermann. "Ta by říkala něco jako: když neumíme ztrátu spojenou s velkým průšvihem (jakým je třeba to přejetí babičky) kvantifi kovat, snažíme se jet co nejrychleji za podmínky, že pravděpodobnost velkého průšvihu je společensky únosná; čili je menší než třeba 0,00001 procent. To proto, že kdybychom se snažili pouze minimalizovat pravděpodobnost toho, že dojde k nehodě, tak v tu chvíli nejedeme nikam."
Nejbezpečnější a stoprocentně beznehodový autonomní automobil už totiž lidé skutečně dávno vymysleli – je to automobil se zataženou ruční brzdou a klíčky vytaženými ze zapalování. "Vše ostatní je otázka společenské akceptovatelnosti," dodává k tomu Zimmermannův kolega z fakulty kybernetiky na ČVUT docent Tomáš Svoboda. O rizicích autonomních automobilů totiž skutečně nemůžeme mluvit, aniž bychom nemluvili také o rizikovosti automobilů neautonomních. "Společnost dnes do jisté míry akceptuje, že v Česku zemře na silnicích více než pět set lidí ročně," říká docent Svoboda. "Jediný způsob, jak zajistit, že žádné auto nikoho nepřejede, je, že žádné auto nikam nepojede; čím více budeme zvyšovat rychlost, aby mohli být lidé někde rychleji, tím více budou jiní lidé umírat." Je tedy představitelné, že někdo tak bude muset i v plně automatizovaném provozu nakonec říci, kolik mrtvých na silnicích je akceptovatelných; stanoví-li se, že 500 lidí už je moc, protože to je přece jen počet všech obyvatel obce Rabí, pak mohou výrobci aut otočit pár čudlíky a stáhnout to třeba na čtyři sta, což už je jen počet obyvatel Rožmberku nad Vltavou.
Že je to děs? Že vozidla nastavená tak, aby vybila jeden celý Rožmberk, jsou zhůvěřilost? Inu, to ale není problém autonomních aut; stejné uvažování řídí úmrtnost na silnicích dávno a autonomní automobily k tomu jen přijdou jako slepý k volantu. Podle dat WHO bylo k roku 2013 na českých silnicích šest mrtvých na každých 100 000 obyvatel; v Norsku se na dálnicích místo zdejších 130 jezdí jen 80 a na stejných 100 000 lidí tam připadá skoro o polovinu méně: 3,8 mrtvého. Ergo, v Česku máme rádi rychlé lidi, Norové preferují živé lidi; a autonomní auta se jen povezou na tom, jak jsme si tyto klasifi kátory nastavili v dřevních dobách mechanické převodovky. Možná. Nebo taky ne.

MRTVÍ Z JINÉ SKUPINY

Když jsem stejné dilema předestřel Edgaru Martinezi Granadovi, který se budováním systémů pro autonomní vozy zabývá ve výzkumném a vývojovém centru společnosti Valeo, též jsme se rychle dostali k rozpravě nad tím, co v první řadě rozhoduje o mrtvých na silnicích ze systematického hlediska. "Představte si, že máte množinu všech nehod, které se dnes dějí," říká Granada. "Víme, že absolutní většinu nehod způsobuje člověk, minimum pak třeba technická závada. Když teď plošně zavedeme například automatický brzdný systém AEB nebo superbezpečná autonomní auta, pak jsme obrovsky zredukovali tu množinu člověkem způsobených nehod, ale současně nám bohužel vznikne také úplně nová množina nehod, jež by se jinak nestaly; a bude otázkou společenské diskuse, že v té nové množině budeme mít jiné mrtvé, než bychom jich měli v té staré – ovšem bude jich méně."
Před časem byla média plná zpráv o tom, že chystaný autonomní vůz značky Mercedes bude mít v základním programu pro případ havárie nastavenou jednoznačnou preferenci ochrany své vlastní posádky: nehledě na okolnosti a vnější ztráty mělo být primárním cílem automobilu chránit lidi uvnitř. Od té doby ale v Německu vešla v platnost novela zákona, která pro autonomní vozy zavádí princip ochrany slabšího; v zákoně je tak zakotveno, že systém musí být vždy naprogramován tak, aby autonomní vůz chránil slabšího.
Jenže kdo je ten slabší – babička, nebo maminka? To už tak jednoznačné není. Edgar Martinez Granada soudí, že na to přece jen zbývá ještě dost času. "Teď se musíme v první řadě postarat o to, aby ten automobil tu babičku a maminku vůbec viděl." Člověk by řekl, že teprve až se plně doladí situace, jako jsou "false positive" (kdy před sebou automobil vidí něco, co tam není) a "false negative" (kdy naopak nevidí něco, co tam je), nastane chvíle vyřešit dilema přejeté a nepřejeté babičky a maminky; dodejme však, že tyto situace se dokonale možná neodladí nikdy. I lidé mají své "false positives" a "false negatives"; nyní se teprve dostáváme do bodu, kdy jich mají stroje v některých úlohách méně než lidé.
Už dnes se ale můžeme ptát, kdo za to pak ponese zodpovědnost; protože to už je celkem jasné.

PĚTISTUPŇOVÁ PŘEVODOVKA

Normativní stupnice pěti úrovní autonomního řízení, kterou publikovala společnost inženýrů z oblasti strojové autonomie SAE International, má dva základní stupně evoluce autonomních vozidel, rozčleněné do pěti, respektive šesti úrovní. První jsou úrovně 0 až 2, což jsou v podstatě ještě oldschool vozy od dědečka automobilu až po moderní teslu se systémem pro nouzové udržení v jízdním pruhu; pak je tu ovšem druhý stupeň úrovní 3, 4 a 5, což jsou vozy se značným či plným rozsahem autonomního řízení. Vůz úrovně 3, jako je dnešní Audi A8, už je vybaven tzv. podmíněnou automatizací, což znamená, že za člověka zvládne řízení ve standardizovaném prostředí, jako je dálnice; tam prostě stisknete tlačítko a vůz to odřídí sám; lidský řidič tu ovšem musí pořád ještě dávat pozor, protože je to on, kdo je pro auto tzv. fallback systémem čili tím, na koho se vůz v případě nouze obrátí s decentní prosbou zabránit katastrofě. Vůz úrovně 4 už však podobnou krizi vybere vlastními záchrannými systémy, takže si za volantem teoreticky můžete dát i šlofíka – a vůz úrovně 5, jako je třeba ten od Googlu, už nepotřebuje ani volant. Ani vás. Ani nic.
Od čtvrté fáze tak zodpovědnost za provoz vozidla spadá z řidiče na výrobce vozidla; což ovšem přivádí uživatele aut do zajímavé situace, v níž je to právě také výrobce vozu, kdo bude činit i veškerá zásadní rozhodnutí o jeho užívání – bodejť by ne, když půjdou všechny důsledky za ním. Docent Zimmermann vyvozuje, že v praxi by to mohlo vypadat následovně: neodklepnete-li na palubní desce smluvní podmínky u nové aktualizace systému vozidla, nikam se nejede. Neřešitelná dopravní situace? Inu, počkáme. Už žádné Rychle a zběsile, ale Pomalu a rozvážně. Což vede logicky k další otázce: budeme pak to auto vlastně ještě vlastnit? A proč bychom vůbec měli? A když jsme u toho – když už umí jezdit samo, proč by mi v mé pracovní době nemohlo vydělávat peníze jako automatický vůz služby Uber, jaké dnes jezdí po americkém Pittsburghu?
"Důsledkem může být kompletní změna vnímání auta coby symbolu společenského statusu," zamýšlí se Edgar Martinez Granada. "Může se vytratit potřeba auto vlastnit; podobně jako se to stalo s hudbou: už nemáme vlastní gramodesky, ale streamujeme písně, které nevlastníme."
A když půjdeme ještě dál, můžeme si představit, jak se promění celospolečenský přístup k tomu, co to vlastně doprava je. Dnes jezdí automobily pořád ještě na silnicích a v dopravních systémech vytvořených pro lidské řidiče; představte si ale svět, v němž silniční komunikace budou vytvořené čistě pro systémy autonomních vozidel, z nichž každé je řízeno svým počítačem a současně se na bázi car to car communication dorozumívá s ostatními vozy, a ještě se nonstop odkazuje ke komplexu dopravních dat katalogizovaných kdesi v cloudu. Renomovaný profesionál z oboru přepravy medicíny a biotechnologií Wanis Kabbaj ve své přednášce z cyklu TED předestírá verzi dopravy, v níž už tradiční systémy pro lidské řidiče postrádají smysl. Zatímco u dnešního semaforu se na symbol zeleného světla humpolácky rozjíždí jeden řidič za druhým, protože čeká, až se rozjede auto před ním, u semaforu pro autonomní vozy (dost možná pro člověka neviditelného) se všechna auta v koloně rozjedou v tutéž sekundu; tam, kde se lidští řidiči s cukajícími nervy prodírají zatuhlým provozem a tvoří neproniknutelný špunt dopravního kolapsu, probublávají autonomní vozy bystřinou kovové řeky, v níž se jednotlivá autíčka organicky objíždějí, prosmýkají a ševelí kolem sebe jako bublinky: na pohled zcela chaoticky, ve skutečnosti však naprosto organicky a plynule, řízeny vnitřním řádem sofi stikovaných nelineárních funkcí.
Říká se tomu tekutá (liquid) nebo podivná (strange) doprava – a je vizí systému, z něhož je kompletně odstraněn lidský řidičský element. Je to systém dopravy, která může paradoxně až bez člověka konečně nabýt lidských rysů: nádherného, živelného, plynoucího chaosu... pokud možno bez přejetých maminek a babiček.