Zabýváte se bezpečností umělé inteligence, jak se díváte na současnou situaci?
Vývoj umělé inteligence závratně zrychluje, z velké části proto, že s vývojem stále více pomáhá sama AI. Nemyslím si, že by výzkum bezpečnosti držel krok s tempem vývoje umělé inteligence jako takové, což je problém. Nacházíme se teď v období několika let, které mohou být pro budoucnost lidstva hodně formativní. A zároveň si nejsem jistý, že je lidstvo připravené tohle důležité období zvládnout dobře.
Je namístě mluvit o budoucnosti lidstva, není to přehnané?
Poslední tisíce let byl člověk jednoznačně nejinteligentnější tvor, který chodí po Zemi, a to se může změnit. Lidé možná přijdou o prvenství, se kterým se pojí schopnost ovlivňovat, kam svět směřuje. V historii přicházely různé technologie, které nám pomáhaly zefektivňovat práci. Ale vždy to bylo omezeno jen na několik druhů činností. Umělá inteligence ale může nahradit lidi víceméně v jakékoli kognitivní činnosti, v jakékoliv práci s informacemi. Podobu a směřování států do velké míry určují rozhodnutí politiků a státní byrokracie. A ekonomiku formují rozhodnutí ve firmách. Pokud tato rozhodnutí bude postupně víc a víc dělat umělá inteligence, je možné, že nad světem efektivně převezme kontrolu.
Říkáte, že může přijít AI, která bude inteligentnější než my. Není to ale tak, že tady už je?
Umělou inteligenci, která je inteligentnější než my ve vybraných oblastech, už tu máme dlouho – třeba AI, která hraje šachy lépe než lidi, existuje už od devadesátých let. Takovým systémům se říká úzká superinteligence. Teď dochází k posunu ke stále obecnější umělé inteligenci. AI se přibližuje k lidské úrovni nebo ji překonává ve stále více oblastech. S tím se pojí termín AGI, obecná umělá inteligence, která je ve všech oblastech inteligence alespoň na lidské úrovni. Ale zatím to tak není, pořád má nedostatky pojící se například se spolehlivostí. To se nejvíc projevuje u činností, které vyžadují mnoho kroků po sobě, a možnost chyb se tak kumuluje. Většinu delších úkolů tak lidi zatím zvládají lépe. Lépe také umějí pracovat se svou vlastní neznalostí nebo intuicí o fyzickém světě.
Za jak dlouho se podle vás dočkáme obecné umělé inteligence?
Realistický odhad je podle mého názoru třeba mezi třemi a dvaceti lety. Také musíme rozlišit, kdy přijde AGI jako technologie, jež bude schopna všechny činnosti vykonávat na lidské úrovni. A oddělená otázka je potom adopce dané technologie: jak rychle danou umělou inteligencí budou firmy nahrazovat lidi, což může jít daleko pomaleji.
Je tedy ale možné, že v budoucnosti lidé vůbec nebudou muset pracovat?
Možná bychom měli připravovat sebe a své děti na to, že smysl v životě nebudeme odvíjet od nějaké ekonomicky relevantní činnosti, protože v tom možná nahrazeni budeme. V něčem nám to na druhou stranu může dát daleko větší svobodu realizovat se jinak.
Ale kdo ví, možná zase najdeme jinou formu toho, čemu dnes říkáme práce a profese. Nesázel bych na to, že tady pro nás žádná práce nebude. Existuje hodně nejistoty okolo toho, kdy k automatizaci reálně dojde, a nelze ani vyloučit, že AI ještě narazí na nějaké důležité překážky. Ekonomové zdůrazňují, že minulé průmyslové revoluce provázel strach, že nastane obrovská nezaměstnanost. A historicky to zatím vždycky vedlo k tomu, že těch možných zaměstnání se vytvořilo víc, než o kolik jsme přišli. I když já se domnívám, že s umělou inteligencí by to mohlo být jinak. Právě kvůli její univerzálnosti a obecnosti. Může to znamenat, že nás opravdu nahradí v existujících činnostech, a i kdybychom si vymysleli nové, tak nás v nich velmi rychle předčí.
Je to velmi optimistická představa, že za nás všechnu práci odvede AI. Ale vy se ve svém výzkumu věnujete spíše pesimističtějším scénářům. Co by se mohlo pokazit?
V nejhorším případě si fakt myslím, že by lidstvo mohlo skončit v té formě, v jaké ho dnes známe.
Tím myslíte nějaké vyhlazení?
Ano, bohužel to nejde vyloučit. Je to děsivé a společnost by to měla brát vážně.
A jak by k tomu mohlo dojít?
Ztrátou kontroly. K té by mohlo dojít náhle, skrze nějaké těžko předvídatelné superinteligentní schopnosti AI, ale také postupně a poměrně přirozeně. Máme tady společnosti, které se snaží vyvinout AGI, která lidi potenciálně nahradí ve všech kognitivních dovednostech. Ve chvíli, kdy budeme mít takovou technologii, firmy budou mít motivaci postupně všechno rozhodování nahradit umělou inteligencí. Pokud AI udělá lepší rozhodnutí, než by dělal člověk, pak firma, která svoje manažery nahradí umělou inteligencí, bude konkurenceschopnější. Zbývající lidské podniky potom v tržní ekonomice zkrachují.
Krok po kroku lidé vypadnou ze systému a najednou tady budeme mít ekonomiku zcela řízenou umělou inteligencí. K něčemu podobnému může docházet i ve státní administrativě. Země, které budou schopné národní rozhodování postupně automatizovat, budou mít navrch. V politice je to o něco složitější, některé role jsou ústavně definované jako lidské. Ale i když na daných pozicích lidé zůstanou, budou mít čím dál větší motivaci nechat za sebe rozhodovat AI. Tím můžeme dospět do stavu, kdy svět bude řídit umělá inteligence. Je taky možné, že tady bude řada umělých inteligencí. Tak jako tak, je otázka, jakým způsobem to lidé budou moct ovlivňovat.
A nebylo by to vlastně dobře, kdyby politiky nahradila AI? Politici často sledují své zájmy, kdežto když umělé inteligenci zadáme cíl, aby národ prosperoval, aby se smazaly nerovnosti, postranní úmysly mít nebude. Něco na tom je a myslím si, že ve vládnutí bude umělá inteligence hrát velkou roli. V něčem by mohla být výhodou. Na druhou stranu s takovými rolemi se pojí něco, čemu říkáme politické otázky. Otázky, na které není objektivní odpověď. Jsou to otázky hodnotové a záleželo by tedy také na tom, jaké hodnoty by umělá inteligence naplňovala.
Myslíte tím pravicové a levicové hodnoty?
Třeba tak. Když jste dávala příklad s odstraněním nerovností: nejdále jsou ve vývoji AI Spojené státy. Hlavním cílem jejich současné administrativy rozhodně není snižování nerovností. Když taková administrativa začne nasazovat AI do vládnutí, bude se snažit, aby naplňovala právě její hodnoty. Může jít například o dominanci USA nad světem. Zadáním nebude: pojďme udělat celosvětově rovnostářskou společnost, kde se budou mít všichni stejně dobře.
A co myšlenka, že umělá inteligence přímo kandiduje ve volbách, bez afiliací k nějaké politické straně?
Něco takového se může stát, ale v něčem je to možná ještě děsivější, než kdyby umělou inteligenci kontroloval Donald Trump. Protože v tu chvíli bychom měli vládnoucí AI, u které ani nevíme, jaké hodnoty má. Jedna věc je, s jakým volebním programem jdou politici do voleb, a úplně jiná věc je, co potom dělají ve chvíli, kdy jsou u moci. Něco podobného bychom skoro určitě viděli i u umělé inteligence. Pokud se dostaneme k tomu, že AI řídí zemi, pak je otázkou, jaké hodnoty bude naplňovat. I kdybychom věděli, jak nějakou sadu morálních principů umělé inteligenci vnuknout, tak nemáme odpověď na to, jaké hodnoty by to měly být. I lidé sami v tom mají maglajz. Nevíme, jaké zadání bychom jí dali. A to, že to nevíme, znamená, že není velká šance, že bychom to udělali dobře.
A kdybychom měli ty správné hodnoty, dokážeme je umělé inteligenci vštípit?
Ani v tom případě nevíme, jak na to. Umělá inteligence dnes vzniká dost organicky a k jejím „hodnotám“ a chování trochu nepředvídatelně přispívá spousta dílčích vlivů. Část toho jsou hromady dat z internetu, ze kterých si vyzobe směs osobnostních rysů, které je schopna simulovat. Jiný proces některé žádoucí osobnostní znaky posiluje oproti jiným, další ji učí efektivně řešit problémy. Na konci vypadne systém, který se chová zhruba dobře v situacích, na které je AI nasazená dnes. Nevíme ale, co by systém dělal v situacích odlišných od těch trénovacích, třeba kdyby měl řídit celou společnost. Komunita kolem bezpečnosti AI navíc zdůrazňuje, že i kdyby se hodnotová představa AI lišila jen malinko od té lidské představy, stále jsou lidé potenciální překážkou v tom ty hodnoty naplňovat tak, jak by AI chtěla.
Tím asi narážíte na sponkovou teorii filozofa Nicka Borstoma. Umělé inteligenci se zadá, ať vyrábí kancelářské sponky. V jednu chvíli ji lidé chtějí vypnout, protože sponek už je dost, ale AI
si řekne: Tím, že by mě vypnuli, překazili by můj účel, a tak vyhladím lidstvo, abych mohla dál vyrábět sponky. Jenže nebyla by taková umělá inteligence vlastně strašně hloupá? Nemělo by jí dojít, že vyrábět sponky není důležitější než životy miliard lidí?
Bylo by to pěkné, ale nevíme, že by to tak bylo. Pojí se to s takzvanou tezí ortogonality. V principu může být systém libovolně inteligentní a zároveň se snažit dosáhnout z našeho pohledu hloupého cíle, jako je vyrábění sponek. Ještě před pár lety, kdy byla tato hypotéza formulována, se odborníci báli, že bude strašně těžké vůbec umělé inteligenci předat, co ty naše hodnoty jsou. Ukázalo se, že velké jazykové modely tomu celkem dobře rozumějí, ale oddělená otázka je, zda se podle nich bude AI chovat. Jestli jí na hodnotách, jako je štěstí lidí, bude záležet. Z toho plyne velká část rizika.
Co je podle vás pravděpodobnější? Že umělou inteligenci někdo zneužije, anebo že se nějaký superinteligentní systém osamostatní a řekne si: vyhladím lidi?
To, že se ji lidé budou snažit zneužít, je skoro jisté. Hodně se bojím scénářů, kdy některé státy mohou tímto mocným nástrojem nastolit totalitní režim, který bude schopný velmi efektivně potírat jakoukoli opozici a manipulovat lidmi. Nicméně jsou to pořád scénáře, kdy si lidé nad technologií drží kontrolu a nepovede to k vyhlazení. Umělá inteligence nejspíš odemkne daleko větší prosperitu. A i když si vládnoucí elita nechá velkou část bohatství pro sebe, je možné, že ho bude tolik, že i zbytek lidstva se bude mít lépe než teď. Ale přikládal bych nějakou pravděpodobnost i těm scénářům, že kontrolu nad technologií ztratíme a že nás v něčem úplně nahradí a možná i vyhladí. Toto riziko je méně pravděpodobné, ale daleko horší, když nastane. A je vážné na to, aby si zasloužilo být jednou z hlavních mezinárodních priorit.
Ondřej Bajgar: Vystudoval matematiku na University of Warwick a později doktorát v AI na Oxfordské univerzitě. ? Na výzkumu AI pracoval také pro IBM Watson, startup EquiLibre Technologies a oxfordský Institut pro budoucnost lidstva. ? V současnosti se věnuje výzkumu bezpečnosti AI v umělé ČVUT Praze.