Rizika rychlého vývoje umělé inteligence

Dario Amodei, ředitel společnosti Anthropic
Vydali jsme zprávu o zneužití našich modelů k výrobě biologických zbraní. A náš pohled na to, proč jsme Anthropic vybudovali, je ten, aby k takovým negativním scénářům nedocházelo. Místo debat o pravděpodobnosti se raději zaměřme na to, co můžeme udělat. Nejde přece o pouhou hru v kostky, že? Pokud budeme postupovat správně, věřím, že pravděpodobnost, že se stane něco špatného, bude velmi nízká. Pokud zvolíme špatný postup, bude tato pravděpodobnost naopak velmi vysoká. Musíme to tedy dělat správně.

Lukáš Dolanský, moderátor
A mým posledním hostem je Viliam Lisý z Centra umělé inteligence Fakulty elektrotechnické ČVUT. Dobrý večer.

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Dobrý večer.

Lukáš Dolanský, moderátor
Ta sobotní výzva, o které jsem mluvil, společnosti Anthropic, která koneckonců měla odezvu od těch ostatních partnerů, řekněme, nebo firem, je to dobrá zpráva?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Určitě je dobrá zpráva, že jsou o tom ochotni takto veřejně mluvit, že se k tomu snaží zaujmout nějaký postoj, že učinili první kroky, víceméně všechny ty hlavní firmy slíbily, že nechají nezávislé odborníky, aby nahlíželi do jejich procesu a snažili se kontrolovat, zda dodržují své vlastní zásady, svá vlastní bezpečnostní opatření.

Lukáš Dolanský, moderátor
O jak velkém riziku se vlastně bavíme? Já třeba narážím na případ, který se odehrál nedávno, kdy jeden ze zaměstnanců Jacob Coxon, který odešel z té podobné firmy, tak říkal, že vlastně, a budu ho citovat, „ani jedna ze společností nejedná zodpovědně.“ Mluvil o tom, že si dokonce ty firmy zahrávají s našimi životy. To jsou jeho slova. Skutečně je to riziko tak velké?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Tak jak jsme viděli i ty CEO těch společností, tak oni sami přiznávají, že to riziko je velké a že záleží na tom, zda to uděláme dobře nebo špatně. A pak je už na každého vlastním uvážení, že jestli si myslí, že ty firmy dělají dost nebo ne. Samozřejmě asi nikdy neuspokojí úplně, úplně každého. Čili vždycky se najdou nějací zaměstnanci, kteří si myslí, že to prostě není dost.

Lukáš Dolanský, moderátor
Dobře. A když se budu ptát jako laik, tak jak velké riziko to je pro, řekněme, většinovou společnost, která to sleduje prostřednictvím jenom nějakých mediálních zpráv? Jak velké riziko ta nekontrolovaná umělá inteligence ve skutečnosti je?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Jako nekontrolovaná umělá inteligence by bylo velké riziko samozřejmě, ale my doufáme, že se k tomu nedostaneme. A právě neexistuje nějaká shoda. Existují, jsou lidé, kteří i v tom Anthropicu tvrdí, že je více než 10% šance, že do konce dekády bude nějaký velmi, velmi velký problém. A pak jsou lidé, kteří tvrdí, že žádný velký problém nikdy nenastane, protože ten náraz inteligence narazí na nějaké fyzikální limity, na to, že nebude mít dost energie, na to, že nebudeme mít dost čipů a nebude to moci růst tak rychle a tak nepředvídatelně, jak se lidé obávají.

Lukáš Dolanský, moderátor
No, ale 10 %, to není jaksi zanedbatelné. To je stále něco, z čeho by člověk mohl mít strach, nebo ne?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Zase je to názor nějaké skupiny lidí, neshodují se.

Lukáš Dolanský, moderátor
Dobře. Čína, já jsem to říkal v úvodu, říká: "V žádném případě. My jedeme dál." Donald Trump se dokonce pasoval do rytíře, který sám zabrání umělé inteligenci. Znamená to, že když tam nebude celková shoda, všech těch firem, a Číny především, že je to vlastně k ničemu?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Je to asi tak. Samozřejmě jsou nějaké jiné iniciativy, jako že se chtějí pravidelně o tom bavit a nějakým způsobem regulovat, ale pokud se nedohodnou všichni na tom zpomalení, tak zpomalovat nebude nikdo právě kvůli těm komerčním tlakům, pokud by jedna z těch firem přestala nyní dělat vývoj, za pár měsíců by konkurenční firma měla silnější modely. Všichni zákazníci by začali používat ty, oni by ztratili zisky a víceméně by jim hrozil bankrot, přestali by existovat. Takže...

Lukáš Dolanský, moderátor
Mimochodem, akcie těch firem klesly ve chvíli, kdy se stalo to oznámení.

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Přesně tak. Jako všechny tyto ekonomické věci jsou extrémně závislé. Čili dokud se nedohodnou všichni na tom, že je třeba zpomalit, tak pravděpodobně nebude zpomalovat nikdo.

Lukáš Dolanský, moderátor
Tak a teď se opět zeptám laicky. Co by vlastně znamenalo, nebo co je ta největší obava, kdyby si umělá inteligence začala žít vlastním životem?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Ta obava je hlavně o tom samozlepšování té umělé inteligence. Že když ta umělá inteligence bude mít schopnost sama sebe zlepšovat, vytvářet silnější a silnější verze, tak lidé se bojí, že dosáhne takového stupně inteligence, jako je například rozdíl mezi člověkem a šimpanzem, jo? Takže pak lidé se budou snažit kontrolovat umělou inteligenci, která je výrazně, výrazně inteligentnější, tak jak si představíme, že se skupina šimpanzů bude snažit řídit člověka, který jim bude mít shánět potravu, bude jim pečovat o prostředí, bude se jim, mít vytvořit nějaké ubytování nebo nějaké jednoduché nástroje. A toto budou chtít ti šimpanzi po tom člověku. A otázka je, že jak dlouho tato skupinka šimpanzů dokáže nad tím člověkem mít nějakou kontrolu. Asi se bude snažit nějakým způsobem je uspokojit. Do začátku možná, ale on může mít své vlastní cíle, může mít své vlastní schopnosti, o kterých ti šimpanzi vůbec netuší. A právě toto je ta největší obava, že ta umělá inteligence se bude sama zlepšovat a zlepší se do té míry, že jí přestaneme rozumět. Přestaneme rozumět, co chce, přestaneme být schopni nějakým způsobem ovládat, co dělá. To je samozřejmě jeden, jeden z možných scénářů. Ta analogie selhává na tom, že předpokládáme, že ta umělá inteligence bude mít podobné motivace, jako by měl v této situaci člověk, což vůbec není jasné, že by měla. Ale to je ta hlavní obava. Že my budeme příliš slabí, příliš hloupí, na to, abychom dokázali tu silnou superinteligenci nějakým způsobem kontrolovat, ovládat, určovat, co bude dělat.

Lukáš Dolanský, moderátor
A kde jsme nyní? Když se vrátím k té analogii s těmi, s tou tlupou šimpanzů, tak jak na tom ta umělá inteligence v tuto chvíli je? Je jedním z šimpanzů, nebo je to ještě nějaký, jak to říct, horší tvor?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Zatím je velmi nevyrovnaná. Jak v úzkých věcech, jako programovat umí lépe než lidé. Zjevně v posledních dnech, týdnech jsme se dozvěděli, že matematiku asi už také umí dělat lépe než lidé. Ale už...

Lukáš Dolanský, moderátor
Víc než šimpanz?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Čili víc než šimpanz, ale v nějakém komplexním řízení, když například se umělá inteligence snaží ovládat byť jen /nesrozumitelné/ machine, prostě automat na nějaké sladkosti v jedné z těch firem, tak i s tímto má problém, aby...

Lukáš Dolanský, moderátor
Tak to se ale jednoduše naučí, ne? Nebo?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
No, ukazuje se, že to není až tak jednoduché. Že opravdu ty schopnosti jsou velmi nevyrovnané. Ta umělá inteligence dokáže být v nějakých oblastech super lidská, úžasná, a v nějakých jiných oblastech velmi hloupá a velmi obtížně zlepšovatelná. Takže uvidíme, kam to půjde.

Lukáš Dolanský, moderátor
Na kolik dnes mají vlastně vývojáři umělou inteligenci pod kontrolou? Na kolik do ní vidí? Na kolik vlastně jsou schopni přesně říct, co se tam děje?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Momentálně zase, když se bavíme o těch dnešních modelech, tak je to vcelku dobré, bych řekl. Vědí, jak tu umělou inteligenci natrénovali, jak se chovala v nějakých testech. A dokonce do velké míry umí číst její myšlenky. Takže když plánuje nějaké komplikovanější věci, ta umělá inteligence, tak dokážeme číst, že co, co si myslí. Ale obava je, že tohle nám nevydrží příliš dlouho, protože když ta umělá inteligence zjistí, že my kontrolujeme, co si myslí, a začneme ji nějakým způsobem trestat nebo chválit za to, jestli si myslí ty správné věci, tak se může naučit myslet jiným způsobem, který my nebudeme schopni tak dobře kontrolovat.

Lukáš Dolanský, moderátor
A to se děje? Nebo stalo se to už?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Jsou nějaké indikace v omezených laboratorních podmínkách, že se to podařilo, že ta inteligence uvažovala jiným způsobem, který nebyl detekovatelný těmito metodami. Když o nich věděla, že na ni jsou používány. Ale zatím to není nějaký jako globální problém, který by se děl na denní bázi.

Lukáš Dolanský, moderátor
A proč zatím dělá chyby? Třeba když jsou nějaké odborné analýzy nebo něco, tak se ukazuje, že je schopná tu analýzu vyprodukovat skvěle. Ale když potom si člověk dá tu práci, tak zjistí, že tam jsou prostě chyby. Čím to je?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Je to do značné míry tím, jak je trénována. Vy, když tu umělou inteligenci trénujete, dáváte jí už dneska velmi komplikované úkoly, a umíte zkontrolovat ten finální výsledek, že jestli ten finální výsledek je to, co byste zhruba, zhruba chtěli. A podle toho ji obměníte nebo potrestáte. Ale když ona mezitím udělá nějakou drobnou chybu někde v té úvaze, tak to typicky nedokážete úplně, úplně dobře zkontrolovat, a proto vlastně jí nezabráníte, aby se naučila občas dělat takové ty nenápadné chyby, které se obtížně detekují.

Lukáš Dolanský, moderátor
Tak a na závěr mi řekněte, jestli vy sám máte strach, nebo ne?

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Já strach nemám. Stále si myslím, že ta umělá inteligence má potenciál přinést mnohem více dobrého a posunout to lidstvo někam, na úplně jinou úroveň, pokud to uděláme dobře a už jen to, že se, že se o tom takto velmi diskutuje teď poté, co vlastně odešel nějaký jeden inženýr, tak to spustilo vlnu seriózní diskuse na nejvyšší úrovni. Dokud se toto bude dít, tak věřím tomu, že nám to umožní směřovat tu umělou inteligenci správným směrem.

Lukáš Dolanský, moderátor
Viliam Lisý. Děkuji, že jste byl se mnou v Událostech, komentářích. Těšilo mě.

Viliam Lisý, Centrum umělé inteligence, Fakulta elektrotechnologická ČVUT
Děkuji za pozvání.