Tak předpokládám, že je docela snadné vložit do toho jazykového modelu příkaz: Odpovídej tímhle způsobem nebo vkládej do odpovědí nějaké myšlenky...
Jan Šedivý, CIIRC
To máte pravdu, ale na druhou stranu nemělo by to být tak snadné, protože ti, kteří provozuji chatboty, tak musejí mít nějaké interní předpisy, podle kterých se schvaluje, jak se do daného bota nebo do daného systému dá udělat něco, čemu říkáme update. Protože v tom procesu toho updatu tam někdo mohl zadat instrukci, která by vedla právě k tomu, že se tam bude zmiňovat obsah, který je nežádaný, neobjektivní nebo vůbec nevhodný pro systém, který v podstatě hlavně odpovídá na dotazy.
moderátor
Jak často se tohle děje? Kolik takových případů jste třeba zaznamenal, když sledujete to dění kolem chatovacích asistentů, kdy se objevily informace o tom, tahle odpověď byla tendenční, řekněme?
Jan Šedivý, CIIRC
Nemělo by se to stávat. Stává se to stále méně často, protože ten vývoj pokračuje a všechny ty firmy, které stroje dělají, tak před těmi 2-3 roky samozřejmě bylo obrovské nadšení a všichni jsme doslova, teď použiju slovo zírali, na to, jak to funguje. I když jsme to předpokládali už před několika dekádami, tak nikdy jsme to nedomysleli až do takovýchto konců, tak všichni byli nadšeni. Ale samozřejmě teď, když už to používají miliony lidí na celé planetě, tak je snaha všech těch výrobců udržet ty systémy tak, aby odpovídaly pokud možno co nejlépe, tak jako třeba média. To znamená, aby informace, které prostřednictvím toho chatbota dostáváte, byly pokud možno verifikované.
moderátor
A pokud máme podezření.... nebo respektive dá se nějakým způsobem poznat z těch odpovědí, které budeme dostávat, že ten systém je vedený, řekněme, že tam jsou nějaké drátky, které ovládají to, co má napsat?
Jan Šedivý, CIIRC
To je velmi dobrý dotaz. V podstatě takový ten hlavní "drátek" je něco, čemu se říká systémový prompt. Každý z těch dotazů, který vy tam dáváte, je obalen poměrně dlouhým textem a v tom textu je napsáno, jak se ten chatbot má chovat. Takže je tam napsáno třeba: Buď milý, odpovídej pokud možno správně, odpovídej stručně a tak dále. Tento systémový prompt v důsledku toho, co se stalo na tom Groku, tak ho firma xAI zveřejnila a můžeme se na to podívat, je to na internetu. Stejně tak třeba Anthropic to zveřejňuje, ale to jsou, myslím, pouze tito dva, kteří to zveřejnili. Tam se můžete podívat, co tam všecko je napsáno. Je tam třeba napsáno, kolik je hodin. Protože ten bot je trénován k určitému datumu a nemá ponětí o současném světě. Takže to je taková instrukce pro toho bota, co má dělat a jak se má chovat a jaký by měl být výsledek.
moderátor
Ale to je asi věc, kterou spíš ocení nějací vzdělanější uživatelé, kteří se v tom orientují. Ale běžný uživatel to pozná z těch odpovědí, aniž by zkoumal ten prompt?
Jan Šedivý, CIIRC
Samozřejmě, že běžný uživatel žádný prompt nezkoumá. To je pro nás, které to zajímá nebo kteří to skutečně děláme. Ale poznat to, to v podstatě nejde. Je to podobné, jako když si koupíte noviny a koupíte si tabloid nebo si koupíte nějaké veřejné médium a musíte o tom začít uvažovat, musíte projevit to kritické myšlení, jak se o tom stále mluví, a pak si můžete říct, ano, to vypadá dobře, to vypadá špatně. Když se budete ptát třeba na otázky z matematiky nebo z fyziky, tak se můžete podívat do nějakých učebnic nebo do nějakých knih, které o dané problematice pojednávají. Je to jako se vším. Nic není stoprocentní. A občas ten stroj, jak se říká, zahalucinuje, to znamená, že tam dá něco, co tam být nemá.
moderátor
Do jaké míry se děje opačná věc? To znamená, že se ten stroj poučí a ví, že třeba tahle odpověď úplně není správná z těch otevřených zdrojů a sám to řekne ,aniž by ho k tomu naprogramovali, sám upozorní, že třeba tahle není úplně korektní.
Jan Šedivý, CIIRC
To je výborný dotaz. Dneska nemáme ještě stroje, které by byly tak říkajíc adaptivní, to znamená, že by se učily z chyb. Protože tu chybu jim člověk musí sdělit. A my zase nevíme, jestli někteří, kteří by chtěli ten stroj přeučit na něco nevhodného, by této schopnosti nevyužili. Ale existuje něco, čemu se říká zrcadlení nebo reflexe. A vy, když použijete chatbota, třeba použijete Open AI, zeptáte se ho na nějaký dotaz, tak pak můžete použít DeepSeek a ze zeptat se DeepSeeku, jestli to, co ten Open AI řekl, je správně. A skutečně ty stroje jsou lepší v tom, že ověřují, jestli ta odpověď je správně, než v tom generování těch odpovědí. Takže v těch úplně nejnovějších tzv. agentních systémech se toho zrcadlení velmi často využívá pro zdokonalení odpovědi.
moderátor
To znamená radíte, když někdo hledá nějaké informace, tak se zeptat znovu. Třeba opravdu je to tak? Z jakých zdrojů si čerpal? Aby se nějakým způsobem utvrdil v té odpovědi...
Jan Šedivý, CIIRC
Pochopitelně to nejdůležitější je mít selský rozum. Protože na selském rozumu je nakonec založeno úplně všechno, i ty chatboty. Je prostě potřeba se nad tím zamyslet. Je potřeba ten dotaz třeba přeformulovat nebo pokud možno do toho dotazu, technicky se tomu říká prompt, tak ten prompt napsat tak, aby byl pokud možno co nejvíce definovaný. Je to něco podobného, jako když jsme začínali s Googlem, tak se lidé učili správně dotazovat. A když víte, co chcete a umíte to správně nazvat, to znamená, použijete ta slova, která to vyjadřují, tak tu odpověď na tom Googlu najdete. A obdobně to je u těch chatbotů. Když ten dotaz správně formulujete, tak dostanete odpověď. A když se na některé ty chatboty podíváte, tak si všimněte, že velmi často se stane, že ten chatbot ten váš dotaz přeformuluje. Na začátku té odpovědi je ta otázka formulována v mém případě daleko lépe.
moderátor
Tak budeme to dál sledovat, jak se budou chatboty vyvíjet, třeba i s Janem Šedivým z Českého institutu informatiky, robotiky a kybernetiky. Díky, že jste byl naším hostem, ať se daří.