* Původně jste studovala počítačovou grafiku, až později jste se přeorientovala na počítačové vidění. Jaký je mezi těmito výzkumnými oblastmi vztah?
— Počítačové vidění je v podstatě inverzní problém k počítačové grafice. Ta se zabývá vytvářením obrázků: máme nějakou reprezentaci objektu, model světa, a snažíme se podle něj vykreslit obrázek tak, aby vypadal jako realistická fotografie nebo skutečný objekt, a to i s ohledem na osvětlení scény a podobně. Počítačové vidění postupuje opačně: máme fotografii nebo jiný vizuální vstup, a snažíme se z něj získat informace. Chceme například rekonstruovat 3D objekt nebo obrázek analyzovat a rozpoznat na něm různé objekty. Ale existuje už mnoho aplikací, v nichž se oba přístupy propojují.
* Například? —
V dnešní době je například velmi populární generovat obrázky metodami umělé inteligence. Zadáte klíčová slova, slovní popis, na jehož základě se obrázek generuje. V tom se oba typy algoritmů propojují. Algoritmy počítačového vidění slouží k tomu, abychom pomocí obrovského množství obrázků v roli tréninkových dat naučili neuronovou síť, jak různé objekty vypadají. A algoritmy počítačové grafiky pak slouží k tomu, aby tato síť na základě zadání vygenerovala obrázek nový.
* To je ale v čase oddělené využití: nejprve trénink, potom generování obrazu. Je někde spolupráce těchto přístupů těsnější?
— Třeba v rozšířené realitě. V ní generujete do prostoru, ve kterém se pohybujete, nějaké virtuální objekty, které musí být správně nasvícené a zakomponované do scény tak, aby působily realisticky. To je úkol počítačové grafiky. Ale abyste se v tom prostoru mohli pohybovat a aby se obraz vašemu pohybu přizpůsoboval, máte na brýlích kamery. Zpracováním jejich záběrů algoritmy počítačového vidění lze určit vaši polohu a orientaci. Systém vytváří 3D model vašeho okolí a díky němu ví, kam do něj nástroji počítačové grafiky virtuální objekty generovat.
* K tomu je třeba zjistit například ohniskovou vzdálenost, vzít v úvahu optické zkreslení objektivu… To je ona "geometrie kamer", kterou se zabýváte?
— Ano. V počítačovém vidění používáme termín kamera. Toto slovo je v češtině i ve slovenštině obvykle vyhrazeno pro přístroj, který snímá video. Ale kamera je pro nás obecně jakékoli zařízení s objektivem, které zaznamenává obraz – ať pohyblivý, nebo statický. Kamery jsou dnes téměř všude. V telefonech je zpravidla hned několik kamer s různými parametry. Slouží nejen k fotografování a natáčení videa, ale čteme jimi QR kódy, odemykáme telefon pomocí detekce obličeje… Kamery se používají v průmyslu ke kontrole výroby, v dopravě, v bezpečnostních systémech, samozřejmě jsou nedílnou výbavou robotů a autonomních aut, v nichž jsou doplněny řadou dalších senzorů, přičemž data z nich také slouží jako vstupy pro počítačové vidění. Informace z takových kamer chceme použít pro přesná měření, abychom například lokalizovali vozidlo v prostoru a vytvořili 3D model jeho okolí, abychom znali jeho vzdálenost a orientaci vůči jiným objektům. Širokoúhlé objektivy ale mají různá zkreslení, dobře je to vidět na rovných liniích, které jsou ve výsledném obraze zakřivené. Takže potřebujeme znát parametry kamer – zkreslení objektivu, ohniskovou vzdálenost… Když kameru zkalibrujeme, můžeme s jejími výstupy mnohem lépe pracovat. Je to problém perspektivní geometrie.
* Když jsem se probíral vašimi články, narazil jsem mimo jiné na práce potýkající se s problémem takzvané klouzavé závěrky (rolling shutter). O co jde?
— S tímto typem elektronické závěrky souvisí řada problémů. V principu jde o to, že obraz není snímán najednou, ale postupně po řádcích, takže do hry vstupuje časový faktor. Tato závěrka je ve většině dnešních kamer, protože je mnohem levnější než globální závěrky. Má extrémně složitý model s řadou parametrů, protože musíte počítat s pohybem během snímání. Pohybující se objekty se kvůli tomu v obraze deformují, protože jejich různé části jsou zaznamenány v různých časech. Způsobuje to potíže například při navigování dronů, které létají hodně rychle, takže efekt je u nich významný a obraz používaný pro určení jejich polohy je výrazně zkreslený.
* Jak řešení problémů geometrie kamer funguje v praxi?
— Už v 18. století existovaly algoritmy, s jejichž pomocí bylo možno pro nějaký konkrétní typ scény vypočítat, odkud se ta scéna snímá. Z obrazu se dala určit poloha malíře. Při řešení problémů geometrie kamer jde obecně o řešení soustav polynomiálních rovnic. Složitost takových soustav závisí na složitosti problému, který potřebujeme vyřešit. Matematické metody, jak toho dosáhnout, jsou většinou známy, ale pro praktické využití jsou často příliš pomalé. Autonomní auto musí mít informace o své poloze okamžitě, nemůže na výsledek čekat. Podobně v rozšířené realitě musí systém neustále znát vaši přesnou polohu, aby věděl, kam v prostoru vykreslit virtuální objekty, s nimiž interagujete. Celé se to musí odehrávat v milisekundách. Ale rychlost je důležitá i v jiných případech. Asi znáte 3D rekonstrukce celých budov nebo i měst. Když takové modely připravujete, musíte provést obrovské množství výpočtů. A je velký rozdíl v tom, zda jednotlivé dílčí systémy zpracujete za sekundu, nebo za mikrosekundu. Pokud takových systémů máte miliony, hraje se o to, zda budete ten model vytvářet hodiny, týdny nebo měsíce.
* Takže se snažíte řešení optimalizovat, aby bylo rychlejší bez významné ztráty přesnosti?
— Ano. Situaci komplikuje i to, že v datech máme různý šum. Například body, které jsme na dvou různých snímcích falešně detekovali jako body zobrazující stejný 3D bod v prostoru a které ve skutečnosti korespondují s jinými 3D body, kupříkladu s rohy dvou různých oken. Takto můžeme získat falešnou představu o trojrozměrném uspořádání snímaného prostoru. Řešení proto musí být dostatečně robustní.
* Jak lze takové optimalizace dosáhnout? Lze to vysvětlit laikovi?
— Možná pomůže analogie. Představte si, že vám někdo zadá úkol určit objem různých objektů, o nichž předem nic nevíte. Vybavil byste se pravítkem, úhloměrem, kružítkem…, abyste byl schopen změřit všechny potřebné parametry – délky stran, úhly, zakřivení. Měl byste obecnou metodu, s níž dokážete vypočítat objem nejrůznějších těles. Ale nakonec byste zjistil, že vám k měření pořád předkládají jenom různé kvádry. Vystačíte si s pravítkem, změříte délky tří stran, vynásobíte a máte hotovo. Bude to jednoduché a rychlé. My postupujeme podobně – hledáme jednoduchá řešení, která nejsou použitelná vždy, ale pro úlohy, které skutečně potřebujeme řešit, stačí. Dávno známé algoritmy jsou příliš obecné – zvládnou vyřešit široké spektrum problémů, ale provádějí při tom výpočty, které nejsou nutné, protože o řešené soustavě předem nic nevědí. Proto jsou pomalé. Naše úlohy mají výhodu v tom, že mají stále stejnou strukturu. Potřebujeme například určit polohu kamery. Řešení má podobu soustavy několika rovnic o několika neznámých, ale ta soustava je stále stejná. Mění se pouze koeficienty. Takže můžeme vytvořit algoritmus, který bude konkrétní typ soustavy rovnic řešit velmi efektivně.
* Jste spoluautorka prvního automatického generátoru efektivních "minimal solvers" – vlastně nevím, jak to přeložit. To jsou právě ty algoritmy, které minimalizují výpočetní náročnost?
— Je to trochu jinak. "Minimal solver" se opravdu obtížně překládá. Zjednodušeně řečeno k řešení modelu kamery mohu použít desítky bodových korespondencí, které zpracovává soustava rovnic. A čím více vstupních dat, tím ty rovnice mohou být jednodušší, například čistě lineární, takže řešení je snadné a rychlé. Není třeba používat rovnice vyššího řádu popisující vnitřní strukturu těch dat. Tento přístup se uplatňoval dříve. Ale problém takových algoritmů je v tom, že čím více dat použiji, tím roste pravděpodobnost, že budu pracovat s falešnými korespondencemi a získám úplně špatný výsledek. Myšlenka minimal solvers spočívá v tom, že se snažíme použít minimální množství dat, které potřebujeme k určení modelu příslušné kamery, i za cenu nasazení složitějších rovnic. Výpočet je sice náročnější, ale je robustnější a nemusíme ho tolikrát opakovat. Pokud bychom přidali třeba tři body navíc, abychom mohli použít jednodušší rovnice, museli bychom počet opakování výpočtu zvýšit třeba tisíckrát, abychom měli jistotu, že se nám tam nevloudily nějaké falešné korespondence. Vhodným snížením počtu bodů tak ve výsledku ušetřím čas. Proto se tomu říká minimal solver – optimalizuje celkovou rychlost výpočtu.
* A ten automatický generátor si můžu představit jak?
— To je taková legrační historka. V době, kdy jsem přišla do pražského Centra strojového vnímání, vědci ze Švédska vytvořili a publikovali první velice efektivní algoritmy na řešení několika takovýchto minimálních problémů z oblasti geometrie kamer. Nebylo ale úplně jasné, jak k nim přesně dospěli. Můj školitel Tomáš Pajdla, který se geometrií kamer zabýval, chtěl, abych se jejich algoritmy pokusila rozkrýt a podobnou metodu použila pro řešení dalších problémů. Po krátké době jsme přišli na postup, jak takové efektivní algoritmy pro nové problémy generovat. Bylo to ale takové poloautomatické, využívali jsme při tom naše matematické znalosti a existující matematické programy. V té době jsem spolupracovala s kolegou, který se zabýval praktickými aplikacemi. A on mi řekl: "Mohl bych ti vždycky předložit problém, ty najdeš řešení a já ho pak použiju. Ale nešlo by to nějak zautomatizovat, abych tě nemusel pokaždé otravovat? Že bych své rovnice vložil do nějaké černé skříňky a ona by mi vyplivla vhodný algoritmus?"
* A ono to šlo…
— S kolegy jsme díky tomu pochopili, že se to dá nějak automatizovat. Ne úplně všechno, protože je k tomu nezbytná určitá expertní znalost. Musíte vědět, jak problém správně naformulovat, jak ty rovnice parametrizovat. Ale pak to mohu vložit do automatického generátoru, který mi navrhne vhodný algoritmus. Tento generátor výrazně posunul vývoj efektivních algoritmů pro geometrii kamer. Začali ho využívat různí vědci, kteří díky němu nemuseli vědět, jak přesně to funguje. Na konferenci jsem potom potkala jednoho ze Švédů, kteří vyvinuli ty první algoritmy. Zastavil se u mého posteru a v legraci povídá: "Proč to publikujete? Lidé nás už nebudou potřebovat, když jim vše vyřeší váš generátor." Ale není to úplně pravda. Člověk i tak musí vědět, co dělá. Pokud vstupní rovnice předem vhodně zpracujete, získáte možná desetkrát rychlejší algoritmus. Úplně automatizovat se to nedá.
* S praktickým využitím vámi vyvíjených metod souvisí i možný komerční úspěch. Vašim kolegům se přesně tohle podařilo, že?
— Když jsem začínala pracovat na algoritmech pro počítačové vidění, spolupracovala jsem se slovenskými kolegy, kteří stejně jako já studovali na Matematicko-fyzikální fakultě v Bratislavě a potom přešli do Centra strojového vnímání na ČVUT v Praze. Vytvořili program pro tvorbu 3D modelů z fotografií a založili start-up Capturing Reality, dnes velmi úspěšný – koupila ho společnost Epic Games. Jejich software se používá v řadě hollywoodských filmů, v aplikacích rozšířené reality, v herním průmyslu, ale i v dalších odvětvích, například při digitalizaci kulturního dědictví, ve stavebnictví či architektuře. Je úspěšný právě proto, že je extrémně rychlý. Když jste dříve chtěli vytvořit 3D model z tisíců fotografií, trvalo to superpočítači desítky hodin nebo několik dní. To mimo jiné znamená, že pokud se v snímkování stala nějaká chyba, zjistili jste to až po několika dnech a mohlo se stát, že se snímaný objekt mezitím změnil a pořídit nový snímek už nebylo možné. Dnes zpracujete tisíce fotek v běžném počítači velmi rychle, takže případné chyby můžete obratem napravit.
* Tehdy jste zvažovala, jestli se k nim máte přidat, nakonec jste se ale rozhodla zůstat v akademické sféře. Nelitujete?
— Určitě to člověka napadne, protože ten úspěch je opravdu ohromný. Ale svého rozhodnutí nelituji. Viděla jsem, kolik je to stálo stresu a obětí, protože firmu vybudovali bez jakýchkoli investic zvenčí, jen vlastním úsilím. A start-up sice prodali, ale to neznamená, že stres skončil a oni teď mohou jen popíjet drinky na pláži. Při podobných akvizicích to bývá tak, že zakladatelé firmy pokračují pod novým majitelem. Jsou teď možná ještě pod větším tlakem, aby svůj úspěch rozvíjeli. Já jsem pak odešla jako postdok do Microsoft Research Cambridge. To je sice výzkumné oddělení, ale přece jen ve velké korporaci. Měla jsem při výzkumu volnou ruku, ale pravidelně jsem musela hlásit pokroky, a přestože na mě nikdo vysloveně netlačil, cítila jsem, že cílem je mít komerčně využitelné výsledky. Tam jsem pochopila, že akademická půda mi vyhovuje víc. Více mě baví základní výzkum a svoboda s ním spojená.
* Ale i v akademické sféře jste pod tlakem výsledků, byť se měří jinak než ve firmě.
— Tady si stres vytvářím do značné míry sama. Je moje rozhodnutí poslat na konferenci osm příspěvků, tři týdny kvůli tomu nespat a pracovat na milionu věcí najednou. I když je pravda, že mám studenty, vůči nimž mám zodpovědnost a nemůžu jim říct, že jejich práce teď počká, protože se mi nechce dotahovat tolik článků najednou. Není to už úplně na mně, ale přece jen je ta volnost větší než v komerční sféře.
* A co administrativa spojená s granty a s vykazováním výsledků?
— Naštěstí je na našem pracovišti tato administrativa dobře zvládnutá. Máme specializovaný tým, který s tím pomáhá. I když je pravda, že s grantem Junior Star od GA ČR začínám cítit, že administrativy je přece jen víc, než když jsem spolupracovala na grantech, které vedl někdo jiný.
* Říkala jste, že je pro vás důležité zůstat v základním výzkumu a nebýt pod komerčním tlakem. Ale vaše výsledky ke komerčním aplikacím i tak směřují. Například ke zmíněnému problému klouzavé závěrky jste spoludržitelkou patentu. Motivuje vás možnost praktického využití, nebo je to pro vás jen nepodstatný vedlejší produkt výzkumu?
— Rozhodně je to skvělá motivace. Když jsem studovala matematiku, rozhodla jsem se specializovat na počítačovou grafiku, přestože mi šly i čistě teoretické obory. Profesoři mě přesvědčovali, že mě na grafiku bude škoda. Ať jdu raději na analýzu, algebru nebo numerickou matematiku. Ale mě vždy lákaly matematické aplikace. To, co dělám nyní, je vysoce aplikovaná matematika. Žádné nové teorie, je to soubor různých heuristik a adaptací matematických nástrojů na řešení konkrétních problémů. A právě kvůli těm aplikacím mě to strašně baví. Motivuje mě vidět, že naše řešení nějakého problému funguje v praxi. Že je rychlejší, přesnější, robustnější než předchozí postupy. Na aplikace kladu čím dál větší důraz. Dříve jsem vyřešila nějaký teoretický problém a říkala si, že by se to třeba mohlo někomu hodit v praxi. Teď k tomu přistupuji obráceně: vyhledávám praktické problémy a přemýšlím, jak by se daly vyřešit.
* Jaké problémy se pokoušíte vyřešit?
— Například efektivní lokalizaci kamery v prostoru, což je důležité třeba pro autonomní auta nebo pro rozšířenou realitu, jak jsme o tom už mluvili. Máme na to různé druhy algoritmů a nedá se říct, že jeden je vždy lepší než jiný. Záleží na konkrétní situaci. Autonomní auto nebo robot pro svou lokalizaci standardně používá jeden algoritmus. My se teď v rámci grantu GA ČR Junior Star kupříkladu snažíme najít způsob, jakým by se auto na základě vstupních dat samo rozhodlo, jaký algoritmus použít. Kombinujeme klasické matematické metody s využitím neuronových sítí, které v rozhodování mohou pomoci. A v poslední době se zabýváme také zachováním soukromí při lokalizaci.
* Mohla byste to rozvést? Jde o krádeže dat?
— Když na obrazová data z autonomních aut nebo přístrojů pro rozšířenou realitu aplikujeme příslušné algoritmy a spustíme výpočty, musíme ohlídat, aby to pro uživatele bylo bezpečné. Aby v to měl důvěru a nebál se, že se obrazová data z jeho kamery nebo data o jeho poloze dostanou do nepovolaných rukou. Podobně je třeba zajistit bezpečnost serveru, který někde udržuje 3D model toho prostoru. Představte si to na příkladu vojenské základny. Nesmí se stát, že se k serveru připojí nepřítel a z modelu zjistí, kde se nachází jaká vojenská technika.
* To je také úkol pro vás? Jak zabezpečení serveru souvisí s počítačovým viděním?
— Můžeme pomoci nalezením nových způsobů, jak 3D model na serveru uchovávat. Jak ho reprezentovat, abyste z něj stále mohli získávat potřebné informace, ale aby byl pro útočníka nesrozumitelný. Znamená to nepracovat s bodovými korespondencemi jako dříve. Nemůže to být "mračno bodů", z nichž by útočník snadno vyčetl uspořádání prostoru. Místo bodů například vedete každým bodem náhodnou čáru. Pak vidíte jen změť všemi směry jdoucích čar, ze které nic nepoznáte. A my musíme mít algoritmy, které zvládnou určit polohu nikoli z bodů, ale právě z takových čar.
* Jako biolog v tom vidím další příklad evolučních závodů ve zbrojení, podobně jako soupeření antivirů se softwarovými viry. Vždy je jen otázka času, kdy stávající obranu někdo prolomí a donutí vás zabezpečení ještě zvýšit.
— Nedávno jsme s kolegy publikovali článek, který ukázal, že riziková je i úplně základní vlastnost podobných systémů – když na server pošlete nějaká obrazová data, on vám poskytne údaje o jejich lokalizaci. O tom, z jaké pozice kamera danou scénu zachytila – z jaké vzdálenosti, pod jakým úhlem… Inspirovaly nás články a systémy, které se prezentují jako bezpečné, protože předpokládají, že jim stačí zajistit bezpečnost způsobu, jakým je obrázek a 3D model reprezentován, jak jsem o tom mluvila před chvílí.
* A nestačí?
— Právě že nestačí. Útočník nemusí mít přístup ke zdrojovým obrázkům a nemusí rozumět změti čar, kterou ze serveru získá. Útočníkovi stačí, že mu server pošle lokalizaci dat, která na něj sám nahraje a která s utajenou scénou přímo nesouvisejí. Pokud útočník ví jen to, že na serveru je reprezentace nějakého vojenského objektu, může server bombardovat obrázky a videi nejrůznější vojenské techniky, které třeba stáhne z internetu. A jakmile mu server začne vracet nějaké konzistentní informace, bude je schopen asociovat s těmi daty, která se pokouší získat. Může tímto nepřímým způsobem přijít na to, jaká technika a kde přesně se na vojenské základně nachází. Tohle je nyní nový směr, který se začíná rozvíjet, protože donedávna nikoho nenapadlo, že by to mohlo představovat nějaké riziko.
* Matematika většinu studentů na střední škole spíše odpuzuje, protože kvůli tomu, jak se učí, působí jako teoretická disciplína bez praktického využití. Není to škoda?
— Máte naprostou pravdu, že by se při výuce matematiky měly ukazovat její aplikace. Dokonce i na univerzitě jsme měli řadu předmětů čistě teoretických. Měli jsme například teorii matic, spousty různých rozkladů, ale nikdo nám úplně neukázal, k čemu je to dobré. Teprve když jsem se začala zabývat počítačovým viděním, zjistila jsem, že ty teoretické znalosti mají praktický smysl.
* Vás ale matematika bavila od dětství. Kde se to zaujetí vzalo?
— Já jsem měla vztah k matematice z rodiny. Oba rodiče byli středoškolští učitelé, máma učila fyziku a chemii, táta matematiku, deskriptivní geometrii a informatiku. Už na základní škole mi matematika šla, řešila jsem různé logické příklady, hlavolamy, účastnila se matematických olympiád. Popravdě to byla i příležitost, jak se občas ulít ze školy. Když jsme psali písemku z matematiky, měla jsem vše poměrně rychle vyřešené a ve druhé části hodiny jsem posílala spolužákům řešení. Ale učitel si toho po nějaké době všiml a často mě pak vyhodil z hodiny s tím, že už to mám stejně hotové. Nic nepomohlo moje naléhání, že "si to chci ještě zkontrolovat". Kromě matematiky mě zajímalo i umění, bavila mě výtvarná výchova a fascinovaly mě filmy od Pixaru. Když jsem zjistila, že se na bratislavském Matfyzu dá studovat počítačová grafika, byla to pro mne jasná volba. Teoretickou matematiku bych studovat nešla, ta mě nikdy nelákala.
* A jak se vlastně stalo, že jste se od počítačové grafiky přesunula k počítačovému vidění?
— Když jsem v Bratislavě začala dělat doktorát z počítačové grafiky, můj tehdejší partner se věnoval počítačovému vidění a dostal místo v Praze. Šla jsem se s ním podívat do Centra strojového vnímání a tam jsem se seznámila s panem profesorem Václavem Hlaváčem a s kolegou Tomášem Pajdlem. Centrum na mě udělalo velký dojem, působili v něm světově uznávaní odborníci a měli opravdu působivé výsledky. Panu profesoru Hlaváčovi jsem vyprávěla o svém vzdělání a zájmech a on ve mně asi viděl nějaký potenciál, protože za dva dny mi zavolal a zeptal se mě, jestli bych do Centra nepřijela ještě jednou. Že by se mnou rád probral, zda bych se nechtěla věnovat počítačovému vidění.
* Se zpožděním si uvědomil, že byste se na to mohla hodit?
— Později jsem se dozvěděla, že to asi bylo i na základě telefonátu s Milanem Ftáčnikem – bývalým slovenským ministrem školství a vedoucím naší katedry, který se také zabýval počítačovým viděním. Ten mu prý řekl, že udělal velkou chybu, když mi hned nenabídl práci. Že bych pro ně mohla být se svým matematickým talentem zajímavá. Druhý den jsem si koupila lístek do Prahy a večer jsem se vracela s podepsanou pracovní smlouvou – už ji pro mě měli připravenou. Byla to od pana profesora Hlaváče dobrá strategie, předložit mi to jako hotovou věc, protože jsem velmi nerozhodný člověk a ke změně oboru bych se jinak nejspíš neodhodlala. Takový dobrodruh nejsem. Ale ani trochu nelituji.
RNDr. Zuzana Kúkelová, Ph. D. (*1981) Vystudovala počítačovou grafiku na Univerzitě Komenského v Bratislavě (2005). Doktorát z matematického inženýrství se zaměřením na algebraické metody v počítačovém vidění získala na Fakultě elektrotechnické ČVU T v Praze (2013), na jejíž katedře kybernetiky nyní působí. Jako postdoktorandka pracovala v letech 2014–2016 ve výzkumném centru Microsoft Research Cambridge. Delší pracovní pobyty absolvovala i v Národním ústavu pro informatiku v Tokiu, spolupracuje s kolegy z Japonska, USA, Švýcarska, Švédska nebo Finska, přednáší na konferencích po celém světě. Zabývá se počítačovým viděním, geometrií kamer a kombinováním algebraických metod se strojovým učením. Důraz klade na praktické aplikace, její výsledky se uplatňují např. v 3D rekonstrukcích, v systémech pro rozšířenou realitu, v autonomních autech nebo v robotice. Je řešitelkou grantu Junior STAR Grantové agentury ČR s názvem Nová generace algoritmů pro řešení problémů geometrie kamer. V roce 2023 získala Cenu Neuron pro nadějné vědce v oboru computer science. S německým partnerem vychovává dvouletou dceru.