Někteří lidé mají obavy z rizik využívání umělé inteligence ve školách. Nečasová, která o umělé inteligenci hovoří jak s rodiči, tak pedagogy, poznamenala, že mezi časté obavy patří „hloupnutí“ dětí a společnosti, učitelé často přidávají argument, že se s pomocí AI bude podvádět. „Já si myslím, že to je hlavně o tom, jakým způsobem umělou inteligenci do vzdělávání implementujeme. A my na to v AI dětem vytváříme dlouhodobě rámce a sledujeme a testujeme, že pokud je aktivita dobře didakticky postavená, tak to může skutečně být přínosem pro děti, zejména právě v individualizaci nebo v podobných věcech,“ řekla Nečasová. Ta také upozornila na problém, o kterém se moc často nemluví. U dětí se objevují případy navázání emocionálních vztahů s chatbotem. A jejich počet roste. „Když to třeba porovnáme, tak v Google vyhledávání lidi běžně položí 16,4 miliardy dotazů denně. A jenom na platformě Character AI, kterou děti donedávna ještě mohly používat ve věku od 13 let, ale díky mediálnímu tlaku se to změnilo na od 18 let, tak tam byla asi desetina dotazů. To jsou obrovská čísla a víc jak polovina těch konverzací má sexuální kontext,“ vysvětlila Nečasová. Tohoto trendu se obává hlavně u ohrožených skupin, jako jsou děti a senioři. Je potřeba jim ukazovat, že se jedná jen o stroj, který nemá emoce.
Moderátor tak položil otázku, zda tohle není dostatečně silný důvod pro omezení umělé inteligence. Kursch ale říká, že rizika hrozí i jinde. „Je třeba si uvědomit, že když budu mít svého osobního psychologa, tak mě může taky nějakým způsobem špatně ovlivnit. Když budu používat jinou technologii, spousta lidí dává informace tam, kde je možné je odcizit. Ale to je stejné, když si budu psát deníček. Když ho dobře nezabezpečím, někdo mi ho vezme, tak to může zneužít. Všechno se dá využít i zneužít,“ poznamenal Kursch. K tomu dodal, že by se nyní spíše zaměřil na prevenci než na regulaci. Naučit uživatele, že není dobré všemu slepě věřit nebo sdílet data v neověřené aplikaci. Regulace by podle Nečasové byla potřeba u e-společníků. „Já nesouhlasím s tím, že to je jako deníček, protože to je prostě něco, co mi leží doma, ale tady ta data vlastně dávám úplně všanc,“ řekla. AI dětem pořádalo webinář pro 130 pedagogů, který upozorňoval na situace, kdy se děti mohou emočně sblížit s chatbotem. Jak ale později zjistili, ve výuce se to neobjevilo. Nečasová proto říká, že snaha o vzdělávání se míjí účinkem.