Motivace

Několik měsíců jsem lektorovala čtyřdenní kurzy umělé inteligence, ale neměla žádný mechanismus pro to, jak hodnotit jejich výsledky. Jak vypadá úspěšný absolvent? Odnesli si studenti to, co jsem jim chtěla předat?

Centrální dotazník zpětné vazby se skládal v podstatě pouze z otevřených otázek, ze kterých jsem se dozvěděla jen strohé nicneříkající informace jako přiměřená náročnost, zajímavý obsah. Chvíli jsem experimentovala se závěrečným projektem, ovšem vzhledem k velikosti skupiny a nedostatku času nebyl prostor dát každému studentovi dostatečnou zpětnou vazbu a chyběla mi metrika pro jejich hodnocení.

Volba metody

Začala jsem výběrem vhodné metody evaluace. U učení zaměřené na proces, kdy si mají studenti odnést spíše dovednosti a způsob myšlení, než vědomosti či jasně hmatatelný výtvor, ale není lehké změřit výsledky krátkou písemkou. Vědomostní test by neměřil schopnost aplikovat znalosti v praxi. Výsledek práce s AI nástrojem bude mít nedostatky spíše ve stylistické rovině. U výtvorů mimo můj kruh zájmů ani nejsem schopna hodnotit jejich faktickou správnost.

Volba padla na sebehodnotící dotazník s pětistupňovou škálou na začátku a konci kurzu. Sebehodnocení sice není nejpřesnější možnou metrikou, záleží třeba na sebedůvěře ve vlastní schopnosti a může při něm docházet k podhodnocování nebo nadhodnocování svých schopností. Je to ale rychlý, jednoduchý a měřitelný způsob, jak získat hrubou představu o úrovni studentů.

Krok zpět - stanovení cílů

Při tvorbě otázek do dotazníku jsem ale narazila na hlubší problém. Kurz neměl stanovené vzdělávací cíle, které by byly dostatečně specifické a měřitelné. Oficiální osnova kurzu je zaměřena spíše na schopnost ovládat konkrétní nástroje, ale konkrétní způsob myšlení či kompetence v ní nejsou zahrnuty.

Vytváření vzdělávacích cílů zpětně byla větší překážka, než jsem předpokládala a v časové tísni jsem je ani nezvládla všechny formulovat ke svojí spokojenosti. Dohnalo mě tak půlroční vyučování "podle citu", kdy jsem již spoustu mechanismů měla zautomatizovaných a bylo těžké si je zpětně rozložit do původních záměrů a cílů.

Tabulka: Příklad původní osnovy a nově formulovaných vzdělávacích cílů.

Neměla jsem ovšem dost času napasovat otázky dostatečně přesně na vzdělávací cíle, otázky jsem tedy směřovala spíše k obecné AI "gramotnosti", než na konkrétní aktivity nebo nástroje v kurzu. Část otázek byla inspirovaná AI kompetencemi od Bořivoje Brdičky.

Podoba dotazníku

V pre-testu se první otázka ptala na zkušenosti s umělou inteligencí, resp. jak často ji studenti využívají. (Nikdy, párkrát, pravidelně.) Ústřední částí obou testů byla Likertova škála o deseti otázkách s pěti stupni odpovědí. (Zatím nevím; Tuším, ale nerozumím; Mám základní představu; Cítím se jistě; Zvládnu vysvětlit ostatním). Na závěr jsem se ptala na očekávání (Co se v kurzu chcete naučit?). V post-testu pak na highlight (Co nejužitečnějšího jste se na kurzu naučili?) a prostor pro zlepšení (Kde ve svých schopnostech vnímáte mezery?).

Tabulka: Výroky z dotazníku, u nichž studenti zaznamenávali svou sebedůvěru na pětistupňové škále.

Dotazník byl studentům podáván v papírové podobě. Hlavním důvodem byla snaha nepřehltit je ihned z počátku širokou škálou technologií - na kurz často chodili nepokročilí uživatelé počítačů a papírová forma pro ně byla příjemnější. Snadno se tak zajistilo i spárování pre-testů a post-testů. Jedinou nevýhodou papíru tak zůstalo složité přenesení do digitální podoby ke zpracování.

Výsledky kvantitativní části

Odpovědi jsem získala od celkem 40 účastníků napříč třemi kurzy, které běžely v dubnu a květnu 2025. Kurzů se zúčastnili zejména učitelé základních škol v obcích do 2000 obyvatel, v zanedbatelném počtu případů pak ostatní profese.

Dle odpovědí na otázku Jaká je vaše zkušenost s AI nástroji? je dělím na začátečníky (Nikdy jsem AI nepoužíval/a), nezačátečníky (Zkoušel/a jsem to párkrát) a pokročilé (Používám AI pravidelně).

Kde studenti vidí své největší mezery před kurzem?

Před začátkem kurzu si účastníci nejméně věřili v oblasti bezpečného a férového používání AI. Na výrok Vím, jak používat AI bezpečně a fér (např. ohledně soukromí a autorských práv) neodpověděl ani jeden účastník, že se alespoň cítí jistě.

Podobně nízká sebedůvěra panovala i v tvořivé práci s AI – pouze 5 % účastníků si věřilo, že dokážou s pomocí AI tvořit nové věci jako dokumenty, obrázky či nápady. Třetí největší mezerou bylo povědomí o tom, jak AI používají ostatní s pouhými 8 % jistých odpovědí.

V jakých oblastech si po kurzu studenti nejvíce či nejméně věří?

Po absolvování kurzu si účastníci nejvíce věří v základní dovednosti práce s AI:

• 95 % účastníků si je jistých, že dokážou zadat jasný prompt (průměr 4,28/5)
• 88 % věří, že s AI dokážou dojít ke smysluplnému výsledku (průměr 4,08/5)
• 83 % má dobrý přehled o možnostech AI asistenta (průměr 4,08/5)

Naopak nejnižší sebedůvěra zůstává v oblastech kritického myšlení a ověřování informací:

• Pouze 48 % účastníků si je jistých, kdy mohou důvěřovat informacím od AI a kdy je raději ověřit
• Stejných 48 % má přehled o tom, jak AI používají ostatní
• 58 % si věří, že dokážou poznat a řešit chyby, které AI udělá

V jakých oblastech dochází během kurzu k největšímu/nejmenšímu posunu?

Největší nárůst sebedůvěry proběhl zejména v oblastech samotné práce s umělou inteligencí - přehled o možnostech AI (+70 %, výrok Rozumím, co je to AI asistent a co všechno se s ním dá dělat.), schopnost AI efektivně používat (+65 %, výrok Umím s AI komunikovat tak, abych dosáhl/a smysluplného výsledku.; + 60 %, výrok Věřím, že zvládnu AI asistentovi zadat jasný a srozumitelný dotaz (prompt).)

K nejmenšímu posunu došlo právě v otázce důvěry ve správnost odpovědí (+48 %, výrok Když AI udělá chybu, vím, jak to poznat a jak na to reagovat.; +38 %, výrok Vím, ve kterých případech mohu informacím od AI důvěřovat a kdy je lepší je ověřit.)

Mají předchozí zkušenosti vliv na míru dovedností na konci kurzu?

Pokročilí uživatelé sice dosahují na konci kurzu nejvyšších hodnot sebedůvěry (průměr 4,27/5), ale zaznamenávají nejmenší posun (+0,68 bodu oproti průměru +1,5).

Začátečníci sice končí s nižší celkovou sebedůvěrou (průměr 3,68), ale jejich posun je největší – +2,20 bodu. Nezačátečníci se pohybují někde uprostřed – končí s průměrem 3,83 a posunem +1,42 bodu.

Data tak ukazují silnou nepřímou úměru: čím výše někdo začínal, tím menší pokrok zaznamenal (korelace -0,79).

Výsledky kvalitativní části

Očekávání od kurzu

Začátečníci a nezačátečníci ve velkém volají po využití AI v praxi, jak AI použít ve výuce či využití v běžném životě. Pokročilí taková očekávání v podstatě neuvádějí. V menší míře pak všechny skupiny jmenují konkrétní úkony, ve kterých by chtěli od AI pomoci, typicky tvorba příprav do hodin.

Nezačátečníci a pokročilí pak často volají po zdokonalení svých stávajících schopností - urychlení práce s AI, zlepšení promptování a chtějí objevit nové AI nástroje, které dosud neznají. Tyto skupiny také zajímá oblast bezpečnosti používání AI, ověřování jejích tvrzení či rozpoznání generovaného obsahu.

V jednotkách odpovědí pak bylo zmíněno například předání informací dalším osobám (pravděpodobně specifikum učitelské profese), touha pochopit nový trend (začátečníci), nebo pochopení principů, na nichž AI stojí.

Co nejužitečnějšího jste se naučili?

Studenti v odpovědích zmiňovali různé typy výstupů, které byly na kurzu představeny (překvapivě nejméně často zmiňují textové výstupy), případně ocenili přehled nástrojů, které mohou využívat. Začátečníci a nezačátečníci pak často zmiňují rozšíření obzorů a přehled toho, co vše lze s AI tvořit.

V menší míře pak zmiňují formulování dotazů pro textové chatboty, nebo konkrétní příklady uplatnění při přípravě výuky a zasazení AI do bezpečnostního a budoucího kontextu.

Kde mají po kurzu stále mezery?

Nejčastěji studenti zmiňují všeobecné mezery a nutnost procvičení. Často se bojí, že nezvládnou rozpoznat generovaný text, obrázek či video. Ze všech probraných technologií vnímají, že mají nejčastěji mezery ve tvorbě avatarových videí.

Co jsem si odnesla

Příliš záleží na vstupních schopnostech

Předpokládala jsem, že bude rozdíl v přidané hodnotě mezi účastníky, kteří AI nikdy nepoužívali a těmi, co s ní pracují pravidelně. Překvapilo mě ovšem, jak velký je. Pro zkušenější uživatele je tedy přidaná hodnota kurzu výrazně menší a z kurzu si odnáší výrazně méně. Reakcí na to může být například větší příklon k diferencované výuce.

Důvodem ovšem může být například i nedostatečná škála, která cílí spíše na začátečníky - pokročilí uživatelé měli šanci svůj posun měřit spíše jen u výroků ohledně bezpečnosti či autorském právu. Dotazník by ale mohl více cílit na témata, ve kterých by i pokročilí uživatelé mohli zaznamenat posun.

Absolventi nepoznají, kdy AI udělá chybu

Nejvýznamnější poznatek vidím u výroků Když AI udělá chybu, vím, jak to poznat a jak na to reagovat. a Vím, ve kterých případech mohu informacím od AI důvěřovat a kdy je lepší je ověřit. U obou sice dochází po kurzu k nemalému posunu (1.62 resp. 1.35 bodu, oproti celkovému průměru 1.46), ovšem tento posun zdaleka nevnímám, jako dostatečný.

Před kurzem uvedlo 65 % resp. 58 % studentů, že této oblasti nerozumí. Po kurzu se v ní cítilo jistě ale jen 58 % resp. 48 %, což jsou nejnižší hodnoty ze všech uvedených výroků.

Výroky v dotazníku nereflektují obsah kurzu

Nízké hodnoty u otázky Mám představu, jak ostatní lidé používají AI v běžném životě nebo práci. reflektují to, že se tomuto tématu věnuji v kurzu spíše okrajově a u samotné tvorby dotazníků jsem zvažovala, jestli ji vůbec zahrnout.

Některé výroky jsou formulovány vágně (... AI udělá chybu - faktickou či technickou?) a dostatečně nereflektují obsah kurzu. V další verzi přidám otázky na konkrétní nástroje či tématické bloky.

Otevřené otázky nepřináší dostatečnou hodnotu

Doufala jsem, že v otevřená otázka směřující na očekávání mi dá jasný směr, kterým mám případně kurz přizpůsobit. Nedošlo mi, že začátečníci nemají přehled o tom, co by vlastně po AI asistentech vůbec mohli chtít. Na otázku jsem tedy dostávala spíše generické a obecné odpověďi, které mi ve finále nepřinesly jakýkoliv užitek. Přizpůsobení kurzu jsem tedy začala řešit spíše až průběžně po tom, co se studenti s nástroji seznámili.

Sebehodnocení není spolehlivé

Už při výběru metody jsem si byla vědoma slabší stránky sebehodnocení - studenti mohou (a budou) podhodnocovat či nadhodnocovat své schopnosti. Pro první verzi jsem se rozhodla tento problém nijak neadresovat, do budoucna by bylo bylo lepší zahrnout například retrospektivní pre-test právě pro zjištění možného nad/podhodnocení výchozí úrovně.

Nemusím se bát délky dotazníku

Bála jsem se zahltit studenty sáhodlouhým dotazníkem a ptát se na příliš věcí. Překvapilo mě, jak málo času vlastně dotazník zabral a nyní už bych se nebála jej udělat delší a hlídat si více proměnných. (Např. jak moc studenti s AI pracovali mimo samotný kurz.)

Příště lépe?

Úspěšný absolvent si věří v základní práci s AI, ale stále má rezervy v kritickém přístupu k jejím výstupům a možná i v dalších oblastech, které dotazník nepokryl. Studenti si odnášejí hlavně praktické dovednosti, méně už schopnost rozpoznat, kdy AI chybuje.

I tak mám cenné informace pro další běhy kurzu – více se zaměřit na ověřování informací, diferencovat výuku podle vstupní úrovně a nebát se jít při evaluaci do hloubky i za cenu delšího dotazníku.