Podcast

Dobrý den, jmenuji se Jirka Vyšrek a vítám vás u dalšího dílu DataTalku. Dnes máme vzácného hosta, matadora české scény strojového učení a umělé inteligence, zakladatele a ředitele Machine Learning Prague a Machine Learning College, Jirku Maternu. Ahoj, Jirko.

Ahoj, Jirko.

Mám velkou radost, že v DataTalku máme možnost vítat tak významné hosty, takzvané otce české AI. Tebe, Jirko, považuji za jednu z osobností, která skutečně formovala českou AI scénu, nebo strojové učení, použiji obě synonymně. Rád bych využil času, který máme, abychom prošli tvou kariéru, a aby se naši posluchači mohli z téměř dvaceti let tvé profesionální práce v oblasti strojového učení něco naučit či vzít si z toho inspiraci.

Možná začněme od začátku. Kdy jsi poprvé slyšel o strojovém učení a proč jsi rozhodl, že to bude tvoje kariéra a že tomu věnuješ svůj profesní život?

To byl docela vtipný moment. Bylo to na vysoké škole v prvním ročníku, kdy jsem studoval v Brně na Masarykově univerzitě, kde je poměrně volný režim výběru předmětů. Samozřejmě jsem se snažil kromě povinných předmětů doplňovat si studium o zajímavé a pokud možno lehce získatelné kurzy. Procházel jsem katalog předmětů a zaujal mě jeden s názvem strojové učení. V té době jsem vůbec netušil, co strojové učení je. Mluvili jsme o roce 2003.

Ano, o roce 2003.

Mám problém s pamětí, ale na základě anotace v katalogu jsem si myslel, že jde o předmět, který bude učit nemotechnické pomůcky nebo techniky, jak se lépe učit. Tak jsem si řekl: "Jak se učit jako stroj? To je skvělé," a předmět si zapsal. Později jsem zjistil, že je to úplně něco jiného, ale myšlenky mě naprosto nadchly a od té doby jsem propadl strojovému učení, kterému jsem se věnoval na škole a později celý zbytek své kariéry.

Co tě jako studenty bakalářského nebo magisterského studia nejvíce uchvátilo, že jsi řekl, že toto bude moje cesta?

Nadchla mě myšlenka a techniky použití počítačů a strojů k tomu, aby napodobily, jak lidé myslí. Odjakživa mě fascinovalo přemýšlet o tom, jak lidé myslí, a jak by stroje mohly myslet podobně jako my. I když jsem nevěděl, co strojové učení je, okamžitě mě to zaujalo.

Rok je 2003, studuješ na Masarykově univerzitě, zapsal sis strojové učení, jak to pak pokračovalo dál?

Jak jsem říkal, oblast mě nadchla, takže jsem pokračoval bakalářskou prací týkající se strojového učení. Kromě strojového učení mě vždy zajímala literatura, práce s textem a jazykem, proto jsem se specializoval na využití strojového učení ve zpracování přirozeného jazyka. Takto jsem pokračoval přes magisterské až doktorské studium na Masarykově univerzitě.

Je nutné poznamenat, že v té době nebylo obvyklé používat strojové učení právě ve zpracování přirozeného jazyka; spíše šlo o okrajovou záležitost. Dnes je to úplně dominantní oblast a tradiční lingvistické přístupy ustupují do pozadí.

Věřím, že tvůj veřejný věhlas začal v Seznamu. Byla to tvoje první práce po škole?

Nebyla to úplně první práce. Už během bakalářského studia jsem programoval různé malé věci, třeba web. Když jsem se blížil k diplomce, asi rok před obhajobou, v rámci dnů s technologickými partnery navštívil Seznam školu. Viděl jsem tam příležitost věnovat se aplikacím strojového učení a zpracování přirozeného jazyka pro vyhledávání. Byl jsem přijat a začal tam pracovat, diplomovou práci jsem též dělal ve spolupráci se Seznamem. Téma bylo kategorizace webových stránek.

Bylo v té době na trhu více možností, nebo byl Seznam jasnou volbou pro práci v NLP a strojovém učení?

Příležitostí nebylo mnoho a Seznam byl v té době jednou z nejlepších možností, kam jsem mohl jít. Tehdy jsem mohl uvažovat o Googlu, ale to by znamenalo skončit se studiem nebo to nějak složitě kombinovat. Seznam tehdy otevíral pobočku v Brně, kde jsem studoval, což mi umožňovalo kombinovat studium a práci.

Dobře, pojďme se podívat do Seznamu. Vyprávěl jsi, že tam byla velká náborová vlna, že šlo o strategickou iniciativu nabrat lidi. Povíš nám, co byl tvůj první úkol, jak to tam vypadalo při tvém příchodu, co jste řešili?

Tehdy Seznam začínal znovu budovat svůj vlastní vyhledávač. Do té doby používal Google, předtím měl vlastní vyhledávač, který ale zrušil. Když jsem nastupoval, probíhala rozsáhlá náborová akce cílená na vytvoření velkého týmu pro stavbu vyhledávače. Já jsem šel rovnou do týmu vyhledávače v samých začátcích.

Začínali jste úplně od nuly?

Ano, budovali jsme to na zelené louce. Nastoupil jsem jako programátor a postupně, protože jsem dělal diplomku pro Seznam a bylo známo, že se věnuji strojovému učení, jsem začal budovat výzkumné oddělení, jehož cílem bylo aplikovat strojové učení nejen pro vyhledávač, ale později i pro další služby Seznamu.

Mám pocit, že třeba dnes je práce se strojovým učením specifická, více než klasický agilní vývoj, musí se k tomu přistupovat jinak, s jinými pravidly.

Přesně tak. Nebyli jsme jen další vývojový tým, ale výzkumný tým, později celé výzkumné oddělení. Způsob práce je jiný než ve vývoji softwaru. V té době se začínaly prosazovat agilní metodiky, ale výzkum strojového učení není úplně ideální pro plánování, protože se často neví předem, co přesně bude fungovat.

Jak jste tedy tým rozdělovali? Například stavíte nový vyhledávač, jak jste rozkládali práci na jednotlivé části? Jaké zkušenosti jsi získal, co šlo dobře, co byly slepé uličky?

Když jsem nastupoval, nebyl jsem ten, kdo určitě vymýšlel architekturu vyhledávače – to měli jiní, zkušení lidé. Byl jsem v obou ohledech nováček – jak ve vývoji, tak ve strojovém učení. Učil jsem se a ze začátku jsme měli pár lidí a dostávali konkrétní úkoly k řešení.

Postupně jsem začal přebírat iniciativu, přinášel postřehy a nápady, kde by šlo strojové učení použít jinde, než co bylo zadáno. V podstatě jsem vedl tým, který vymýšlel, jak věci udělat, spíše než co konkrétně dělat.

Jak to, co jste dělali, zapadalo do celkového vyhledávače? Například jste postupovali tak, že jste identifikovali odlehlé případy, kde tradiční pravidla nefungují, a pro ně použili strojové učení? Nebo jste začali s celou částí systému?

Největší projekt, který provázel mou kariéru v Seznamu, byla problematika řazení výsledků – to je základ vyhledávače, jak najít pro uživatele nejrelevantnější odpovědi. V době mého nástupu se to řazení realizovalo pomocí lineární kombinace mnoha atributů, které do sebe zapadaly a vytvářely jedno číslo podle kterého byly výsledky řazeny.

Náš projekt byl v tom, že jsme místo lineární kombinace použili strojové učení, které z atributů vytvořilo nelineární funkci – v podstatě k tomu je strojové učení určené.

Pokud dnes zadám do Seznamu, Googlu nebo Bingu nějaký dotaz, kolik ze systému je založeno na strojovém učení a kolik na pravidlech a algoritmických rozhodnutích?

Myslím si, že dnes už je to převážně strojové učení. Když jsem odcházel ze Seznamu v roce 2017, byly dva hlavní přístupy. Google zdůrazňoval, že strojové učení je skvělé, ale je potřeba mít nad výsledky lidskou kontrolu. Řazení vyhledávání Google tehdy používalo třeba lastr rozhodovacích stromů, které byly stále ručně kontrolovány, než se pustily do produkce.

Naopak Microsoft s Bingem nechával rozhodování plně na strojovém učení, bez zásahu lidí do stromů.

My jsme byli někde mezi. Stromy jsme budovali automaticky, ale měli jsme lidi, kteří je alespoň kontrolovali a snažili se pochopit, proč stroj vymyslel konkrétní pravidlo.

Během tvého působení v Seznamu se strojové učení jistě hodně vyvíjelo. Kdy jsi viděl zásadní změny, jaké velké momenty změnily způsob vaší práce? Například přišly nové technologie, nové přístupy, které tě donutily překopat tvoji dosavadní práci?

Největší zlom přišel kolem roku 2010, kdy začala éra hlubokého učení (deep learning). To znamená využití hlubokých neuronových sítí jako hlavního nástroje strojového učení.

Do té doby se používaly tzv. konvenční metody, jako jsou rozhodovací stromy, které byly lépe transparentní a lidé jim dávali přednost. Neuronové sítě byly prakticky minoritní záležitostí. Já je do roku 2010 sice znal ze školy, ale nepoužíval, protože neměly moc smysl.

V letech 2011 a 2012 se objevily techniky, jak efektivně trénovat hluboké neuronové sítě, které ukázaly výrazně lepší výsledky na úlohách zpracování obrazu nebo textu.

Byl to okamžik, kdy bylo potřeba změnit přístup, některé typy úloh vyžadovaly opuštění starých metod a zaměření na neuronové sítě.

Dnes platí, že neuronové sítě příliš nefungují na tabulárních datech, kde se dosud využívají rozhodovací stromy.

Co se týká řazení výsledků, používají se dodnes rozhodovací stromy, pokud jsou k dispozici relativně malý počet atributů.

Jak se tento pokrok projevil v Seznamu? Můžeš uvést příklad projektu, kde jste začali neuronové sítě využívat a jak?

První projekt byl spíše v oblasti obrázků, kde deep learning přišel dříve díky konvolučním neuronovým sítím. Například filtrování nevhodného obsahu pro řazení výsledků v obrázkovém vyhledávání, to byly první projekty využívající neuronové sítě.

Použití neuronových sítí na textovou oblast je obtížnější, zejména v oblasti vyhledávání, kde je potřeba minimální latence a velká rychlost. Pokud máte třeba 300 milisekund na zobrazení výsledků, nepůjde využít hluboké sítě přímo na řazení výsledků.

S příchodem deep learningu a neuronových sítí vidíme nástup AI startupů a AI se stává hlavním tématem.

Ano, dá se to tak říct. I když strojové učení mělo předtím velký potenciál, právě zlomový okamžik přinesl rozvoj hlubokých sítí, což odstartovalo vznik mnoha startupů a zvýšený zájem velkých firem o využití strojového učení.

To nás krásně přivádí do roku 2015, kdy se konala první konference Machine Learning Prague.

První konference Machine Learning Prague byla pořádána v roce 2016, ale práce na ní začaly už v roce 2015.

Vzniklo to tak, že jsem se na jednom barcampu seznámil se Šárkou Štrsovou na party. Všechny dobré věci začínají na barcampu!

Někdo nás sblížil, já jí říkal, že mě zajímá strojové učení a že bych rád začal pořádat konferenci. Šárka dlouho pořádá WebExpo a tak jsme si řekli, že to zkusíme společně – uspořádat konferenci o strojovém učení.

Pro ty, kdo si to nepamatují, jak vypadal trh strojového učení v roce 2016, s jakým přijetím jste konferenci začínali a jaká byla komunita?

(že v té době komunita byla…)

[Zde končí předaný text.]

Text přepsaný do spisovné češtiny:

Strojové učení bylo v té době ještě poměrně nedostatečně rozvinuté. Lidé, kteří se mu seriózně věnovali, byli, netroufám si říct přesné číslo, ale řekl bych, že to bylo kolem stovky osob v České republice, včetně akademiků. Bylo jich opravdu málo a v tom seznamu viděl jsem potřebu pro sdílení zkušeností s praktickým používáním strojového učení. Na univerzitách se tomu sice věnovali desítky let a stále se věnují, avšak akademici byli trošku odtržení od reality. Když jsme potřebovali vyškolit lidi, kterým už prošly rukama stovky případů, bylo znát, že buď nemají žádné zkušenosti se strojovým učením, nebo pouze akademické, což moc dobře nefungovalo. Bylo tedy potřeba je to naučit.

Chyběl mi zde právě prostor pro sdílení zkušeností s aplikacemi strojového učení. Jednou z nejlepších možností je uspořádat konferenci. V té době mi mnoho lidí doporučovalo to nedělat, tvrdili, že trh je příliš malý, že nemá smysl konat konferenci na strojové učení. Naštěstí jsem si to nenechal rozmluvit a postupem času to docela vyrostlo.

Myslím, že tím i vysvětluješ, proč jste od samého začátku globální a proč je konference v angličtině, že?

Přesně tak. Se sto lidmi je těžké uspořádat konferenci. Hlavní reakce na kritiku bylo, že tady těch lidí nedostatek nebude, a proto jsme ji od začátku chtěli udělat mezinárodní, abychom vůbec dokázali zaplnit kapacitu konference.

Po chvíli jsme mluvili o začátku, roku 2016, a nyní je rok 2023, pokud to posloucháte, zřejmě 2024. Připravujete další ročník Machine Learning Prague. Co se za těch šest až sedm let vlastně změnilo, když porovnáme Machine Learning Prague tehdy a dnes, tedy program, hosty a další aspekty?

Změnilo se toho opravdu hodně. Když jsme začínali, měl jsem zodpovědnost zejména za program, který jsem komponoval s ohledem na motivaci, tedy aby konferenci provázely praktické zkušenosti a aby byla zaměřena spíše technicky než akademicky – jako kontrast k akademickým konferencím. Postupem času se ovšem vyvinulo, že ryze technických konferencí, které prezentují jen nějaký produkt, je hodně a přijde mi to vlastně nezajímavé. V té době jich bylo málo nebo žádné a dnes jsou pro mě nezajímavé. Proto se vracíme zpátky k teoretičtějším kořenům a hledám řečníky, kteří mají co říct k fundamentům a teoretickým základům, nikoliv CEO startupů, kteří ani pořádně nevědí, co strojové učení znamená, pouze vědí, že jejich firma ho používá.

To je jedna věc, která se změnila, ale těch změn je více. Například je dnes mnohem těžší získat kvalitní řečníky, protože konferencí je opravdu mnoho. Když jsme začínali, byli jsme jednou z mála a pravděpodobně největší evropskou konferencí zaměřenou čistě na aplikace strojového učení. Dnes je těch konferencí spousta, a poptávka po speakerech je tím pádem veliká, takže je těžší je přimět, aby přiletěli třeba z Ameriky, než to bývalo dříve.

Podle čeho si je tedy vybíráš a jaký je tvůj rozhodovací proces? Můžeš uvést příklad třeba z Machine Learning Prague 2024? Co tě vede k tomu, že oslovíš právě tohoto člověka, proč jeho šéfa, na jaké úrovni, jaká témata vybíráš, jak to vše skládáš?

Jednoznačně hledám lidi, kteří dělají machine learning opravdu prakticky, mají za sebou skutečnou práci v oboru, něco pro komunitu nebo pro oblast strojového učení sami udělali a něco komunitě předali. To je hlavní kritérium a samozřejmě musím reflektovat aktuální trendy v oblasti.

Dalším kritériem je, aby se mi podařilo tyto lidi vůbec přilákat, aby přijeli. Není to jednoduché, protože konkurence konferencí je velká. Praha je přitom pro Američany zajímavé místo, kde si mohou užít prodloužený víkend. Často pomáhá mít kontakty – je potřeba znát někoho, kdo zná někoho, kdo zná daného speakera, jinak se k těm špičkovým řečníkům dostat velmi obtížně.

Jak důležitá je pro tebe firma, ve které řečník pracuje? Protože mám dojem, že často máte na konferenci úžasná jména z NASA, Google, Microsoftu – světové "heavyweights". Je to tím, že právě v těchto firmách se machine learning skutečně na špičkové úrovni vyvíjí, nebo se zaměřujete i na open source a jiné oblasti?

Jak říkáš, souvisí to s tím, že se tam opravdu na té nejvyšší úrovni strojové učení dělá. Nemám problém pozvat někoho z malé firmy, pokud vidím, že opravdu dělá zajímavou práci, která může publikum inspirovat. To je hlavní kritérium, které jsem nezmínil dříve – chceme mít řečníky s přínosem, kteří nepředstoupí jen s prezentací svého produktu.

Ve firmách jako Google, Facebook, Meta nebo NASA se výzkum dělá na špičkové úrovni, a produkty jsou nejlepší na světě. Na této špičkové úrovni, tedy většinou cutting edge, je ale potřeba umět oddělit zrno od plev.

Jak tedy rozlišuješ kvalitu, když mluvíš o trendech a musíš odrážet, co se na scéně děje? Můžeš poznat, že někdo dělá skutečně výzkum, ne jen PR či prodej produktů? Máš tam nějaký časový test nebo jiný postup, jak rozpoznat ty kvalitní řečníky?

Nepoznám to s jistotou. Je to intuice a zkušenost, kterou jsem za ty roky nasbíral. Nedá se to dopředu přesně určit.

Máš nějakou konkrétní zkušenost, kdy řečník působil velmi nadějně, ale nakonec talk nebyl dobrý? Nebo naopak něco, co bylo velké, ale už to nepotkalo úspěch?

Nic takového mě v tuto chvíli nenapadá. Možná se vrátím k tvé otázce, zda vybírám podle velikosti a povědomí firmy. Stalo se, že jsme vybrali řečníka z velké firmy, třeba Google, ale nebyla dostatečná kontrola nad tím, co přesně dělá. A pak se ukázalo, že přednáška byla nezajímavá, protože to nebyla praktická zkušenost, ale marketingová prezentace. To je zkušenost, kterou mají asi všichni, kdo dělají podobné akce.

Díky Machine Learning Prague jsi v kontaktu se světovou scénou a máš pocit, že jsme na stejné startovní čáře, že jde o stejné hřiště a stejnou hru po celém světě, tedy že dnešní machine learning je globálně provázaný? Nebo jsou tam rozdíly, například Američané sledují jiná témata než Evropané, nebo se díváme na jiné priority?

Obecný stereotyp říká, že co je v Americe, k nám přijde s dvou- až čtyřletým zpožděním. Dává ti to smysl? Stačí sledovat západ a implementovat to, co tam vzniká? Nebo vzhledem k tomu, jak dynamický a rychle se měnící trh umělé inteligence je, má každý šanci a může to zkusit samostatně?

Myslím, že ta východisková pozice, i když o startovní čáře není úplně vhodné mluvit, protože tento vlak již dávno jede, je podobná. Akademický svět před deseti lety hodně tlačil na to, aby se k článkům publikoval i kód, takže každý student si může sám na počítači zprovoznit implementaci nejnovějších modelů, může je studovat a vylepšovat, což je úžasné.

Co je na tom smutné, je, že i když máme všichni stejné východisko, Amerika je oproti Evropě stále daleko napřed. Nejprve Amerika, pak Čína, potom dlouhou dobu nic, a pak až Evropa.

Samozřejmě to má své důvody, které nejsou jednoduché jednoznačně určit, ale hlavní je, že Amerika pracuje dravějším způsobem a má mnohem užší spolupráci univerzit a firem, zatímco tady to moc dobře neumíme. Máme šikovné lidi s dobrými nápady, ale neumíme je realizovat a pokud ano, neumíme je prodat.

I ty sám máš s tím zkušenosti, například v rámci Seznamu, kde jste pracovali na pomezí akademie a aplikací ve firemním prostředí. Jak se na to díváš? Zlepšuje se to? Co by se mohlo udělat? V Machine Learning Prague jsou zastoupeny osobnosti české akademie strojového učení. Máš nějaké "lessons learned", které by si posluchači mohli vzít a pomoci posunout spolupráci univerzit a firem v Česku?

Nevím, jestli to půjde jednoduše tak, že si někdo změní mindset a najednou to začne fungovat. V Americe to funguje, protože univerzity jsou financované ze soukromého sektoru, zatímco tady jde o veřejné peníze. Školy tedy nejsou tolik nucené dělat to, co je pro průmysl užitečné.

Samozřejmě základní výzkum je potřeba dělat nezávisle na průmyslu, ale zároveň se na univerzitách dělá spoustu aplikovaného výzkumu, který řeší problémy, které v praxi nejsou. To je, myslím, klíčový problém.

Když jsme v Seznamu spolupracovali s akademií, naráželi jsme přesně na tyto problémy. Nabízeli jsme školám úlohy, které měly smysl i pro nás, poskytovali jsme data, ke kterým se nedostali, a dokonce jsme některým platili studenty nebo asistenty. Přesto to moc nefungovalo, což mě jako Čecha mrzí.

To byl jeden z důvodů, proč se po Machine Learning Prague v roce 2017 založila Machine Learning College.

Byla to nějaká odpověď na problém s akademií? Jak vznikla Machine Learning College a co to vlastně je?

Machine Learning College vznikla až po mém odchodu ze Seznamu. Motivací bylo, že lidé nastupující do Seznamu neměli praktické zkušenosti. Machine Learning College je firma zabývající se vzděláváním v oblasti strojového učení a umělé inteligence, kde učíme lidi prakticky používat tyto technologie.

Základní myšlenka byla naučit lidi používat machine learning, vychovat programátory, kteří sice umí programovat, ale nemají zkušenosti se strojovým učením, aby dokázali využívat moderní nástroje. Chtěli jsme zaplnit mezeru na trhu, kde lidé buď nemají zkušenosti vůbec, nebo pouze akademické.

Předpokládám, že v roce 2017 tam ještě nepřišlo mnoho zájemců o techniky spojené s mnemonikou, mind palacem a podobně, ale už jste si našli cílovou skupinu?

Ano, přibližně. Jak si to máme představit jako business? Kolik odborníků vychováte pro potřeby trhu?

My nejdeme na kvantitu, ale spíše na kvalitu a hloubku. Počet lidí, kteří prošli našimi kurzy, je několik set, možná blízko tisícovky. Ale klademe důraz na hloubku vzdělání.

Máme základní intenzivní program složený z celodenních kurzů na pět dní – nemusí být pět dní po sobě, může být rozložený během týdne – který pokrývá vše od začátků až po pokročilejší témata.

Následně nabízíme specializace zaměřené na zpracování obrazu, textu a časových řad, aby si lidé mohli své znalosti dále prohloubit.

Je kurz realizován hybridně, nebo čistě online?

Hybridně. Před covidem byl kurz čistě prezenční, během covidu se přešlo na online formu a nyní kombinujeme obojí. Hlavně se učíme prezenčně, ale je možnost se kurzu účastnit i vzdáleně, a to živě, nikoliv formou předtočených lekcí.

Co tě jako lektora vzdělávání v oblasti machine learningu naučilo? Jsou některé věci, které třeba před patnácti nebo dvaceti lety žáci neměli, a dnes by je mít měli? Vnímáš nějaké změny, například demokratizaci znalostí, větší dostupnost i pro nespecialisty v byznysových rolích? Vidíš nějaké trendy v rámci výuky?

Učení a vysvětlování má obrovskou přidanou hodnotu pro učitele. Musí si totiž sám věc důkladně uspořádat v hlavě. Když přijde nový trend, musím si ho nastudovat a skrze předávání ostatním pochopit mnohem více věcí a souvislostí, což mě velmi baví.

Vznikají tak momenty "aha", tedy nové vhledy, které nejsou zřejmé na první pohled?

Ano, a to i přesto, že člověk může něco perfektně znát teoreticky, dokud to nepoužívá v praxi, tak to neumí. A i při používání stále unikají detaily. A když to pak předávám někomu, kdo klade dobré otázky, často si uvědomím věci, které jsem dříve bral trochu povrchově nebo chápal nepřesně. Tyto momenty jsou pro mě obzvlášť cenné.

Toto mi připomíná mé vlastní zkušenosti s dětmi, které nemají předsudky ani stereotypy a kladou otázky, které člověku v dospělosti často nenapadnou.

Například mě napadá hádanka „Lezeleze po železe nedá pokoj, než tam vleze“. Dřív mi to nedávalo smysl, bral jsem to jako hloupou hříčku, ale když jsem to vysvětloval své dceři, uvědomil jsem si, že klíčové je slovo „pokoj“, které znamená místnost, nikoliv mír. Hádanka tak získává hlubší význam.

Jak probíhá výuka? Například já neumím Python a mám pouze základy SQL, jsem vaším cílovým posluchačem?

Máme různé kurzy s různou úrovní náročnosti. Kurz, o kterém jsem mluvil, předpokládá základní znalosti Pythonu – není nutné být pokročilý, stačí základní znalost a algoritmické myšlení.

Máme i kurz pro úplné začátečníky, kteří o machine learningu nebo programování nevědí vůbec nic, jenom získají přehled a pochopení, co vlastně umělá inteligence je.

Pokud jde o vzdělávání učitelů, v roce 2021 jsme začali spolupracovat s Prahou a Praha KI na přípravě materiálů pro výuku umělé inteligence na středních školách. Chceme tak iniciovat začleňování tématu umělé inteligence již do středoškolské výuky.

Pokud budete chtít, mohu pokračovat ve zpracování zbývající části textu.

Jsme učitelé, kteří učí, jak vyučovat umělou inteligenci, a zároveň jsme pořádali několik letních škol, jejichž cílovou skupinou byli středoškolští studenti.

Musím říct, že přestože technická část vycházela i z toho pětidenního kurzu, děti, které byly v deváté třídě základní školy – a pořád ty kurzy děláme – byly schopné to celkem bez problémů pochopit. Mnohdy byly bystřejší než dospělí programátoři. To moc gratuluji, zní mi to jako velmi smysluplná aktivita. Jedna z věcí, která mě dostává příliš často do deprese, je právě pocit, že společnost nevidí ten zázrak, který se nám pod rukama tvoří, a tu moc, kterou technologie přináší. Takže děkuji, že to skrze učitele posouváte dál.

Ty jsi zakládal Machine Learning College v roce 2017, jak jsi říkal na začátku, což bylo vlastně v době, kdy jsi už odešel ze Seznamu. Můžeš něco říct o svém rozhodování? Šel jsi na volnou nohu a od té doby děláš vlastní projekty, konzultuješ a necháváš se najímat. Co tě vedlo k tomu rozhodnutí, proč nepokračovat ve Seznamu? Proč se nenechat zaměstnat někým dalším?

Určitě mezitím v Brně vzniklo mnoho firem, které by měly zájem o moji specializaci na machine learning. Bylo to strašně těžké rozhodnutí a upřímně bych se jinde asi zaměstnat nešel. V Seznamu byl super kolektiv, práce byla velmi zajímavá a spousta lidí se mě ptala, proč odcházím, že mám takový dream job. Ale já jsem cítil, že tam jsem byl dlouho – už deset let – a chtěl jsem si zkusit něco vlastního. To byla hlavní motivace. Největší obava byla, jestli se vůbec uživím na volné noze, protože to byla doba, kdy machine learning opravdu moc lidí nedělalo. Podle mého vědomí jsem byl druhý freelancer v České republice, který se na machine learning zaměřoval.

Pamatuješ si, kdo byl první? Je to důležité?

Prvním byl Radim Řehůřek, který byl mým předchůdcem v Seznamu. On tam dělal machine learning první. Já jsem pak nastoupil k němu; dělali jsme nezávislé věci, ale on v zápětí odešel, takže jsem zůstal jediný a musel jsem vybudovat tým.

Takže jsem si nebyl úplně jistý, jestli najdu uplatnění, ale už se na mě začali obracet lidé mimo Seznam s žádostmi o rady. Několik startupů, které vznikaly kolem mě, se mě ptalo, jestli jim nechci pomoct, protože si s tím nevědí rady a mají pocit, že machine learning dává smysl, ale nemají zkušenosti. To mě utvrdilo v tom, že je poptávka, a šel jsem na volnou nohu.

Současně s Machine Learning College, kterou jsem bral jako dvě větve své práce – freelancing a vývoj machine learningových řešení a druhou částí výuku umělé inteligence –, a tak to je vlastně do dneška, ne?

Ano, vnímám tě v asi třech rolích. Machine Learning College je tvůj produkt, o který pečuješ, který roste a rozvíjí se. Vedle toho pořád probíhá ta velká jednorázová, předpokládám, že po celý rok, ale v různých intenzitách, machine learning praxe. A třetí role je komerční konzultační externí výpomoc, když jsi hands-on specialista. To ti zůstalo dodnes, ne? Nebo je ještě nějaká oblast, o které jsme se nebavili?

Ty tři nohy úplně stačí. Ono se to hezky doplňuje. Žádná z těch věcí by mě sama o sobě nenaplňovala. Určitě mě baví i hands-on vývoj, abych neujel ten pomyslný vlak, takže proto se stále věnuji i vývoji. Díky tomuto získávám kontakty, které mi umožňují zvát nejlepší řečníky na ML Prák. Takže se to pěkně doplňuje a myslím, že v tom budu pokračovat.

Hezká trojjedinost.

Pojďme se podívat na tvou práci na volné noze. Jak si ji mám představit? Jaké jsou poptávky, které dostáváš?

Jaká je tvoje nabídka firmám? Jak ta práce vypadá? Zajímá mě core machine learning. Nesoustředíš se tolik na věci okolo, jako jsou ML ops nebo zapojení machine learningu do fungujícího ekosystému, protože to podle tebe externista nemůže dobře udělat? To by měla firma řešit sama, ona nejlépe zná své prostředí.

Ano, přesně tak. Myslím, že jsem silný v navrhování machine learningových řešení. Tam mohu firmám efektivně pomoci.

Jak to tedy probíhá? Napíšou ti do e-mailu, že potřebují model, a ty přijedeš a bude to trvat půl roku? Jak vypadá tvá konzultační práce? Kolik máš klientů najednou? Jak dlouhé jsou projekty? Když by například někdo uvažoval o konzultacích v České republice, mimo Seznam, jak vypadá ten trh?

Obvykle se sejdeme a hlavně si vyjasníme, jaký problém je potřeba vyřešit. Často totiž klient nebo produktový manažer přijde a řekne, co chtějí udělat, ale neřekne, jaký problém řeší. To je velmi časté i v Seznamu a dvojnásobně v konzultační práci.

Na začátku si tedy musíme ujasnit, co klienta trápí, potom spolu nebo já sám začnu hledat řešení. Jakmile máme jasno, sednu si a začnu tvořit machine learningový model – to je, co dělám nejčastěji.

Práce může trvat dva měsíce, půl roku nebo i rok. Výsledek pak iterativně vyvíjíme, až to klient nasadí.

Existují typické use case, kde machine learning skoro vždy dává smysl, a naopak situace, kdy je krátký nebo nevhodný?

Dříve jsem často slyšel od klientů, že chtějí „neurónku“, aniž by řekli, jaký problém řeší. Prostě „chci tam neurónku, protože je to moderní“. Pak jsme si vždy museli říct, že neurónka nemusí být to nejlepší řešení a například rozhodovací stromy často svému konkrétnímu použití lépe vyhovují.

Mění se tento poměr s tím, jak jsou neurónové sítě dnes silnější než před lety?

Ano, hlavně u zpracování přirozeného jazyka – textů. Před pěti lety byla neurónová síť použitelná možná ve čtvrtině oblastí, dnes už tam dominuje. Takže dá se říct, že ano.

Co aktuálně řešíš za projekty? Můžeš uvést use case nebo projekt samotný?

Momentálně neřeším žádný projekt z průmyslu, ale dva akademické. Jeden je z Akademie věd a týká se analýzy ocelí. Při výrobě oceli existují mikrostruktury, které významně ovlivňují vlastnosti oceli, například pevnost nebo křehkost. Ty mikrostruktury jsou vidět obvykle pod elektronovým mikroskopem.

Česká republika je přitom špička ve vývoji a výzkumu elektronových mikroskopů, což byl i důvod, proč jsem se k tomu dostal.

Problém je, že elektronový mikroskop je však velmi drahý.

Znám klasický optický mikroskop ze základní nebo střední školy: světlo se svítí na vzorek, odráží se a prochází soustavou čoček.

Elektronový mikroskop funguje odlišně – nevysílá fotony, ale elektrony, které se odráží; ty elektrony nemohou projít vzorkem a analyzují se.

Výhodou elektronového mikroskopu je, že nemá skleněné čočky, ale magnetické čočky, takže zaostření je lepší a hlavně vlna elektronu má mnohem menší vlnovou délku než světlo.

Díky tomu je možné mnohem větší přiblížení, ale elektronový mikroskop je velmi drahý a není možné jej provozovat kdekoliv. Potřebuje bezprašné prostředí, bez vibrací, například nemůže být blízko projíždějící tramvaj.

Není tedy dostupný všem; optickým mikroskopem však nejsou vidět vlastnosti potřebné ke zkoumání ocelí.

A teď k jádru mé práce na projektu: využíváme hluboké neuronové sítě, které se snaží převést snímky z optického mikroskopu na kvalitu podobnou snímkům z elektronového mikroskopu.

Principiálně je to fyzikálně nemožné, jak jsem říkal kvůli rozdílným vlnovým délkám, ale vycházíme z toho, že máme spoustu dat, společné vlastnosti, a že na optických snímcích něco je, jen je rozmazané vlivem optických systémů.

To je možné vylepšit pomocí umělé inteligence.

Technicky: máme stejnou oblast nasnímanou oběma mikroskopy a ze dvojic snímků se umělá inteligence snaží z optického snímku získat co nejvíce informací.

Kde je podle tebe hranice mezi základním a aplikovaným výzkumem? V Evropě se přece dělá spousta aplikovaného výzkumu bez reálné aplikace.

V tomto konkrétním projektu si data vytváří sami pracovníci Akademie věd, kteří mikroskopy mají. Zadavatelem je japonská železárna, takže je to tlačené poptávkou.

Je to tedy hezký příklad spolupráce Akademie a komerčního sektoru.

Mluvíme o dvou projektech – první je ocel. Co druhý?

Druhý je také akademický, v konzorciu Jihočeské univerzity a několika firem. Já mám na starosti machine learningovou část a konkrétně jde o počítání včel.

Motivace je trochu jiná – při aplikaci pesticidů je důležité zhodnotit jejich dopad na životní prostředí.

Nejrychlejší a efektivní ukazatel jsou včely, protože reagují velmi citlivě na pesticidy; pokud pesticid působí negativně, včely hynou nebo se naruší jejich vývoj.

V projektu sledujeme vývoj včel v plástvích a počítáme jejich množství na normované ploše – vše pomocí strojového učení a metod zpracování obrazu.

Úloha je hodně komplexní, i z hlediska sběru dat.

Kolik modelů vlastně tvoříš v takovém úkolu?

Jsou to v podstatě dvě úlohy.

První úloha je, když máš snímek plástve, poznat vývojové stádium včely a zároveň sledovat, jak se buňka mění v čase. To jde o kombinaci dvou modelů.

Druhý model počítá včely – to je úplně jiný model.

Specifické a zároveň obtížné je, že včely se různě pohybují, schovávají se pod listy a snímá je kamera s nízkým rozlišením, takže včela je jen několik desítek pixelů a s takovými daty není snadné pracovat.

Co tě na těch projektech nejvíc lákalo? Co bys doporučil ostatním machine learning praktikům, když si mohou vybírat projekty? Co je na těchto projektech tak zajímavého? Je to aplikace?

Tyto dva projekty jsou akademičtější než většina ostatních, které jsem do teď dělal.

Dělal jsem jich desítky, možná až stovku, většina byla hodně praktická.

Většinou jsem dostal zadání vyřešit určitý problém a od začátku jsem věděl, jak na to.

Bylo to blíž vývoji než výzkumu. Mělo to výhodu, že to šlo dobře nacenit a odhadnout, jak dlouho to bude trvat, což bylo super pro klienta.

Ale mě to moc neposouvalo.

Měl jsem určitý vzor, podle kterého jsem pracoval – samozřejmě byly i problémy, ale třeba 80–90 % bylo jistota, ne nejistota.

U těch akademických projektů je to přesně naopak – více nejistoty, méně jistoty.

U komerčních klientů je těžší s takovou nejistotou pracovat, v akademii je to však možné.

Proč se ti to líbí více?

Protože se tam učím nové věci.

Co jsou ty nové věci? Co ses naučil?

Vymýšlím třeba nové architektury, aby modely fungovaly pro konkrétní problém.

Jak celkově pracuješ s tou nejistotou, když se jedná o R&D?

Jak se to podle tebe mění v čase za těch 20 let, co se machine learningem zabýváš?

Řekli jsme, nebo jsme se shodli, že machine learning je jiná liga – chce jiné pravidla a přístup, je to víc R&D.

Jak tedy pracuješ, když modeluješ třeba počítání včel?

Jak rozumíš nejistotě?

Existují nějaké frameworky, jak ji snižovat, nebo je to inherentní – buď to vyjde, nebo ne, protože je to výzkum?

Určitě, protože všichni chtějí termíny a finanční odhad, takže je třeba s tím pracovat.

Nepoužívám ale žádný pevný framework typu „přidám si 20 % navíc“.

Je to hlavně o zkušenostech.

Myslím, že jinak to moc nejde – když jsem řešil podobný projekt, vím, jak dlouho trval, jaká jsou úskalí, a podle toho odhaduji.

Nejde o přesný způsob práce, ale spíš mít tři cesty, které je třeba vyzkoušet, a odhadnout, jak dlouho každá zabere, a podle toho plánovat.

Jinak si myslím, že jinak to nejde dělat.

Naučil ses nějaké věci pokusem a omylem?

Před čtyřmi lety při nacenění a plánování projektů jsi používal jednu metodu, a jaké máš zkušenosti nyní?

Víš, že je naivní si myslet, že celý model bude za dva měsíce v produkci, nebo něco takového? Nebo se ptám jinak – zkracuje se ten proces vytvoření modelů? Nebo v tvém případě jde o tak specifické use cases, že je to spíše na míru dělaná práce?

A tam se to nekomoditizuje, neautomatizuje, tam je opravdu více expertní práce.

Já to řeknu možná trochu jinak. Co se nezměnilo a platí dodnes, a je to čím dál důležitější, je to, že většina práce nakonec stejně bude na straně klienta, a tou je příprava dat. Málokdo, kdo strojové učení skutečně nedělá, si uvědomuje, že připravit kvalitní data tak, aby se s nimi dalo pracovat, aby v nich nebyly chyby, aby byl výsledný výstup rozumitelný, to je třeba 80 % práce na celém projektu. A teprve 20 % je pak, když už mám data v požadované podobě a mohu si s nimi začít hrát, což je taková třešnička na dortu.

Takže opravdu i u tvých projektů je ta příprava dat tou základní, nejtěžší prací.

Je to tak a ještě je důležité zmínit, že to nedělám čistě já. To většinou musí dělat klient, takže je to neustálá komunikace s klientem o nějaké zpětné vazbě, jaká data budeme potřebovat. Poté se třeba vyzkouší nějaký menší model, zjistí se, že tam jsou problémy, a musíš celý proces znovu opakovat. A právě toto je ta největší část práce. Tam leží zakopaný pes.

Projekty, kde jsou čistě krásně připravená data a může se s nimi bez problémů pracovat, jsou minimální.

A nezlepšuje se to časem – nějaká datová zralost a data-driven firmy? Dneska každá druhá podle internetu? To záleží.

Velké firmy na jednu stranu lépe pracují s daty a uvědomují si, že data jsou, jak se říká, ropa dnešní doby. Takže je sbírají, snaží se je dobře skladovat a čistit. Na druhou stranu ale data leží roztříštěná v rámci firmy, a čím je firma větší, tím složitější je se k nim dostat.

Naopak malé startupy, které to dělají svépomocí, mají všechno často v jedné databázi a jsou ochotny poskytnout exporty, ale orientovat se v tom, zpracovat data a zjistit, že třeba skript, který dělá export, měl chybu a data jsou pak k ničemu, to už je problém.

Takže obojí má svá úskalí.

Rozumím. Tak a za mě se dostáváme k aktuálnímu tématu. Současná vlna, poslední rok, generativní AI – velká revoluce způsobená ChatGPT. A schválně říkám revoluce, protože vidím, jak moc se na to budeš ošívat v křesle.

Začnu něčím jiným.

Ty jsi v roce 2015, kdy vznikalo Myšlení Praha, ještě jsi pracoval ve Seznamu a udělal projekt, na který si dobře vzpomínám i já. Prolétl tehdy internetem – šlo o automaticky generované básničky. Líbilo se mi, jak spojuješ svou lásku k jazyku a literatuře s technologií a myšlením. Povídej nám, jak se dělaly automaticky generované básničky v roce 2015. Protože dnes je to otázka jednoho promptu.

V té době ještě vůbec neexistovaly transformery, což je technologie stojící za dnešními velkými jazykovými modely. Byl jsem tehdy ve Seznamu, dodělával dizertaci a sledoval odbornou literaturu i blogposty. Jeden blogpost mě tehdy otevřel oči – byl to článek Andreje Karpathyho o tom, jak použil rekurentní neuronové sítě k generování Shakespearea.

On vzal všechny texty Shakespearea a použil poměrně jednoduchý model pro natrénování jazykového modelu, který potom generoval texty připomínající Shakespearea. Výsledek nebyl nic moc – na první pohled to vypadalo jako shakespearská angličtina, ale výsledky byly nesmyslné.

Mě to ale zaujalo, přišlo mi to hodně zajímavé. Během dovolené jsem si pak během večerů spustil něco podobného pro češtinu. Model byl velmi podobný Karpathyho, ale protože jsem viděl, že na Shakespearea to moc nefunguje, zkusil jsem to na básničkách. Básně jsou kratší, jednodušší a případné nesmysly byly spíše poetické.

Fungovalo to docela dobře, i když šlo o nic převratného. Napsal jsem o tom článek na blog, který jsem tehdy psal a vzbudilo to hodně ohlasů.

Řekl jsem si: „Když se to lidem tak líbí, tak se na to zkusím podívat pořádně.“

Model jsem pak postupně vylepšoval. Přidával jsem tam různá vylepšení...

Promiň, že tě přerušuji, ale později se ještě podíváme na ten model, protože je pro mě zajímavé, že si myslím, že spousta lidí měla podobný moment právě před rokem s příchodem GPT. A možná právě toto bylo ono – uvědomit si, že stroj toho umí generovat víc než jsme do té doby čekali. Mám pocit, že například OpenAI váhala, jestli ChatGPT vůbec vydat s velkou slávou, protože i interně si nebyli jistí a rozhodně nečekali takový úspěch a rozruch.

Vidím tam paralelu – ty sis hrál s modelem Karpathyho, vygeneroval jsi něco a dal jsi to na blog jako další příspěvek, který vyvolal větší zájem než tvoje předchozí blogy.

Bylo to pro tebe překvapení?

Ano, do určité míry to bylo překvapení. Během týdne jsem dostal dvě nabídky od vydavatelství, že bychom to mohli vydat jako knihu. To mě motivovalo věnovat se tomu více a model jsem potom předělal.

Největší problém byl zapomínání, kdy model zvládal generovat třeba dva verše, ale pak začal odbočovat od tématu.

Vymyslel jsem techniku, která tomu výrazně pomohla.

Nakonec jsme se s jedním vydavatelstvím dohodli a vydali jsme knihu. Dokonce jsem se později dozvěděl, že pokud je to pravda, byla to první tištěná kniha na světě kompletně vygenerovaná strojem.

Jak se tehdy generovaly texty bez OpenAI API, tedy bez GPT?

Musel jsem vše naprogramovat od základu.

Jaké metody jsi použil?

Používal jsem rekurentní neuronové sítě s architekturou LSTM, doplněné o externí paměť, která pomáhala držet kontext delší dobu.

Zpátky k té otázce – jestli byl ten „wow efekt“.

Ano, už v té době jsem viděl zajímavé věci, které nebyly úplně zřejmé. Generátor byl schopný vymýšlet nová přirovnání a metafory, což bylo překvapivé.

Karpathyho model generoval smysluplná slova, ale žádné originální myšlenky.

Já jsem model trénoval na větším množství dat a viděl jsem tam zárodky takových věcí.

Řekl bys, že to byly nějaké emergentní jevy?

Dá se to tak říct.

Dodám, že spousta lidí mi tehdy navrhovala, abych zkusil generovat romány nebo něco složitějšího.

Já tomu tenkrát nevěřil. I když generoval metafory, nevěřil jsem, že to může být na úrovni dnešních modelů.

Kdybys měl tehdy čas se tomu věnovat, například kdybys „poslouchal“ rady a nemusel dodělávat dizertaci, mohlo to být lepší.

Já jsem to dělal přes dovolenou. Napsal jsem knihu básní.

Skvělé.

Dostáváme se k dnešnímu nejaktuálnějšímu tématu – velké jazykové modely (GPT, transformery).

Kdy jsi začal vnímat transformery jako velkou věc?

Rok 2015, generování básniček, sledování Karpathyho – byly pro tebe transformery velkou novinkou?

Nebo to pro odborníky ML bylo spíš bruteforce, takový primitivní způsob práce s daty ve srovnání s jinými přístupy?

To jsem rád, že se ptáš. Já to do dneška považuji za bruteforce metodu.

Neobsahuje moc geniálních myšlenek.

Transformery fungují na myšlence, že význam slova je dán významem okolních slov.

Transformér je váženou kombinací okolních slov a výsledkem je predikce následujícího slova nebo slova uprostřed textu.

Rekurentní neuronové sítě jsou elegantnější, mají zpětnou vazbu a mohou přijímat libovolný počet kroků zpět, což transformer neumí, má omezené okno.

Na druhou stranu transformer lze lépe paralelizovat.

To je klíčová výhoda.

Díky architektuře transforméru lze neuronovou síť rozdistribuovat na tisíce serverů, naložit do ní všechny dostupné data, má stovky vrstev a obrovský výpočetní výkon.

Tohle všechno dohromady umožňuje výsledky, které dnes vidíme.

Začátky transformérů jsou tedy spíš bruteforce.

Transformery byly publikovány v roce 2017 lidmi z Google.

OpenAI měli odvahu je natrénovat na opravdu velkých datech a s velkým výpočetním výkonem.

Před tím nebyly žádné jasné důkazy, že škálování přinese lepší výsledky.

Chvíli po tom přišel GPT-2 v roce 2018-19 a já si uvědomil, že škálování opravdu dává smysl, že transformer je správná architektura pro tyto účely.

Přesuňme se do roku 2022 a spuštění ChatGPT.

Co to pro tebe znamenalo?

Bylo to „už je to tady“, nebo jen další chatbot?

Jak jsi k tomu přistupoval?

Já jsem k tomu přistupoval poměrně klidně, protože schopnosti byly vidět už od GPT-2 a potom GPT-3, který byl ještě lepší.

Velký přínos ChatGPT vidím v aplikaci RLHF (Reinforcement Learning from Human Feedback).

Předtím jazykové modely pokračovaly v generování a navazovaly na prompt, ale RLHF přinesl uhlazení výsledků a etické normy.

V té době jsem si ještě neuvědomoval, jaký to bude mít dopad, myslím, že málokdo ano.

Viděl jsem to spíš jako postupný krok ve vývoji, a nijak zvlášť mě to nepřekvapilo.

Co mě ale překvapilo, byl obrovský zájem veřejnosti, který to vyvolalo.

Díky tomu se mnozí začali zajímat o machine learning profesionálně, což bude mít pozitivní dopad na budoucnost AI.

Teď už to prý nezastavíme.

Přivede to další lidi k machine learningu?

Už se to děje.

Kolem sebe vidím mnoho lidí s fyzikálním zázemím, kteří zanevřeli na fyziku a začali se věnovat AI.

Jsou to velmi inteligentní lidé.

Není dnes fyzika cutting edge machine learning?

Nedávno jsem slyšel Jeffa Bezose v rozhovoru s Alexem Friedmanem, jak mluví o tom, proč se nestal teoretickým fyzikem.

Říká, že dnes je fyzika extrémně náročná na matematiku, že bez prvotřídních matematických schopností se mezi nejlepší nedostaneš.

Mám pocit, že machine learning je univerzální technologie, podobně jako práce s počítačem je dnes základní kancelářská dovednost.

Bude se proto prolínat s téměř všemi obory.

Nemyslíš, že každý špičkový obor bude mít někoho, kdo je zároveň odborníkem na machine learning?

Určitě.

Machine learning proniká do všech oblastí, už dávno je ve fyzice, kde se používají metody strojového učení.

Myslel jsem ale spíš to, že lidé, kteří celý život věnovali fyzice, teď od ní odcházejí a věnují se třeba velkým jazykovým modelům.

Z mého pohledu je to trochu škoda, i když vítáme mezi posluchači všechny, co zanevřeli na fyziku.

Tak nějak mi to připomíná Petera Thiela, že děláme rychlý pokrok ve světě elektronů, ale ve světě kvarků a na fyzické úrovni nemáme teleporty ani jiné průlomové věci.

Říkám si, že „software is eating the world“ a že nejchytřejší lidé naší generace přemýšlejí, jak přimět ostatní víc klikat na bannery.

Z toho mám občas skepsi.

Ale chápu.

Vidíš to i na zájemcích o Machine Learning College? Přibývá přihlášek, zájemců?

Hype kolem jazykových modelů určitě přivedl řadu nových lidí k zájmu o AI, ale neřekl bych, že rekrutujeme zcela nové skupiny.

Machine Learning College je primárně určena pro technické lidi a hype ChatGPT je spíš u laické veřejnosti, kde je nejdramatičtější.

Rozumím.

Jak jste na ML College reagovali na vlnu generativní AI v posledním roce?

Předpokládám, že jste museli osnovy upravit a že generativní AI je dnes povinnou součástí výuky.

Změna nebyla tak velká.

Trochu bylo potřeba upravit osnovy kurzů týkajících se zpracování přirozeného jazyka.

Vznikl i nový kurz věnovaný velkým jazykovým modelům, konkrétně využití open source modelů a tvorbě vlastních modelů.

Fundamenty ale zůstaly stejné – úvod do strojového učení, základní principy se nemění.

Máš pocit, že to odráží tvůj pohled: LLM nám nevyřeší všechno, není to magická hůlka, která funguje sama o sobě, a fundamenty jsou stále nezbytné?

Ano.

Jak vnímáš hype a zvýšený zájem o generativní AI, kdy se AI zredukovalo na GenAI?

LLM nám sice nevyřeší všechny problémy, pomohou nám však řešit problémy, které jsme do teď neuměli řešit, a někdy i ty, které jsme uměli řešit jinými způsoby, byť trochu neohrabaně.

Ale v této oblasti bych byl opatrný, protože řada lidí má tendenci LLM... [text končí]

Používat velké jazykové modely úplně na všechno, i tam, kde to úplně nedává smysl, je hodně velký kanón na vrabce. I v úlohách, které se dají řešit stejně dobře nebo možná dokonce i lépe pomocí jiných metod, se lidé snaží nasadit ty velké jazykové modely, což nedává smysl. K jejich použití je potřeba mnohem větší výpočetní síla a je tam větší latence, přitom se to dá dělat jednodušším a mnohem efektivnějším způsobem.

Co se týče NLP (zpracování přirozeného jazyka), mám pocit, že tam byla největší revoluce podobná té, která nastala v roce 2012 s deep learningem. Základní věci, které vymysleli akademici a lidé dělající základní výzkum, se mohly víceméně zahodit, i když základy a leckteré poznatky zůstaly. Samotný produkt, samotné pipeline a kód bylo třeba psát znovu.

Je tohle stejné u velkých jazykových modelů (LLM)? Mám pocit, že v České republice jsme byli hodně silní v NLP díky češtině, díky Seznamu i díky lokalitě a pravidlům našeho jazyka, jeho specifičnosti. Zdá se mi, že ten výzkum, na který jsem byl hrdý, se teď trochu vytrácí. Jak to vnímáš ty?

Je to tak, akorát že ta změna nepřišla v roce 2022 s příchodem ChatGPT, ale o něco dříve. V podstatě bych řekl, že zlomovým momentem byl ChatGPT-2, kdy opravdu všichni viděli, že velké jazykové modely jsou, pokud má člověk dostatek dat, lepší než klasické metody. Je ale důležité říct, že tyto velké jazykové modely fungují pouze při dostatku dat a pokud řeší specifický problém. Když nelze použít předtrénované LLM, je potřeba se vrátit k jednodušším přístupům.

Takže podle tebe nejsou velké jazykové modely přeceňované, spíše jsou používány na úlohy, pro které nejsou vhodné?

Přesně tak. Myslím, že hodně lidí si díky nim otevřelo oči, ale protože nemají zkušenosti s machine learningem, snaží se je používat na všechno. Na druhou stranu potenciál je obrovský a myslím, že to je správná cesta, alespoň v současnosti.

Když se podíváme na konferenci Machine Learning Praha 2024, jak velká část programu bude věnována generativní umělé inteligenci?

Zhruba třetina programu.

To je skvělé, tomu moc fandím a držím v tom palce. Když jsme chystali Data Day, chtěli jsme se trochu odlišit od všeho toho šumu kolem a být zaměření spíše na tradiční datová a BI témata, nikoliv tolik na AI. Data Day má být opravdu o datech. A moc se nám to nedařilo, protože pro všechny bylo téma generativní AI a její implementace klíčové, hlavní téma letošního roku.

Jak podle tebe bude vlna kolem generativní AI dál vypadat, když jsi už zažil pár podobných vln? Je to znovu Gartnerův hype cyklus – nejdřív všichni mluví, pak produkt začnou implementovat, všimnou si omezení či ne všemocnosti, anebo naopak díky zájmu a finančním prostředkům budou schopnosti těchto modelů rychle růst a pak budeme svědky zrychleného rozvoje? Jak to vidíš?

Těžko dělat predikce. Nikdo přesně neví, jak bude svět velkých jazykových modelů a umělé inteligence vypadat za rok. Ale nejde o neopodstatněný hype. Určitě spousta lidí vystřízliví nebo zjistí, že to nejde použít, jak si původně mysleli, ale zájem o oblast určitě poroste. Bude se jí věnovat čím dál více lidí a pokrok nepřestane, nečekám pokles zájmu.

Myslíš, že v LLM máme prototyp nebo základ umělé inteligence, dříve označované jako AGI (Artificial General Intelligence)?

Myslím, že nějaký základ tam máme. Určitě nemáme hotovou AGI, jak bychom ji chtěli, ale základ je položený. AGI není jednoznačný stav – včera neexistovala, dnes ano. Je to spíše škála. Do jisté míry už ji dnes máme díky velkým jazykovým modelům, které jsou tzv. general purpose, tedy dokážou řešit úlohy, na které nebyly trénovány. Částečně tedy už část AGI máme, ale aby to splňovalo vše, co od ní očekáváme (i když přesná definice neexistuje), ještě něco chybí.

Je dobré říct, že pokud něco takového vznikne, je špatný pohled na věc personifikovat to. Umělá inteligence nebude jedna, nebude podobná člověku. Vždy to bude něco jiného. Nejsem zastáncem názoru, že za deset let přijde apokalypsa, protože nás AI ovládne. Umělá inteligence bude nástroj.

Například současné jazykové modely rozhodně nemají svobodnou vůli. Jsou to stroje, matematické funkce, které generují slova do jisté míry. Tato slova jsou dána váhami modelu, ale zároveň i náhodou. Není tam žádná svobodná vůle. Když model spustíme, generuje slova, když ho vypneme, generování skončí. Jak to bude dál, je zatím otázka, ale rozhodně teď nejde o entitu existující vedle nás.

Když jsi začínal mluvit, zmiňoval jsi fascinaci přemýšlením lidí a fungováním přemýšlení. Po dvaceti letech v oboru a v souvislosti s námi řešeným tématem AGI – jak nahlížíš na přístup, kdy by se měla použít architektura mozku a některé mozkové koncepty v kybernetickém prostoru? Kde funguje a kde narazíme na limity, protože biologický lidský mozek a čip vždy fungují jinak? Máme tedy dělat architekturu zvlášť pro čip a zvlášť pro mozek? Jak vnímáš synergii těchto dvou oborů?

Myslím, že zpočátku panovala představa, že digitalizací lidského mozku a jeho dostatečným zmapováním získáme vědomí, vytvoříme digitální dvojče mozku a dosáhneme stejného chování. Naopak LLM jdou úplně jinou cestou k podobnému výsledku.

Problém je, že dodnes nevíme, jak mozek přesně funguje. I kdybychom chtěli napodobit jeho funkce na počítači, nemáme dostatek detailních znalostí. Neuronové sítě se inspirují poznatky z neurověd, ale nejde o přesnou reprízu mozku.

Stejně tak nevíme přesně, jak fungují velké jazykové modely. Známe architekturu, mechanismus trénování (to navrhli lidé), ale velká data a stovky miliard až biliony parametrů se během učení nastaví způsobem, který lidsky vysvětlit nedokážeme, kvůli obrovské složitosti.

Výsledkem proto nebude kopie lidského mozku, ale něco jiného. To však neznamená, že bude slabší. Pěkný příklad je letadlo: lidé chtěli létat a zpočátku napodobovali ptáky. Nakonec vznikla pevná křídla a motory – odlišný princip letu, než u ptáků, ale letadla jsou schopná letět mnohem rychleji.

Podobně to může být s obecnou umělou inteligencí. Může vzniknout něco zásadně odlišného od fungování lidského mozku, co ho ale ve všem překoná.

Mě fascinuje, jak jsi mluvil o svobodné vůli – moje skepse není v tom, že stroje budou lidé a ovládnou nás, ale spíše v tom, že my sami jsme do jisté míry stroje, průtokové ohřívače dat, zrcadlo světa kolem nás – shit in, shit out. Geny, prostředí, to jsou naše váhy, díky nimž generujeme výsledky.

Spíš mě děsí, jak moc lidé nepřemýšlí, a ne, že stroje začnou být jako lidé. Jak si udržuješ technooptimismus? Jsi po těch dvaceti letech technooptimista? Věříš, že za dalších dvacet let díky technologiím bude svět lepší? Nebo vnímáš rizika, o kterých se teď hovoří – ať už je to to, že stroje vezmou lidem práci, změny ve společnosti, až po apokalyptické vize jako Skynet a lidská zoo?

Identifikuji se jako opatrný optimista. Převládá u mě optimismus, ale zároveň si uvědomuji rizika, která umělá inteligence přináší. Nejde ale o to, že by vznikla samostatná entita, která nás chce zničit, spíše o možné zneužití. AI je velmi silný nástroj, který bude ještě silnější.

Zároveň souhlasím s tím, co jsi zmínil na začátku, že i lidé jsou určitým druhem „ohřívačů“ dat a informací. Moje uvědomění přišlo asi před třemi či čtyřmi lety. Do té doby jsem si nedokázal představit, že by umělá inteligence mohla mít vědomí, svobodnou vůli a podobně.

Ale když se podíváme na člověka z jiného úhlu, není jisté, že my svobodnou vůli skutečně máme. Definice vědomí není jasná, není na ni shoda. Je možné, že my fungujeme podobně jako velké jazykové modely – reagujeme na vnější podněty.

To prozření u mě bylo depresivní, ale nastalo před třemi, čtyřmi lety.

Říkáš před třemi čtyřmi lety – jak moc to souvisí s pandemií covidu? Pro mě byly roušky, neuznávání vědeckého pokroku, hejty vůči vakcínám a složitý sociální a komunikační rozpor náročné a depresivní, uvědomit si, jak algoritmy nás zatlačují do bublin a personalizují výsledky. Nyní se schopnost AI mluvit přímo ke konkrétnímu člověku – například k tobě, Jirko Materno, nebo ke mně, Jirko Vichrko – bude jen zlepšovat a bude přesvědčivější.

U mě to ale nesouviselo tolik s covidem, spíš s GPT-2. Na něm jsem viděl (a každý, kdo si to vyzkoušel), že má skutečně emergentní schopnosti, které jsme připisovali jen lidem. V té době jsem začal intenzivně přemýšlet, jestli ty schopnosti, které my lidé přisuzujeme sami sobě, nejsou také náhodné a tudíž ani my svobodnou vůli nemáme.

Víme, že neuronové sítě nemají vědomí ani svobodnou vůli, ale co když my také ne?

Mám rád analogii k jazykovým modelům v souvislosti s Turingovým testem. Ten test, který vymyslel Alan Turing už v 50. letech, je způsob, jak poznat, jestli je stroj inteligentní. Funguje tak, že jsou tři místnosti – ve dvou jsou lidé, ve třetí stroj. Člověk, který klade otázky, neví, kdo je kdo. Pokud nedokáže rozlišit, kdo je člověk a kdo stroj, pak stroj test prošel.

Existuje však řada kritik. Nejznámější je argument čínského pokoje. Ten říká, že stroj může být velmi jednoduchý mechanismus, který má rozsáhlou překladovou tabulku všech možných otázek a odpovědí. Stroj symbolicky vyhledává otázku a vrací odpověď, aniž by byl skutečně inteligentní.

Překladová tabulka by sice musela být nekonečně velká, ale technicky si to umíme představit.

Mně právě přijde, že jazykové modely dělají něco podobného. Vypadají jako inteligentní, ale uvnitř nesplňují naši představu o inteligenci.

Na druhou stranu by mohl člověk fungovat podobným způsobem – navenek inteligentní, ale uvnitř možná ne tak, jak si představujeme. Všechno záleží na definici inteligence. Tak, jak si ji většina lidí představuje, možná nefunguje.

A to nejdůležitější je, že je to vlastně jedno, protože rozhodující je vnější projev. Pokud se jazykové modely chovají inteligentně, stejně nebo více než lidé, můžeme je považovat za inteligentní, i když jejich mechanismus je jiný, než bychom chtěli.

Už jsme se dotkli dětí – máš také malé děti?

Mám dvě.

To mě na nich fascinuje. Ony nejprve vytvářejí jakousi tabulku. Například když se řekne „děkuju“ a co na to říct, to je vstup, očekávaný výstup. Když dítě nemá kontext, a třeba ho chytíš, že tě neposlouchá, může odpovědět „děkuju“ místo „prosím“, protože ví, že chceš nějakou odpověď, a ta odpověď patří do omezené množiny jako „děkuju“, „prosím“ nebo „promiň“.

Některé děti to berou doslova. Často si říkám, zda vůbec existuje jeden moment, kdy z dítěte je plně uvažující dospělý, ale zároveň mě překvapuje, jak dospěle se ke všemu chovají a že už pochopily princip, kterým se řídí vyšší moc.

Jak děláš to, abys tě budoucnost nezaskočila a držel krok s vývojem? Máš nějaké tipy nebo doporučení pro naše posluchače na sledování zdrojů?

Z mých aktivit doporučuji Machine Learning Praha, konanou v dubnu 2024. Máme tam spoustu zajímavých řečníků – například Marika Campbella, který stál v čele projektu Deep Blue v IBM, což byl počítač, který poprvé porazil Garryho Kasparova v šachu.

Dále přijede člověk, který vede machine learningový tým v NASA a bude mluvit o použití strojového učení při objevování exoplanet. Je tam spousta dalších řečníků.

Určitě také doporučuji Machine Learning College, web mlcollege.com, kde jsme připravili nový kurz o velkých jazykových modelech. Pokud vás zajímá, jak velké jazykové modely uvnitř fungují, jak je promptovat a případně jak si vytvářet vlastní modely, dozvíte se to v našem novém kurzu „Velké jazykové modely pro generování textu“.

Co se týče oblíbených influencerů a osobností ve světě machine learningu, již jsme zmínili Andreje Karpathyho. Ten byl vedoucím AI v Tesle, ale už tam není, odešel před rokem, nyní pracuje, pokud se nepletu, v OpenAI.

(Text končí v polovině věty a není pokračování.)

Určitě bych doporučil sledovat tuto osobnost, je to velmi zajímavá osobnost, která je v bezprostředním kontaktu s těmi nejnovějšími trendy. Mně se moc líbilo, že vše ukazuje prakticky, například na YouTube má videa, jak vytváří vlastní modely, jak je upravuje a tak dále. Vidíte mu na obrazovku, jak kóduje, je to opravdu hands-on. Člověk by si řekl, že někdo s jeho statusem a na jeho pozici by mohl být už líný, přesto je stále hands-on, což se mi moc líbí.

Určitě doporučuji například Andrewa Wanga, což je jedna z pěti osobností na světě, která má obrovské znalosti v oblasti strojového učení. On vydává velmi pěkný newsletter, doporučuji se na něj podívat. Snad se jednou stane prezidentem? To ale nevím.

Kdo by měl zájem o trochu skeptičtější pohled na tyto technologie, může se obrátit například na Jana Lekuna, který je vedoucím výzkumu umělé inteligence ve společnosti Meta. Ten také patří mezi významné odborníky, ale má opatrnější názory, takže pro doplnění určitě také doporučuji.

Super, moc děkujeme za tvoje tipy a já ti velmi děkuji za to, co tady děláš. Jsem rád, že jsme mohli projít tvou cestu, která je do značné míry definující pro český trh. Ještě jednou děkuji za tvou práci, za všechno, co děláš, a věřím, že se brzy znovu uvidíme a uslyšíme.

Já moc děkuji za pozvání.
A to je všechno.

Děkujeme, že jste doposlouchali až sem. A děkujeme také našim partnerům: Big Hubu, Recombi, Intex, Nanoenergies, Life Sportu, SAS, Bistritum, Colors of Data, Revolt BI a Gudatě.

Jestli vás zajímá více z české datové scény a datových technologií globálně, nechte nám svůj e-mail na datatalk.cz. Nebo nás přijďte navštívit na jeden z našich meetupů na DataMesh.cz.

Nechť vás provází data.