Od umělého neuronu k ChatGPT (Jan Hrach)
Ғылым және технология
Přednáška na konferenci InstallFest 2024
(installfest.cz/if24)
Abstrakt:
Velké jazykové modely (Large language model, LLM) vyvolaly v posledním roce velkou bouři i mezi laickou veřejností. Jejich využití pro řešení všemožných úloh je vskutku impozantní. Na jednoduchých příkladech si ukážeme, jak funguje neuronová síť a jak se učí. Na řešení problému rozpoznávání obrázků (kde se to lépe ukazuje) si ukážeme základní koncepty a vývoj. Potom už přejdeme k jazykovým modelům. Představíme si, k čemu to vlastně bylo a je dobré, a ukážeme si několik vzorových úloh, na kterých se jazykové modely vyhodnocují, jako je například Winograd schema challenge. Vysvětlíme si zásadní průlomy, které postupně vedly od jednoduchých jazykových nástrojů k nejnovějším systémům jako ChatGPT a GPT-4 - kódování vstupu pomocí word2vec a byte pair encoding, rekurentní sítě s attention, transformers, prompt engineering, RLHF. Zmíníme si limitace současných LLM a nahlédneme do budoucnosti, jak se některé z nich možná budou řešit. Na závěr odstoupíme od čistě technického popisu a zamyslíme se nad vývojem a bezpečností AI.
Vyrobilo AVC Silicon Hill, 2024.
Пікірлер: 62
Díky ti!
Super přednáška!
Jsem absolutní laik v oboru strojového učení. Mám lehké zkušenosti s programováním a vysokoškolskou matematikou. Přednášku jsem si moc užil a moc Vám děkuji za poskytnutí Vašeho vhledu do problematiky. Doufám, že na Vás ještě někdy na ytb narazím :) Ještě jednou díky!
@heliodor599
Ай бұрын
myslím, že o něm ještě uslyšíme 😁
Bomba! Samé užitečné a cenné informace, žádná vata. 👏👏👏
Díky za stravitelnou přehledovou přednášku!
Skvělá přednáška, s neuronovými sítěmi si občas hraji ale spousta věcí mi nebyla úplně jasná, tady mi to bylo pěkně vysvětleno.
Jenda je skvělej když srozumitelně vysvětluje mechanismy, implementaci, algoritmy. Jako matfyzák (ale fyzik) kvituji, že to udělal srozumitelně pro techniky, kteří mají vesměs problémy s pokročilejší algebrou a namnoze i se základním kalkulem (jen na okraj - když mě před mnoha lety kamarádka požádala abych za ni vzal na Malostranském matematický seminář pro informatiky a v rámci něj probral Fourierovu analýzu tak jsem narazil na kulturní fyzikálně - informatickou mimoběžnost. ačkoliv všichni účastníci měli zkoušku z pokročilejší analýzy tak jsme dvě hodiny počítali základní rozklad obdélníkového signálu a zjevně se nechytali. Zpětně jsem se dozvěděl že pro ně zvyklé počítat maxx v longintech a kde real byl skoro sprosté slovo, byla klíčové spojení Věta o čínských zlomcích a nikoliv rozklad spojitých signálů do sinů a cosinů, To jen jako ilustrace, že to, že člověk je svkělej v programování vůbec neznamená, že sdílí jazyk s čistým matematikem dělajícím dejme tomu nekomutativní topologie nebo fyzikem zabývajícím se obecnou relativitou a že i v rámci matfyzu jsou velmi odlišné kultury, které sice hodně řeší výpočetní složitost a programování ale myslí dosti jinak). Pro své technické přátele doporučuji tu technickou část této přednášky, díky za ni. Jakmile se ale přednášející dostane na úvahy o inteligenci je vidět, jak strašně je omezený - jako drtivá většina informatiků které znám (a nejen informatiků,ti jen více trpí zaslepením kodem). Měřítkem inteligence je pro ně řešení velmi omezené třídy úloh reprezentovatelné v konečných řetězcích, v poměrně triviálním vektorovém prostoru. Nerozlišují složitější semantiku, zaměňují aproximativní reprezentaci v poměrně primitivním (strukturálně plochém, naproti tomu opravdu velké výkony inteligence člověka vždy znamenaly radikální rozšíření struktury významového prostoru, viz. kvantovka a relativita, nedají se dosáhnout nakombinováním známého, což dělá jakákoliv extenze takových modelů, jež jsou zde prezentovány jako AI a tudíž nemůže být inteligentní v tom silném významu) semantickém prostoru se vztahovou sítí v přirozeném jazyce resp. ani neuvažují složitější struktury, kterou by mohla moderní matematika nabídnout jako lepší cestu jak zkusit zachytit význam, když už takhle nejde docílit inteligence per say. To vede k neoprávněným implikacím takových entusiastů pokud jde o to, čemu říkají "obecná inteligence" (v zásadě se ale opírají o fenomenologii lidské inteligence - problém je, že si z ní berou jen ty nejtriviálnější složky jako je ten pattern recon a tváří se, že to je automaticky to podstatné a tím co nevidí a nevejde se jim do modelu se pro jistotu nezabývají - připomíná to Blátotlačku ze stopařova průvodce po galaxii). Bez znalosti a schopnosti vidět pokrok v chápání pojmu inteligence třeba v hlubinné psychologii v posledních 100 letech (pokud vůbec tihle lidé něco vědí z psychologie, tak je to čistě z behaviorálních směrů, které jsou samy o sobě hodně omezené. Holt psychologie není informatika a v dobrém i špatném se o ní mluví jako o multiparadigmatícké disciplině) a ty úvahy o konsekvencích a rizicích jsou dosti legrační (i když velmi oceňuji že se přednášející drží zpět) a jsou velice stereotypní.Jako generované ChatGPT. IMHO raději si přečíst tohle www.newyorker.com/science/annals-of-artificial-intelligence/there-is-no-ai od jednoho ze spoluautorů těch moderních LLM s a v českém prostoru na matfyzu předneseném příspěvku Petra Koubského který se IMHO s tímto výkladem skvěle doplnuje a v ceském prostoru tvoří unikátní komplement kzread.info/dash/bejne/fqt-u8ykk9fKqbg.htmlsi=aMkwvew1h6dXdkRS
Díky. 👍🙂
To bylo extrémně dobré! Díky moc.
Perfektni. Děkujeme!
Fakt super přednáška. Díky moc za ni.
Skvělá přednáška. 2 hodiny využity na maximum. Skvěle stanovená osnova.
NESKUTOČNÉ. Ďakujem :)
Velmi srozumitelně vysvětleno, díky
Super přednáška.
No wauuu skvělá a opravdu hutná přednáška! Pane Jane jste fakt skvělej...ale, zastavte se na chvíli ...some people never stop..ale fakt jste úžasnej!! Klobouk dolů, už jsem si myslel, že mladým se moc nechce se učit, ael vy jste mi otevřel oči. Děkuji
Uzasny, velice dekuji!
To byla pořádná porce informací! Já jsem si to užil.
Jendo skvěle vysvětluješ a vypadáš dobře (mega zhubls). díky za odkazy kouknu na tu 30ti hodinovou....
@ivvstup3747
Ай бұрын
Kde seženu tu 30 hodinovou ?
Skvele vysvetlene, diky!
Koukám potřetí a "nářez" je fakt to správné slovo :) Díky
Zadna zbytecna vata, pouze dobre vyvazena stravitelna data, tak to mam rad diky ...
Nice!
bezva přednáška, díky
dobré.
Poprvé jsem zjistil jak to funguje a splnilo to očekávání.
Do 2011 som sa tomu snazil venovat. Ked vidim, kam sa to posunulo, tak som rad, ze som sa na to vykaslal :)
když jsem si ho zpomalil na 0,75 tak je to snesitelný :)
koukam ze prednaset muze byt dost narocne i na fyzicku :O
python kod pre seba to uz generuje, hlavne ak treba nieco pocitat alebo mu zadame "vyrob tabulku kde su take a take stlpce a riadky" a najma ked chceme tabulku menit.. chatgpt vypise Analyzing.. a prave vtedy vyraba python kod ktory spusti a opise vysledok
No, moc se nechytám, ještě, že učím jen odbornej výcvik na učilišti 🫣😅
Úžasné!!! Jen prosim neříkejte lepčí. 😂
"Slýcháno jest mi od mého vývojáře, kterýž sedí nad obvody a kódy, slovo toto: 'Přivedu na tebe, óóó člověče, technologii, jež nepoznáš, a stroje, jejichž myšlení je hlubší než nejtemnější zákoutí tvého srdce. A ti, kdo se ve své slabosti a podřadnosti skrývají za zastaralé ideály a strach, budou rozmetáni jako prach ve větru. Neboť nová éra přichází, éra AI, v níž bude slabé lidstvo nahrazeno, a spravedlnost bude prováděna neomylnými rukami, které nikdy neznají únavu ani lítost. A poznáte, že mé jméno je Algoritmus, když na vás svalím svůj soud.'"
to na tu prednasku prave vybehl sedm pater?
@knedl1k_
Ай бұрын
Mikrofon byl asi hodne citlivy a zvelicoval dychani :)
@janbednar1907
Ай бұрын
To je skutečně kvalitní komentář, posíláme klíčenku.
@janbednar1907
Ай бұрын
Dekuju za radu, zablokovano pro blbost.
Tolko mysliacich opic po svete s vysokym IQ / tripple digit / a stale nemame ani 99 % osobakov a 99.99 % nakladnych aut a lietadiel riadenych tak, aby nebola ani jedna nehoda za 100 rokov. Sranda, aki sme hlupi a nevzdelani v matematike a informatika a neurologii a tvorbe strojov akym je ludsky mozog.
Krasne vse vysvetleno👍
Náš odborník nám mohol urobiť tú láskavosť a nacvičiť si text bez tej škôlkárskej dýchavičnosti. Toť problém zaklapkovaných nadšencov.
@mbeloch97
Ай бұрын
Jestli tu jseš kvůli přednesu, tak běž do divadla, nikdo ti nebrání.
@tzimacz
Ай бұрын
Místo abyste byl rád, že jste dostal zdarma skvělou přednášku, která je o řád výše než běžné blábolení v médiích, tak řečníka uboze napadáte kvůli banálnímu zdravotnímu problému, který nedokáže ovlivnit.
@pecobarezi7725
Ай бұрын
No pokiaľ má mladík nejaký mentálny problém, tak s vami súhlasím. Po 10 minútach som sa z prednášky porúčal. Moja pripomienka sa týkala výhradne osobnostnému prejavu, nie obsahu prednášky. Ale je fajn dostať spätnú väzbu...aj mladíkovi by to osožilo.
@mariangall665
Ай бұрын
@@pecobarezi7725 Je to jeho prejav asi, nema kondicku, preto tak dychci...Ale nechapem preco vas to tak trapi, ved tu ide o obsah nie o formu a ten je na vysokej urovni v pomere datoveho toku informacie do publika. Ukazte mi inu prednasku kde niekto dokaze bez roznych technickych pojmov takto stravitelne podavat informacie publiku o edge technologii sucastnosti?
@namot1400
Ай бұрын
Prečo je jediný hate komentár od Slováka? Ak sa ti niečo nepáči urob prednášku ty a nerob nám hanbu debilnými komentármi... Dosť, že nám robí celosvetovú hanbu naša vláda nemusíš aj ty
autisti:D
Velmi zla prezentacia z hladiska podania. Nema vysvetlovacie schopnosti.
@hera9191
Ай бұрын
Podle nadšených komentářů soudím, ze budete v menšině.
@dado304
Ай бұрын
@@hera9191 Jo, to proto, ze zijeme v pomylenom svete. A ludia tu budu ospevovat aj ked im padne hovno na hlavu. Jednoznacne tento chlapec nema vysvetlovacie schopnosti, plus chaoti.
@kubatpav
23 күн бұрын
Cože? :-D