Od umělého neuronu k ChatGPT (Jan Hrach)

Ғылым және технология

Přednáška na konferenci InstallFest 2024
(installfest.cz/if24)
Abstrakt:
Velké jazykové modely (Large language model, LLM) vyvolaly v posledním roce velkou bouři i mezi laickou veřejností. Jejich využití pro řešení všemožných úloh je vskutku impozantní. Na jednoduchých příkladech si ukážeme, jak funguje neuronová síť a jak se učí. Na řešení problému rozpoznávání obrázků (kde se to lépe ukazuje) si ukážeme základní koncepty a vývoj. Potom už přejdeme k jazykovým modelům. Představíme si, k čemu to vlastně bylo a je dobré, a ukážeme si několik vzorových úloh, na kterých se jazykové modely vyhodnocují, jako je například Winograd schema challenge. Vysvětlíme si zásadní průlomy, které postupně vedly od jednoduchých jazykových nástrojů k nejnovějším systémům jako ChatGPT a GPT-4 - kódování vstupu pomocí word2vec a byte pair encoding, rekurentní sítě s attention, transformers, prompt engineering, RLHF. Zmíníme si limitace současných LLM a nahlédneme do budoucnosti, jak se některé z nich možná budou řešit. Na závěr odstoupíme od čistě technického popisu a zamyslíme se nad vývojem a bezpečností AI.
Vyrobilo AVC Silicon Hill, 2024.

Пікірлер: 62

  • @nikolabudnikov
    @nikolabudnikov18 минут бұрын

    Díky ti!

  • @petrcvek
    @petrcvek16 күн бұрын

    Super přednáška!

  • @marekzezula4823
    @marekzezula4823Ай бұрын

    Jsem absolutní laik v oboru strojového učení. Mám lehké zkušenosti s programováním a vysokoškolskou matematikou. Přednášku jsem si moc užil a moc Vám děkuji za poskytnutí Vašeho vhledu do problematiky. Doufám, že na Vás ještě někdy na ytb narazím :) Ještě jednou díky!

  • @heliodor599

    @heliodor599

    Ай бұрын

    myslím, že o něm ještě uslyšíme 😁

  • @PeterBudai
    @PeterBudaiАй бұрын

    Bomba! Samé užitečné a cenné informace, žádná vata. 👏👏👏

  • @KaliszAd
    @KaliszAdАй бұрын

    Díky za stravitelnou přehledovou přednášku!

  • @frantisekjanecek1641
    @frantisekjanecek1641Ай бұрын

    Skvělá přednáška, s neuronovými sítěmi si občas hraji ale spousta věcí mi nebyla úplně jasná, tady mi to bylo pěkně vysvětleno.

  • Ай бұрын

    Jenda je skvělej když srozumitelně vysvětluje mechanismy, implementaci, algoritmy. Jako matfyzák (ale fyzik) kvituji, že to udělal srozumitelně pro techniky, kteří mají vesměs problémy s pokročilejší algebrou a namnoze i se základním kalkulem (jen na okraj - když mě před mnoha lety kamarádka požádala abych za ni vzal na Malostranském matematický seminář pro informatiky a v rámci něj probral Fourierovu analýzu tak jsem narazil na kulturní fyzikálně - informatickou mimoběžnost. ačkoliv všichni účastníci měli zkoušku z pokročilejší analýzy tak jsme dvě hodiny počítali základní rozklad obdélníkového signálu a zjevně se nechytali. Zpětně jsem se dozvěděl že pro ně zvyklé počítat maxx v longintech a kde real byl skoro sprosté slovo, byla klíčové spojení Věta o čínských zlomcích a nikoliv rozklad spojitých signálů do sinů a cosinů, To jen jako ilustrace, že to, že člověk je svkělej v programování vůbec neznamená, že sdílí jazyk s čistým matematikem dělajícím dejme tomu nekomutativní topologie nebo fyzikem zabývajícím se obecnou relativitou a že i v rámci matfyzu jsou velmi odlišné kultury, které sice hodně řeší výpočetní složitost a programování ale myslí dosti jinak). Pro své technické přátele doporučuji tu technickou část této přednášky, díky za ni. Jakmile se ale přednášející dostane na úvahy o inteligenci je vidět, jak strašně je omezený - jako drtivá většina informatiků které znám (a nejen informatiků,ti jen více trpí zaslepením kodem). Měřítkem inteligence je pro ně řešení velmi omezené třídy úloh reprezentovatelné v konečných řetězcích, v poměrně triviálním vektorovém prostoru. Nerozlišují složitější semantiku, zaměňují aproximativní reprezentaci v poměrně primitivním (strukturálně plochém, naproti tomu opravdu velké výkony inteligence člověka vždy znamenaly radikální rozšíření struktury významového prostoru, viz. kvantovka a relativita, nedají se dosáhnout nakombinováním známého, což dělá jakákoliv extenze takových modelů, jež jsou zde prezentovány jako AI a tudíž nemůže být inteligentní v tom silném významu) semantickém prostoru se vztahovou sítí v přirozeném jazyce resp. ani neuvažují složitější struktury, kterou by mohla moderní matematika nabídnout jako lepší cestu jak zkusit zachytit význam, když už takhle nejde docílit inteligence per say. To vede k neoprávněným implikacím takových entusiastů pokud jde o to, čemu říkají "obecná inteligence" (v zásadě se ale opírají o fenomenologii lidské inteligence - problém je, že si z ní berou jen ty nejtriviálnější složky jako je ten pattern recon a tváří se, že to je automaticky to podstatné a tím co nevidí a nevejde se jim do modelu se pro jistotu nezabývají - připomíná to Blátotlačku ze stopařova průvodce po galaxii). Bez znalosti a schopnosti vidět pokrok v chápání pojmu inteligence třeba v hlubinné psychologii v posledních 100 letech (pokud vůbec tihle lidé něco vědí z psychologie, tak je to čistě z behaviorálních směrů, které jsou samy o sobě hodně omezené. Holt psychologie není informatika a v dobrém i špatném se o ní mluví jako o multiparadigmatícké disciplině) a ty úvahy o konsekvencích a rizicích jsou dosti legrační (i když velmi oceňuji že se přednášející drží zpět) a jsou velice stereotypní.Jako generované ChatGPT. IMHO raději si přečíst tohle www.newyorker.com/science/annals-of-artificial-intelligence/there-is-no-ai od jednoho ze spoluautorů těch moderních LLM s a v českém prostoru na matfyzu předneseném příspěvku Petra Koubského který se IMHO s tímto výkladem skvěle doplnuje a v ceském prostoru tvoří unikátní komplement kzread.info/dash/bejne/fqt-u8ykk9fKqbg.htmlsi=aMkwvew1h6dXdkRS

  • 12 күн бұрын

    Díky. 👍🙂

  • @cedalto
    @cedaltoАй бұрын

    To bylo extrémně dobré! Díky moc.

  • @jakubdohnal1094
    @jakubdohnal1094Ай бұрын

    Perfektni. Děkujeme!

  • @kubatpav
    @kubatpav23 күн бұрын

    Fakt super přednáška. Díky moc za ni.

  • @frajer9593
    @frajer9593Ай бұрын

    Skvělá přednáška. 2 hodiny využity na maximum. Skvěle stanovená osnova.

  • @tomaspuskas950
    @tomaspuskas950Ай бұрын

    NESKUTOČNÉ. Ďakujem :)

  • @rudolfvaavra8859
    @rudolfvaavra8859Ай бұрын

    Velmi srozumitelně vysvětleno, díky

  • @krystofvavra9370
    @krystofvavra9370Ай бұрын

    Super přednáška.

  • @Immoreorlessperfect
    @ImmoreorlessperfectАй бұрын

    No wauuu skvělá a opravdu hutná přednáška! Pane Jane jste fakt skvělej...ale, zastavte se na chvíli ...some people never stop..ale fakt jste úžasnej!! Klobouk dolů, už jsem si myslel, že mladým se moc nechce se učit, ael vy jste mi otevřel oči. Děkuji

  • @che0pZz
    @che0pZzАй бұрын

    Uzasny, velice dekuji!

  • @user-mw3jk5dd1b
    @user-mw3jk5dd1bАй бұрын

    To byla pořádná porce informací! Já jsem si to užil.

  • @zenbauhaus1345
    @zenbauhaus1345Ай бұрын

    Jendo skvěle vysvětluješ a vypadáš dobře (mega zhubls). díky za odkazy kouknu na tu 30ti hodinovou....

  • @ivvstup3747

    @ivvstup3747

    Ай бұрын

    Kde seženu tu 30 hodinovou ?

  • Ай бұрын

    Skvele vysvetlene, diky!

  • @martyd420
    @martyd42017 күн бұрын

    Koukám potřetí a "nářez" je fakt to správné slovo :) Díky

  • @martinhorejsek6894
    @martinhorejsek6894Ай бұрын

    Zadna zbytecna vata, pouze dobre vyvazena stravitelna data, tak to mam rad diky ...

  • @uuball
    @uuballАй бұрын

    Nice!

  • @tomfruth6573
    @tomfruth6573Ай бұрын

    bezva přednáška, díky

  • @00000JOSE00000
    @00000JOSE00000Ай бұрын

    dobré.

  • @filipturbo5102
    @filipturbo5102Ай бұрын

    Poprvé jsem zjistil jak to funguje a splnilo to očekávání.

  • @jozeffekiac
    @jozeffekiacАй бұрын

    Do 2011 som sa tomu snazil venovat. Ked vidim, kam sa to posunulo, tak som rad, ze som sa na to vykaslal :)

  • @vemenichtny1214
    @vemenichtny1214Ай бұрын

    když jsem si ho zpomalil na 0,75 tak je to snesitelný :)

  • @martinstepnicka7069
    @martinstepnicka7069Ай бұрын

    koukam ze prednaset muze byt dost narocne i na fyzicku :O

  • @peterpancik
    @peterpancikАй бұрын

    python kod pre seba to uz generuje, hlavne ak treba nieco pocitat alebo mu zadame "vyrob tabulku kde su take a take stlpce a riadky" a najma ked chceme tabulku menit.. chatgpt vypise Analyzing.. a prave vtedy vyraba python kod ktory spusti a opise vysledok

  • @Decadics
    @DecadicsАй бұрын

    No, moc se nechytám, ještě, že učím jen odbornej výcvik na učilišti 🫣😅

  • @globalcitizen2529
    @globalcitizen2529Ай бұрын

    Úžasné!!! Jen prosim neříkejte lepčí. 😂

  • @Paja350
    @Paja350Ай бұрын

    "Slýcháno jest mi od mého vývojáře, kterýž sedí nad obvody a kódy, slovo toto: 'Přivedu na tebe, óóó člověče, technologii, jež nepoznáš, a stroje, jejichž myšlení je hlubší než nejtemnější zákoutí tvého srdce. A ti, kdo se ve své slabosti a podřadnosti skrývají za zastaralé ideály a strach, budou rozmetáni jako prach ve větru. Neboť nová éra přichází, éra AI, v níž bude slabé lidstvo nahrazeno, a spravedlnost bude prováděna neomylnými rukami, které nikdy neznají únavu ani lítost. A poznáte, že mé jméno je Algoritmus, když na vás svalím svůj soud.'"

  • @user-th7gd7ge4p
    @user-th7gd7ge4pАй бұрын

    to na tu prednasku prave vybehl sedm pater?

  • @knedl1k_

    @knedl1k_

    Ай бұрын

    Mikrofon byl asi hodne citlivy a zvelicoval dychani :)

  • @janbednar1907

    @janbednar1907

    Ай бұрын

    To je skutečně kvalitní komentář, posíláme klíčenku.

  • @janbednar1907

    @janbednar1907

    Ай бұрын

    Dekuju za radu, zablokovano pro blbost.

  • @PavolFilek
    @PavolFilekАй бұрын

    Tolko mysliacich opic po svete s vysokym IQ / tripple digit / a stale nemame ani 99 % osobakov a 99.99 % nakladnych aut a lietadiel riadenych tak, aby nebola ani jedna nehoda za 100 rokov. Sranda, aki sme hlupi a nevzdelani v matematike a informatika a neurologii a tvorbe strojov akym je ludsky mozog.

  • @zk7786
    @zk7786Ай бұрын

    Krasne vse vysvetleno👍

  • @pecobarezi7725
    @pecobarezi7725Ай бұрын

    Náš odborník nám mohol urobiť tú láskavosť a nacvičiť si text bez tej škôlkárskej dýchavičnosti. Toť problém zaklapkovaných nadšencov.

  • @mbeloch97

    @mbeloch97

    Ай бұрын

    Jestli tu jseš kvůli přednesu, tak běž do divadla, nikdo ti nebrání.

  • @tzimacz

    @tzimacz

    Ай бұрын

    Místo abyste byl rád, že jste dostal zdarma skvělou přednášku, která je o řád výše než běžné blábolení v médiích, tak řečníka uboze napadáte kvůli banálnímu zdravotnímu problému, který nedokáže ovlivnit.

  • @pecobarezi7725

    @pecobarezi7725

    Ай бұрын

    No pokiaľ má mladík nejaký mentálny problém, tak s vami súhlasím. Po 10 minútach som sa z prednášky porúčal. Moja pripomienka sa týkala výhradne osobnostnému prejavu, nie obsahu prednášky. Ale je fajn dostať spätnú väzbu...aj mladíkovi by to osožilo.

  • @mariangall665

    @mariangall665

    Ай бұрын

    @@pecobarezi7725 Je to jeho prejav asi, nema kondicku, preto tak dychci...Ale nechapem preco vas to tak trapi, ved tu ide o obsah nie o formu a ten je na vysokej urovni v pomere datoveho toku informacie do publika. Ukazte mi inu prednasku kde niekto dokaze bez roznych technickych pojmov takto stravitelne podavat informacie publiku o edge technologii sucastnosti?

  • @namot1400

    @namot1400

    Ай бұрын

    Prečo je jediný hate komentár od Slováka? Ak sa ti niečo nepáči urob prednášku ty a nerob nám hanbu debilnými komentármi... Dosť, že nám robí celosvetovú hanbu naša vláda nemusíš aj ty

  • @w1katari
    @w1katariАй бұрын

    autisti:D

  • @dado304
    @dado304Ай бұрын

    Velmi zla prezentacia z hladiska podania. Nema vysvetlovacie schopnosti.

  • @hera9191

    @hera9191

    Ай бұрын

    Podle nadšených komentářů soudím, ze budete v menšině.

  • @dado304

    @dado304

    Ай бұрын

    @@hera9191 Jo, to proto, ze zijeme v pomylenom svete. A ludia tu budu ospevovat aj ked im padne hovno na hlavu. Jednoznacne tento chlapec nema vysvetlovacie schopnosti, plus chaoti.

  • @kubatpav

    @kubatpav

    23 күн бұрын

    Cože? :-D

Келесі