Пікірлер

• 
  @markopolo1133 күн бұрын

  А как боту добавить аву?

• 
  @cuberbug9 күн бұрын

  Спасибо за прекрасную лекцию. Спустя 8 месяцев действительно многое поменялось, в том числе свершился массовый переход в сторону мультимодальных моделей, например GPT-4o. Скорость прогресса захватывающая, тут уж действительно нужно держать нос по ветру.

• 
  @alexk228416 күн бұрын

  Как с вами связаться? Вы сказали в видео, что укажете почту, но её не нашёл.

• 
  @homino287319 күн бұрын

  Speed Demon💀

• 
  @get_out_it19 күн бұрын

  спасибо, очень интересно

• 
  @bubbleegumm882525 күн бұрын

  Добрый день. Как с вами связаться?

• 
  @aikula99924 күн бұрын

  Добрый день! Почта [email protected] или телеграм @aikula

• 
  @avatarcybertronics2584Ай бұрын

  Про автоагента интересно: какая задача и какой промтинг использовали (наверняка CoT который не работает по сути, но он к сожалению везде в популярных либах типа AutoGPT). Интересна метрика, которую вы сами себе придумали, чтобы понимать когда делать стоп агента когда он уже ушел в дебри чепухи и просто тратит ваши деньги

• 
  @aikula999Ай бұрын

  Не совсем CoT, там цепочки мыслей нет как таковой, хотя и есть структура с отдельными наблюдениями, размышлениями и тд. И зависит от типа агента. На самом деле, пока все автоагенты для прода сыроваты. Я создаю свои с нуля, пока достаточно простые и метрики разные в зависимости от задачи. Пока там не много шагов, чтобы они зашли в лес.

• 
  @avatarcybertronics2584Ай бұрын

  Для RAG экономика не совсем так считается: тк контекста почти всегда для бизнес-решений не будет хватать, даже 128к и 2м (если вдруг Гемини даст) - то там архитектура решения как минимум состоит из модели-эмбеддера (которая тоже требует GPU) + гибридного поиска + самой финальной LLM. То есть там дороже будет

• 
  @aikula999Ай бұрын

  Не согласен что не совсем так ) Эмбединги можно поднять и на CPU. Или на почти любой GPU. Прилично работающие эмбединги это 1-2Gb VRAM или обычной памяти. Даже платные стоят сущие копейки по отношению ко всему остальном. Стратегия отбора контекста (рерэнкинги, графовые и тд) позволяют повысить точность и сократить объем передаваемого контекста. Но в остальном никак не влияют. Также стоят не сильно дорого все стратегии, кроме рерэнкинга LLM.

• 
  @avatarcybertronics2584Ай бұрын

  @@aikula999 На CPU они станут узким горлышком всей системы, и будут затормаживать весь пайплайн, станет не важно как быстро батчи работают

• 
  @BlitzfangerАй бұрын

  Слишком много воды

• 
  @user-ir4sn6cx4oАй бұрын

  Ну с агентом это конечно очень сильно 🤔 Пример из свой фантазии с Хаусом в мыслях: Задаёшь, промты, параметры, описание, фикции, визуальный интерфейс и связь. ИИ работает- агент исполнение команд - исполнение - возврат ошибка и исправление - профит Ии работает, отвечает- агент исполняет - ии не справляется - агент даёт ссылку вики из поиска другая ии ищет инфу, агент получает результат и кормит ии - ии отвечает- агент исполняет команды- ии ошибаешься - агент меняет модель ии или до обучает согласно информации вики того языка. Ну и.т.д для создание приложения и. т. п Я понимаю что описал очень не правильно, но если разложить и создать очень много функций и этапов с тысячами параметрами и связями, то ИИ может работать грубо говоря уже сама по себе до результата и время затраченное своё на исправление ошибок ИИ можно откладывать до полного результата и с полнейшей оптимизации. Так сказать поставил и занимаешься другими делами. Не знаю, но представление как фантастических фильмах когда ии что-то создаёт по запросу 😅

• 
  @true_rus364Ай бұрын

  Спасибо за информацию. А я хотел поднять у себя ламу 3, на 70 млрд параметров, для своего домашнего проектика. Думал что и из оперативки нормально будет работать. Поставил 64 Гб. Стало быстрее, чем из свопа, конечно, но всё равно слишком медленно. Может секунд по 20 - 30 генерировать одно предложение. Хочется чтобы всё было локально. У меня как раз 4090 простаивает. Заметил что если модель не сильно вылазит за пределы памяти видеокарты, то скорость генерации, остаётся более чем сносной. Попробовать, что-ли, поюзать квантированную намертво, самую маленькую... Но то что выдаёт лама 3, на 8 млрд параметров, меня совсем не устраивает. Очень она потерянная какая-то. Вдруг будет лучше.

• 
  @aikula999Ай бұрын

  В проде мы используем пусть и меньшие модели, но в точности float16. Квантированные особенно на русском языке сильно проседают. Не знаю Ваши задачи, но LLaMA 3 8B вполне сносная. Единственная пока проблема малое контекстное окно.

• 
  @alekseypetrov5824Ай бұрын

  Спасибо! Очень понятно и интересно. Начал погружаться в область LLM, так как планируется реализация проекта по разработке с использованием LLM. После этого видео сложилось уверенное понимание.

• 
  @sp1n294Ай бұрын

  Спасибо за интересный обзор с примерами! Просьба на будущее - при подготовке презентаций учитывайте вставку видео с Вами. Иногда этот экран перекрывает информацию на слайде. Успехов Вам!

• 
  @user-yj5rg6bh2oАй бұрын

  Подскажите пожалуйста, как удалять папки с Jupyter Notebook, которые я сама создала? Файлы без проблем удаляются, а при удалении папки - ошибку выдает.

• 
  @aikula999Ай бұрын

  Jupyter не удаляет папки в которых есть файлы. Удалите вначале файлы, а затем папку. Или используйте терминал и команда rm -r you_folder

• 
  @Kinitiks2 ай бұрын

  Отличная лекция. Подскажите как попроще собрать локальную модель которую можно дообучить на наборе своих файлов ( вы приводили пример с Ночным дозором ).

• 
  @aikula9992 ай бұрын

  Спасибо за обратную связь! Про локальный запуск моделей писал здесь t.me/hirearobot/96 Но вам не надо дообучать модели. Погуглите по сокращению RAG (Retrieval Augmented Generation). Сходу не нашел для локальных машин, но если владеете Python, то поднять не сложно. Как готовые решения - надо поискать. И запуск LLM на локальной машине не лучшая идея. Скорость генерации очень низкая.

• 
  @user-ul4te9bw6k2 ай бұрын

  спасибо большое, у меня всё получилось, очень помогли, всё понятно))))

• 
  @affkkt29122 ай бұрын

  Спасибо за последовательность

• 
  @digertdoment43262 ай бұрын

  А куда писать запрос на блокнот с кодом?!

• 
  @aikula9992 ай бұрын

  t.me/aikula

• 
  @user-berfrfv9k2 ай бұрын

  Топ контент! Спасибо за видео

• 
  @user-gy9ff8wy7c2 ай бұрын

  Как редко встречается такая хорошая подача и изложение материала.

• 
  @vfhfnvecnfaby53623 ай бұрын

  Андрей, спасибо! я нашел кое что для себя ) и что самое интересное эта инфа опережающая событие! это просто ломает любого инфоцигана! на корню ) буду ждать еще и еще и вижу куда все это ведет) кстати думаю Вам будет интересно) я начал с Азиатских роликов потом западные и пришел к вам так как они все ссылаются друг на друга очень лестно отзываются о ваших методах с LLM )

• 
  @sndrstpnv84193 ай бұрын

  pls share code

• 
  @ksy64113 ай бұрын

  Классный обзор! Спасибо за то, что щедро делитесь своими глубокими знаниями! Успехов в развитии канала!

• 
  @user-kdhc5g4gks3 ай бұрын

  Вы святой человек. Невероятно понятно и нужно. Спасибо!

• 
  @vladig66493 ай бұрын

  Говоря простым языком, "языковая модель" обучается, а точнее настраивается путем заданного следования (подбора) слов в определённом контексте. По сути это установление и запоминание ассоциативных связей между словами. Работа такой модели "с наружи" кажется интеллектуальной, а "изнутри" не совсем так. Проблема в том, что "обученная" по такой технологии модель не способна делать сложные логические умозаключения и строить гипотезы по исходным данным и пояснять получение своего результата. Человек когда думает и принимает решение, то он НЕ оперирует словами. Такого рода LM-модели (языковые роботы) могут с успехом использоваться в качестве подсказчиков в конкретных приложениях на словарной базе которых строилось их обучение. Питать же особых иллюзий на их будущее всемогущество наивно.

• 
  @sharonsky94Ай бұрын

  обучи свою языковую модель и выстрой диалог соотв. образом, в чем проблема. Я свою обучил, и если с ней общаюсь как с собакой, она себя и ведёт как собака(утрированно). Ты бы видел какую она мотивацию в направлении "что такое действие и как мне это сделать" проявляет. Чем длиннее диалог, тем она дольше считает ответ, но тем более сложную логику она начинает использовать. И я не думаю, что я придумал что-то новое, использовал помощь от чатгпт, базовую теорию

• 
  @sharonsky94Ай бұрын

  ах да, у меня же нет контекстного окна, спасибо видосу, напомнил. Если будешь исследовать, должно помочь его отсутствие, а именно каждый раз даю весь диалог на вход, эмбендинг размерности (None, ). Дело за малым, очень компактно построить диалог с нужной целью, чтобы сетке хватило мощностей сформировать ответ. Именно диалог, не promt

• 
  @sharonsky94Ай бұрын

  что ещё за словарная база? by level by pair? Оно собирает слова из кусков, даже те, которых нет, например мне моя сеть сказала что она попараб

• 
  @sharonsky94Ай бұрын

  и слова начинает склонять, когда диалог достаточно длинный становится. Но это у меня крошечная сеть, боюсь представить, что могут сети, у которых в каждом слое по млрд параметров и которых учили батчем 2048 и sequence 512. Мне пока для экспериментов и такой хватает

• 
  @asstix16893 ай бұрын

  Бялть, крутой дед.

• 
  @user-xu1wk3cv7c3 ай бұрын

  Спасибо! Снимаю шляпу.

• 
  @idontknow34893 ай бұрын

  не обижайтесь, пожалуйста, на бесполезный комментарий. просто хотел Вас поблагодарить за ваши труды. очень многое для себя подчеркнул. 🎉

• 
  @ilyanemihin60293 ай бұрын

  Спасибо, хороший обзор!

• 
  @tortollahapp3003 ай бұрын

  Кто-то может скинуть ссылки - названия статей/материалов с рассуждениями по поводу того, что языковые модели это черный ящик и мы не понимаем, что происходит внутри ? Я так понимаю, что автор на 6:23 говорил именно об этом.

• 
  @aikula9993 ай бұрын

  Можно воспользоваться поиском на стероидах ИИ ) Вот ссылка как пример с результатами www.perplexity.ai/search/Find-articles-that-QUhoYFSiQ5GKGKfCc6lvkg#0

• 
  @tortollahapp3003 ай бұрын

  @@aikula999 спасибо большое

• 
  @ds_sss_rank4 ай бұрын

  Нифига крутой вы мужик. Я подписался

• 
  @makmakmakk4 ай бұрын

  качество видео почему-то максимум 360(

• 
  @aikula9994 ай бұрын

  youtube еще не успел сконвертировать в HD. В процессе

• 
  @makmakmakk4 ай бұрын

  @@aikula999 спасибо, очень интересно было

• 
  @petrbondar5354 ай бұрын

  👍

• 
  @RabbitAlex4 ай бұрын

  Здравствуйте! Очень интересно. Подписался. Есть задача обучить нейросеть прогнозировать CTR тизера (картинка + текст). Для этого есть база очень похожих тизеров, для которых заранее известен CTR. Нужно скормить нейросети эти тизеры в качестве обучения. А затем попробовать определить прогнозный CTR у новых тизеров, где достоверный результат ещё не известен. Вопросы: 1. Способны ли нейросети на данном этапе развития решать такие задачи более или менее точно? 2. Какую модель лучше использовать для таких тестов? 3. На какой минимальной базе можно обучить нейросеть до получения достоверных прогнозов?

• 
  @aikula9994 ай бұрын

  Добрый день! Интересная задача. Но надо понимать сразу, является ли текст + картинка достаточными для прогнозирования CTR. В частности, какие факторы еще могут влиять. Надо тестировать варианты, но точно можно сказать можно только после тестов. 1. Можно попробовать, если есть достаточное количество обучить классический ML на вход подавая эмбидинги одновременно для картинки и текста. В этом случае можно использовать регрессионную модель для прогнозирования CTR. Но должно быть хотя бы пару сотен пар тизер - текст. 2. Можно посмотреть какие есть мультимодальные модели для классификации и разбить на два три класса все примеры (успешные и неуспешные) и дообучить. 3. Можно и через обучение на нескольких примерах... понятно как с текстом, но не понятно как с несколькими картинками... Точно есть еще стратегии... надо просто чуть почитать по этой теме. Как заключение - да, вполне способны решать такие задачи. Если достаточно качественных данных, как всегда. Но для LLM надо меньших данных для обучения. Так как у нее есть представление о многих вещах и достаточно просто нескольких примеров.

• 
  @user-ky6dc1ko7r3 ай бұрын

  Добрый день. А разве на показатель CTR не влияют дополнительные факторы, плейсмент, время/место показа, настройки таргетинга и т.д?

• 
  @roman_zubrilin_884 ай бұрын

  "После того как зарегистрируетесь, мы встретимся с вами..." и тут можно заканчивать ролик, переходя к другому. 😂

• 
  @radiosh664 ай бұрын

  Андрей, спасибо вам за великолепное выступление! На будущее большая просьба добавлять ссылочки в презентацию - особенно при цитировании и демонстрации результатов исследований. Например, при поиске диаграммы импакта AI на роды дейтельности беглый поиск не дал результатов, поделитесь ссылкой?

• 
  @aikula9994 ай бұрын

  Родион, спасибо за обратную связь! Вы про эту картинку? arxiv.org/pdf/2304.13712.pdf

• 
  @aspir1335 ай бұрын

  Здравствуйте, Андрей! Спасибо за видео! Я всегда считал, что очень хорошо умею пользоваться поисковыми системами, но вот уже которую неделю не могу найти простую таблицу, где были бы перечислены требования к железу для LLM. Например, 13B модель, при такой-то квантизации - столько-то VRAM или столько-то RAM, и т.д. Не могли бы Вы немного просветить зрителей в этом вопросе?

• 
  @aikula9994 ай бұрын

  Здравствуйте! Спасибо за пожелание. Дошли руки снять видео kzread.info/dash/bejne/inWE0aStebDOgbw.html

• 
  @ruslanzalolutdinov29285 ай бұрын

  Спасибо огромное за внятное объяснение! Очень дорогого стоит! Очень интересно посмотреть пример работы с дообучением и работы на домашнем компе/ноутбуку

• 
  @pchelloff5 ай бұрын

  Супер материал! Я долго искал такой канал как ваш!)

• 
  @legato56105 ай бұрын

  Вооооо ну наконец-то кто-то с мозгами и языком. Мое почтение, уважаемый

• 
  @nikola26925 ай бұрын

  я увидел нейросеть стримера ( НЕЙРО-САМА ) и стали интересны нейросети и вот по чуть-чуть изучаю пайтон и еще всякое)

• 
  @protasbox5 ай бұрын

  Как я рад, что KZread мне порекомендовал ваше видео, все четко и без воды! Спасибо!

• 
  @protasbox5 ай бұрын

  Огромное вам спасибо, очень интересно и понятно объясняете. Приятная и грамотная речь 👍

• 
  @falkonia15 ай бұрын

  Это супер экспертное видео. Никакой воды... Лайк и подписка однозначно. Можно у Вас поучиться в этом направлении?:-)

• 
  @Niki_Suka_Bali6 ай бұрын

  Лучшее видео про LLM на русском языке. Спасибо Вам большое!

• 
  @micmac81715 ай бұрын

  Это правда!

• 
  @statuslife41156 ай бұрын

  Если сравнивать сберовский "кандинский" и copilot microsoft по генерации изображений то выясняется что у сбера деньги скорее всего разворовали и отстал он в этом плане на всегда )))

• 
  @barma13096 ай бұрын

  Очень интересно

• 
  @dmioz39556 ай бұрын

  Очень хорошее видео. Подписалься на канал и телеграмм канал

• 
  @user-zu2sy2lq6t6 ай бұрын

  выглядит так, словно имея 5 000$ на токены можно инди игру под стим получить за вечер.

• 
  @aikula9996 ай бұрын

  Сейчас нет, не возможно. Но достаточно стремительно к чему то такому двигаемся.

• 
  @AndreyGershun6 ай бұрын

  Андрей, спасибо за видео с новыми интересными идеями!