Аналог chatGPT работает на ноутбуке! Выложили нейросети LLaMA и Alpaca. Инструкция по установке.

Ойын-сауық

Текстовые нейросети LLaMa и Alpaca выложены в свободный доступ. Каждый может их запустить на своем компьютере или ноутбуке. Функционал нейросетей похож на chatGPT. В этом видео показаны примеры работы нейросети и инструкция по установке.
Описание нейросети LLaMa:
arxiv.org/pdf/2302.13971.pdf
Репозиторий Alpaca для запуска нейросети на процессоре:
github.com/antimatter15/alpac...
Ссылка на веса модели 7b:
huggingface.co/Sosaka/Alpaca-...
Ссылка на веса модели 30b:
huggingface.co/Pi3141/alpaca-...
Таймкоды:
0:00 неросеть LLaMa
0:54 нейросеть Alpaca
1:48 примеры ответов нейросети на ноутбуке
3:40 инструкция по установке
4:30 последний запрос к alpaca

Пікірлер: 178

  • @kuliev.vitaly
    @kuliev.vitaly10 ай бұрын

    У вас проблемы с VPN? В России недавно начали блокировать два популярных VPN протокола: OpenVPN и WireGuard. Я предлагаю воспользоваться моим телеграм ботом. Он поможет вам настроить VPN с использованием протокола Outline. t.me/hour_vpn_bot

  • @Mitwad1

    @Mitwad1

    9 ай бұрын

    Виталий. У меня иногда возникают мысли о том что - Криптовалюта..., вернее - те физические лица, которые делали у себя фермы из видеокарт, и зарабатывали на этом. Та , ихняя вычислительная мощность видеокарт - Возможно шла на обучение каких то Нейросетей ?

  • @uabyru
    @uabyru Жыл бұрын

    Проверил 5 + 12 на калькуляторе? Ты жосткий)

  • @msgor86
    @msgor86 Жыл бұрын

    спасибо, но считать на калькуляторе 7+12 это было мощно)))

  • @EugeneD86

    @EugeneD86

    Жыл бұрын

    5+12 )

  • @user-qu4xe6ue3o

    @user-qu4xe6ue3o

    Жыл бұрын

    ахах

  • @emperorgalaxy4495

    @emperorgalaxy4495

    Жыл бұрын

    Не правильно мне говорили что будет 16

  • @neynn4070

    @neynn4070

    Жыл бұрын

    К сожалению, пока что версия Виталика может только так говорить, считать и приводить примеры. Постепенно мы улучшим симуляцию данной модели, что бы движения головы, мимика, тон голоса и логические примеры с аргументами выглядели более реалистично.

  • @Ilja_Adamov
    @Ilja_Adamov Жыл бұрын

    Супер. Именно ведущих на русском нам не хватает. А те, кто разбираются - не спешат инструктировать общественность, зато о самих методологиях и структуризациях могут болтать часами, добавляя в конце своих статей - публикуйте свои результаты(утрирую конечно, но обстановка именно такая). Не останавливайся, просвящай. Меньше чем три.

  • @2cb675
    @2cb675 Жыл бұрын

    Спасибо вам! Очень полезное видео. Подпишусь на вас в чтоб не пропустить новые видео по этой теме

  • @PaulWide
    @PaulWide Жыл бұрын

    Спасибо

  • @MrThetarasum
    @MrThetarasum9 ай бұрын

    Дружище ) спасибо за пояснения, скажи пожалуйста на тему видеокарты, не как не могу понять какую мне подобрать под нее, особенно если хочу использовать 2 сразу, и как мне это облегчит жизнь ?) обьем эти 8 - 16 -24 гигабайт с весами, мне прдбирать модель под озу или гпу ?) ответь пожалуйста ))

  • @kuliev.vitaly

    @kuliev.vitaly

    9 ай бұрын

    В первую очередь важна память gpu. Рекомендую брать 3090/3090ti/4090 если бюджет позволяет.

  • @dezmond8416
    @dezmond8416 Жыл бұрын

    Мне больше всего нравится модель ggml-vicuna-13b-1.1-q4_2.bin (недавно ее обновили) - она и по-русски говорит, и фантазия у нее хорошая.

  • @smart_bar

    @smart_bar

    Жыл бұрын

    а где взять её, тоже на hugging face? у пользователя sosaka я нашёл такую только 7b

  • @smart_bar

    @smart_bar

    Жыл бұрын

    @@dezmond8416 спасибо, попробовал уже так сделать, скачал какую-то Vicuna, называется ggml-vic13b-q4_2.bin Не понятно только как теперь её запустить, пытаюсь скормить её альпаке - говорит ошибка загрузки. Видимо, так не получится, другая программа нужна..

  • @imbovchel

    @imbovchel

    7 ай бұрын

    @@smart_bar дашь знать если нашёл метод для её запуска...

  • @smart_bar

    @smart_bar

    7 ай бұрын

    @@imbovchel эх, вряд ли это случится, я уже забросил это дело. Лучше поищи сам

  • @fixer_fox8308
    @fixer_fox8308 Жыл бұрын

    Четки ролик, когда будет продолжение ? И сможешь сделать видео как её до обучить, просто показать пример и все)

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    По мере возможности запишу продолжение. Обучать пока не планирую

  • @nilanser

    @nilanser

    Жыл бұрын

    Но будет круто увидеть все таки, как это делать.

  • @vladimirmukin158
    @vladimirmukin158 Жыл бұрын

    Ждем обновление с запуском программы

  • @user-and-i
    @user-and-i Жыл бұрын

    было бы интересно узнать как эти сети дообучать на своих данных

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Посмотри как Альпаку в стендфорде обучали. На аренду видеокарт порядка 100 долларов ушло.

  • @user-gv4dy2vd2c

    @user-gv4dy2vd2c

    Жыл бұрын

    @@kuliev.vitaly А где это можно посмотреть?

  • @usertwgetrukwwr9669
    @usertwgetrukwwr9669 Жыл бұрын

    Можно подробнее про квантилизацию ?

  • @2cb675

    @2cb675

    Жыл бұрын

    Ответ гпт: Квантизация весов нейросети - это процесс снижения точности чисел, используемых для представления весов нейронной сети. Обычно веса хранятся в формате с плавающей точкой, который может занимать много места в памяти и требовать больших вычислительных ресурсов для их обработки. Квантизация может существенно сократить требования к памяти и ускорить вычисления, но при этом может привести к потере точности. Как правило, чем меньше количество бит, используемых для представления весов, тем больше точность теряется. Однако современные методы квантизации позволяют минимизировать потерю точности, и для многих приложений точность модели после квантизации остается достаточной.

  • @user-ey7ej1bf4s
    @user-ey7ej1bf4s Жыл бұрын

    Привет, а чтобы запустить модель на 30b, ее в ту же папку положить необходимо?" alpaca-win"?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    да

  • @Igor_AR
    @Igor_AR Жыл бұрын

    Спасибо. 7б показалась довольно слабой, в сравнении с gpt, наверное надо потестить на большей модели... А для GPU случайно нет версий?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    GPU мощная нужна с большим объемом памяти. попробуй альпаку 30б.

  • @alexlion5249
    @alexlion5249 Жыл бұрын

    Спасибо за видео! А где ты взял файл на 30 миллиардов параметров?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Добавил ссылку в описание.

  • @akm_rpg_xakep

    @akm_rpg_xakep

    Жыл бұрын

    @@kuliev.vitaly здравствуйте, я хочу своих подписчиков приобщить к изучению нейросетей и наверняка они в вам придут за науками *?Какое своё видео про нейросети вы считаете самым полезным?* Сам я в начале изучения нейросетей и хочу собрать свою "игрушку" для обучения. Разумеется если вы подскажите мне, то я лучше смогу объяснить все интересные перспективы. И вопросы уточняющие появились : 1) Хватит русского языка для общения с нейросетью ? ((( Какие добавить языки иностранные и для программирования))) 2) Я надеюсь никакого вреда нет для компьютера и данные не уходят на сторону ? (((Подозреваю "бесплатный сыр" может сливать к хозяевам информацию ради дальнейшего обучения их нейросетей))) 3) Может ли нейросеть работать на защищённой виртуальной машине или только с прямым подключением к интернету ? ((( Как обеспечить защиту и возможно ли обеспечить защиту своих вычислений и всех экспериментов))) 4) Возможно ли использовать бесплатные внешние вычислительные мощности ? (((? Вам известны подобные источники внешних бесплатных вычислительных мощностей?))) 5) Реально ли применить распределённое вычисление несколькими нейросетями ? ((( ?Программы приличные вам известны для обеспечения распределённого вычисления несколькими нейросетями и компьютерами ?)))

  • @alexlion5249

    @alexlion5249

    Жыл бұрын

    ​@@kuliev.vitaly Спасибо!

  • @UShortActivities
    @UShortActivities Жыл бұрын

    Круто! А есть возможность запустить ее не на процессоре, а на видюхе?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Можно. Просто она памяти требует много и для этого нужна пачка видеокарт tesla, например A100. Маленькие версии точно можно на RTX видеокарте запустить, но они на процессоре достаточно быстро работают.

  • @UShortActivities

    @UShortActivities

    Жыл бұрын

    @@kuliev.vitaly а качать для видеокард по той же ссылке?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Нет. Эта версия только для процессора. Есть несколько репозиторией с версией для видеокарт, но конкретный не могу порекомендовать.

  • @UShortActivities

    @UShortActivities

    Жыл бұрын

    @@kuliev.vitaly, а можно все таки какую то ссылочку? Буду премногоблагодарен

  • @user-hi4dj9bx8n
    @user-hi4dj9bx8n Жыл бұрын

    Существует ли нейросеть, которая основана на LLaMA, может быть установлена локально и имеет доступ в Интернет? Может быть существуют какие-либо форки у Alpaca, которые дают такие возможности?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Такой функционал есть у chatGPT. Для доступа в интернет специальное плагины пишутся. Это перспективное напрвление, надеюсь скоро будут готовые решения на основе открытых моделей.

  • @Russkoe-slovo
    @Russkoe-slovo Жыл бұрын

    А там есть ещё Далай и СиМаке, как-то с ними можно запускать. Я скачал, но у меня не запускается. Наверное для Альпаки нужны какие-то дополнения? Спасибо за ролик!

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Веса нужно скачать только. На линуксе запустилось сразу, на других платформах скорее всего тоже запустится.

  • @Russkoe-slovo

    @Russkoe-slovo

    Жыл бұрын

    @@kuliev.vitaly Что за веса? 7в и 13в?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    В примере из видео веса 30b q4

  • @aaaaaaapchi
    @aaaaaaapchi Жыл бұрын

    Запишите видео про то как вы используете эти нейросети непосредственно в своей работе

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Про ряд проектов есть видео на канале. На текущем проекте еще не уточнял о чем можно написать. Возможно, позже.

  • @akm_rpg_xakep

    @akm_rpg_xakep

    Жыл бұрын

    @@kuliev.vitaly здравствуйте, а можно ли настроить нейросеть под свои задачи в определённой сфере деятельности ? Онлайн версия боится военной терминологии, а мне интересно обдумать тактику из новостей.

  • @shadowclashh
    @shadowclashh Жыл бұрын

    То есть alpaca получается лучше, чем llama? Нужно ли скачивать репозиторий для 30B? Посмотрел ещё английские ролики, так говорят про узлы какие-то ещё + они там ещё как-то выходят на сайт, где можно выставлять дополнительные настройки

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Это разные нейронки. alpaca - дообучена на новых данных. Инструкция в видео немного устарела - скоро запишу видео с инструкцией.

  • @shadowclashh

    @shadowclashh

    Жыл бұрын

    @@kuliev.vitaly я пытался установить на windows 10, смотрел дополнительно другие ролики, но так и не получилось ( Буду очень благодарен, если запишешь видео

  • @emperorgalaxy4495

    @emperorgalaxy4495

    Жыл бұрын

    ​@@shadowclashh Тоже не фига не понял. Пни когда скажут. Если что я остановился на скачке модели на 65B и 30B что делать дальше не понятно.

  • @sdpsdp123dfs
    @sdpsdp123dfs Жыл бұрын

    Здравствуйте. Не могли бы вы в описании оставить ссылку на загрузку весов альпаки? На гитхабе недоступна

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Да с гитхаба ссылку убрали.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    добавил в описание

  • @sdpsdp123dfs

    @sdpsdp123dfs

    Жыл бұрын

    @@kuliev.vitaly Спасибо!

  • @strs799
    @strs799 Жыл бұрын

    Здраствуйте Виталий, подскажите у LLaMA есть ограничения на ответы как у chatGPT по типу, Я не могу предоставить такую информацию?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Ограничений нет. Ещё её можно дотренировать на нужных данных

  • @strs799

    @strs799

    Жыл бұрын

    @@kuliev.vitaly Спасибо)

  • @strs799

    @strs799

    Жыл бұрын

    @@kuliev.vitaly А сделайте пожалуйста продолжение про LLaMA расскажите да и покажите как её тренировать, Ну если это вас не затруднит )

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Для тренировки мощные видеокарты нужны. У себя на процессоре только смогу запустить.

  • @ablakov

    @ablakov

    Жыл бұрын

    @@kuliev.vitaly на сколько мощный видеокарты нужны? У меня комп с 12Гб видеопамяти, и 32Гб оперативки, на чем лучше тренировать?

  • @user-rq5ku1dt6w
    @user-rq5ku1dt6w Жыл бұрын

    Для этой версии; 30b Сколько нужно оперативки и всякие ли процессоры подойдут ей? И можно ли с ней выстроить обычное общение? И... Способна ли она брать некий характер другого человека? Условно, чтобы она притворялась Илоном Маском.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Около 20ГБ, подойдут большинство процессоров. Ограниченно она может притворяться, лучше конкретные примеры смотреть.

  • @user-rq5ku1dt6w

    @user-rq5ku1dt6w

    Жыл бұрын

    @@kuliev.vitaly Не могли бы вы попробовать предоставить один пример? Был бы благодарен, так как скачиваю эту программу в основном для этого. А мой трафик ограничен, мех.

  • @user-qv8rs2yu4i

    @user-qv8rs2yu4i

    Жыл бұрын

    @@kuliev.vitaly Привет. Скажи пожалуйста. У меня 4 ядерный проц, 4гб оперативки, windows 8.1 x32. Можно ли скачать максимальный объём этого чата , распаковать на жёсткий диск и пользоваться ? Скорость не критична. Главное - работоспособность. Или нужно обязательно много оперативки ?

  • @user-fm3sw9jk4p
    @user-fm3sw9jk4p Жыл бұрын

    А как ее запустить? Это нужно чтобы репозиторий и веса были в одной папке?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    исполняемый файл и веса должны быть в одной папке. репозиторий необязательно скачивать.

  • @2cb675
    @2cb675 Жыл бұрын

    Вы тестировали gpt4-x-alpaca?

  • @LLlblKAPHO

    @LLlblKAPHO

    Жыл бұрын

    что-то свежее?

  • @2cb675

    @2cb675

    Жыл бұрын

    @@LLlblKAPHO 9 дней. И по идее самое близкое к гпт. Ну я думаю по названию понятно)

  • @LLlblKAPHO

    @LLlblKAPHO

    Жыл бұрын

    @@2cb675 интересно, а вы что-то нашли про нее? как ее потестить?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Еще не тестировал. Судя по размерам там только 13б модель есть.Скорее всего будет ограниченна по возможностям.

  • @2cb675

    @2cb675

    Жыл бұрын

    @@LLlblKAPHO из треда в реддит. Она там же где и эти из видео с сылкоц в описании

  • @a65tesla
    @a65tesla Жыл бұрын

    А что делать если после этой шкалы прогрузки смд закрывается?

  • @pavelgrishin
    @pavelgrishin10 ай бұрын

    Сотни или тысячи? Неделями или месяцами?

  • @kuliev.vitaly

    @kuliev.vitaly

    10 ай бұрын

    Зависит от нейросети и видеокарт. Вот пример: news.ycombinator.com/item?id=35008694

  • @Anshegar
    @Anshegar Жыл бұрын

    Мне кажется будущее таких программ в том что бы хранить ленгвистическое ядро(с токенами) на локальной машине но при этом что бы она могла обращаться к интернету, это сильно расширит возможный функционал нейронки.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Chatgpt как раз по этому пути идёт. Там есть плагины для доступа в интернет

  • @Anshegar

    @Anshegar

    Жыл бұрын

    @@kuliev.vitaly Там беда с политикой, щас даже регистрация через добротный впн по новой почте и полноценной интернет симке английской не позволяет тебе зарегаться так как (хотя может это я такой криворукий, но раньше делал нормально аккаунты а щас не дает сразу новую симку скамит), а значит и API Без токена не подрубишь. Так что теперь только Маска с его опенсорсом ждать или думать как прикрутить пвыход в интернет Альпаке(парсерами тут боюсь не обойтись) Блин да я готов приплачивать, что бы наши кулхаЦкеры раздавали API GPTшный и онлайн чаты делали через него, без заморочек с регистрацией за рубежом , но нет, наши надмозги не придумали ничего лучше чем заставить "Алису" называться chat gpt , и просить за это деньги... слов нет просто

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Планирую сделать телеграм бота на основе chatGPT, чтобы пользователи из России могли им пользоваться без необходимости впн/покупки симок/иностранных карт... Для тебя актуально это будет?

  • @Anshegar

    @Anshegar

    Жыл бұрын

    @@kuliev.vitaly Я для себя нашел альтернативу чат ЖПТ, но думаю для многих будет актуально.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Какая альтернатива?)

  • @MyGudini
    @MyGudini Жыл бұрын

    можно более подробно как ее установить на WIndows? Шаг Open a Windows Terminal inside the folder you cloned the repository to непонятен-) Как его запустить то в этой папке.

  • @smart_bar

    @smart_bar

    Жыл бұрын

    Способов несколько есть. Если при нажатии по пустому месту папки shift+ПКМ пункта "открыть терминал здесь" нет, то можно нажать на адресную строку проводника, набрать там cmd и нажать enter, откроется консоль в этой папке. Либо открыть терминал заранее через меню пуск, а потом с помощью команды cd перейти в неё. Если же папка находится на другом диске, то нужно будет также перейти на этот диск, например с помощью команды D:

  • @Volkoshchuk
    @Volkoshchuk Жыл бұрын

    Задачки с Всероса по физике/IPhO решает? С простыми вроде уже справляется

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Запрос: "Кусок стального рельса лежит на каменистом дне реки. Его поставили вертикально. Изменилась ли при этом выталкивающая сила? Изменится ли она (по сравнению с предылущим случаем), если при подъеме часть рельса окажется над водой? Ответ обоснуйте и укажите для каждого случая, уменьшится или увеличится выталкивающая сила."

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Ответ: "Yes, the upthrust force will change when a piece of steel reel is placed vertically in river bed with stones. The magnitude and direction of this force depends on several factors such as water current velocity, density of fluid (water), depth at which it has been kept etc."

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Продолжение: "If the reel is partially submerged in water when it's lifted up then its weight will be reduced by an amount proportional to how much of the reel was underwater. This means that less force would need to be applied for lifting than if all parts were above water, but more than if none had been below."

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    "The upthrusting force will either decrease or increase depending on the situation and how much of it is submerged in water. If more than half of its length was underwater, then there would be a greater amount of buoyancy acting upon it which could cause an overall reduction in the thrusting force. However if less than half of its length were immersed in liquid, this may result in an increase in upthrust as well due to more surface area being exposed and thus able to exert pressure on the surrounding fluid."

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Вообщем что-то осмысленное пишет, хотя есть ошибки. Физика 8 класс.

  • @user-ic8si8sk6h
    @user-ic8si8sk6h Жыл бұрын

    А где взять самую большую модель ?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Посмотри актуальную информацию в репозиториях alpaca

  • @mhuruuk
    @mhuruuk Жыл бұрын

    а где скачать 65B? да и вообще на гитхабе в списке только 7В и то ссылка не активная, не скачать, в интернете больше 7В не нашёл(

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Alpaca пока 30b максимальная модель.

  • @user-qx6rn8mt2q
    @user-qx6rn8mt2q Жыл бұрын

    Есть видео как правильно установить 30В ???

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Скачать веса на 30гб - файл "ggml-model-q4_0.bin" Вот команда для запуска: "./chat -m ggml-model-q4_0.bin"

  • @user-qx6rn8mt2q

    @user-qx6rn8mt2q

    Жыл бұрын

    @@kuliev.vitaly я скачал веса 30в, после распаковал там файл win, далее командная строка "cd" на папку с файлом и прописываю команду "./chat -m ggml-model-q4_0.bin". И я не пойму что делаю не так, какой шаг я упускаю. Думаю многим было интересно видео и ты был бы первым в этом плане.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    а какая ошибка выходит?

  • @user-qx6rn8mt2q

    @user-qx6rn8mt2q

    Жыл бұрын

    @@kuliev.vitaly C:\Users\Nikita\alpaca-30B-ggml>./chat -m ggml-model-q4_0.bin "." не является внутренней или внешней командой, исполняемой программой или пакетным файлом.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Вместо "./chat" напиши "chat.exe". У тебя windows, поэтому команда немного другая.

  • @LutasArvokas
    @LutasArvokas11 ай бұрын

    А она сможет дать развёрнутый ответ по типу как в чат gpt типу опиши мне как приготовить пиццу или типа того

  • @kuliev.vitaly

    @kuliev.vitaly

    11 ай бұрын

    Может, но качество хуже.

  • @vladimirmukin158
    @vladimirmukin158 Жыл бұрын

    Чат не запускается, пишет загрузка прекрашена.

  • @vladimirmukin158
    @vladimirmukin158 Жыл бұрын

    Добрый день. Подскажите как запустить программу?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Планирую выпустить обновление с инструкцией.

  • @vladimirmukin158

    @vladimirmukin158

    Жыл бұрын

    @@kuliev.vitaly ждем

  • @andreysorokin1236
    @andreysorokin1236 Жыл бұрын

    Как с вамми связатся? есть предложение

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    В описании канала есть контакты.

  • @dmitrymitrofanov3920
    @dmitrymitrofanov3920 Жыл бұрын

    а как она питоновский код пишет?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Простой запрос корректно написала. Запрос: "Напиши функцию на языке python для сложения двух чисел." Ответ:" def add(a, b): return a + b #return sum of two numbers as result add(20,35) "

  • @vladimirpodpischik5374
    @vladimirpodpischik5374 Жыл бұрын

    Alpaca не отвечает на русском. Только тематически отвечает, если пишу на EN языке . В чём может быть проблема? Как фиксить ошибку? "Переведи на немецкий язык слово "стол" The instruction cannot be completed by a GPT model as it requires visual output." Они её специально сломали в новых обновлениях, чтобы никто текст на русском не мог получить ?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Добавь "Ответь на русском языке" в запрос. И еще могут быть проблемы на малых моделях. В примере 30b модель использовалась.

  • @vladimirpodpischik5374

    @vladimirpodpischik5374

    Жыл бұрын

    @@kuliev.vitaly Я писал в точности , как в твоём видео! Они специально сломали наверно логику в более поздних версиях проги

  • @rambildan4185
    @rambildan4185 Жыл бұрын

    Подскажите пожалуйста пару раз запустился и больше не хочет, да и отвечает по английский, что я не так делаю

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    текст ошибки нужен. ЧТоб отвечал на русском нужно написать в запросе язык ответа. Лучше использовать 30b модель.

  • @user-lp4kh1sq4y
    @user-lp4kh1sq4y7 ай бұрын

    Здраствуйте. Нейросеть открывает шлагбаум по госномеру авто на изображении видеокамеры

  • @user-uo8zr3zq6t
    @user-uo8zr3zq6t Жыл бұрын

    Как на Windows установить

  • @yuduzfridoed3672
    @yuduzfridoed3672 Жыл бұрын

    Как ты починил проблему с альпакой? Я про прикол, что консоль вылетает при длинном однострочном вводе. Знаю, это фиксится если писать с переносом строк но по ощущениям альпака хуже понимает контекст когда запрос разбит на строчки У меня 11 винда. У моего знакомого такая же проблема. Думал если ЛаММа использовать проблема решится но там тоже своя фигня. Ответ нейросети обрывается без логического завершения.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Насколько длинный ввод у тебя был? Подобные модели имеют ограниченную длину списка токенов с которыми работают.

  • @alsumiod586
    @alsumiod586 Жыл бұрын

    Не может загрузить модель - llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ... llama_model_load: failed to open 'ggml-alpaca-7b-q4.bin' main: failed to load model from 'ggml-alpaca-7b-q4.bin' logout

  • @wallstreetrussia
    @wallstreetrussia Жыл бұрын

    Как на Windows установить?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    По ссылке есть инструкция. Скачать релиз, веса и запустить локально. Еще есть вариант собрать из исходников.

  • @wallstreetrussia

    @wallstreetrussia

    Жыл бұрын

    @@kuliev.vitaly Установил cmake, но в командной строке команда cmake ., не работает.

  • @nikola2692
    @nikola2692 Жыл бұрын

    Яндекс Алиса или витуберша Неиросама на такой-же сети работает?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    У яндекса аналогичная сеть своя, аналогичная этой. Про вторую не знаю.

  • @jopansmark

    @jopansmark

    Жыл бұрын

    Нейросама вроде на API от GPT-3. А Алиса использует ИИ чисто чтобы подобрать ответ из готовых

  • @Bodiy007
    @Bodiy007 Жыл бұрын

    ggml-model-q4_0.bin загрузил, выдал параметры и вернул в консоль просто, ничего не понимаю

  • @emperorgalaxy4495
    @emperorgalaxy4495 Жыл бұрын

    Скачиваем веса и все дальше делать что не понятно.

  • @pallascomrade
    @pallascomrade Жыл бұрын

    Может ли эта нейросеть придумать собсвенный язык, с алфавитом, грамматикой, фонетикой и переводить с него и на него?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    В ней есть собственный язык в латентном пространстве. Операции с матрицами из чисел.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Ответ от нейросети: "Yes! Neural networks can be trained to create their own language. They are capable of creating a new alphabet and grammar rules as well as generating sentences in the created language that they have never seen before."

  • @regrin
    @regrin Жыл бұрын

    Знаете, я слышал, что модель не выложили в свободный доступ, её, говорят, просто украли. Слили в сеть. Филипп

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    github.com/facebookresearch/llama Вот ссылка на репозиторий.

  • @regrin

    @regrin

    Жыл бұрын

    @@kuliev.vitaly Я знаю, только веса вам без запроса не дадут. Их то и слили.

  • @Dupre_jr
    @Dupre_jr Жыл бұрын

    я дошел до пункта "запустите в браузере Localhost 3000" и завис, т.е я не понимаю что нужно дальше делать, может кто нибудь обьяснить на пальцах? автору спасибо за видео, 228 лайк мой

  • @Dupre_jr

    @Dupre_jr

    Жыл бұрын

    за лайк спасибо, но я ожидал обьяснения, ну да ладно, ваше болото программистов невозможно растрясти

  • @Brebigor
    @Brebigor Жыл бұрын

    А можно видеоинструкцию для windows, а то кто то танцует с бубном и visual studio, что по мне не очень правильно.

  • @2cb675

    @2cb675

    Жыл бұрын

    Ставь линукс. Это не сложно)

  • @Brebigor

    @Brebigor

    Жыл бұрын

    @@2cb675 враньё) я убунту ставил неделю, ибо хер где написано, что новые дистрибутивы зависают при установке на 32х битную систему без указания ошибки. Угадаешь, как работают гайды по установке wireguard на ubuntu 16.04, потому что больше не выпускают 32х битных сборок?

  • @2cb675

    @2cb675

    Жыл бұрын

    @@Brebigor для древних пк есть специальные дистрибутивы типо antix. У меня тоже как то были проблемы при установке линукса но только с макбук про 2014 среди кучи компов с которыми у меня были опыты, а линукс я даже на телефон ставил. Я щас на открытых дровах кст и никаких проблем вообще. Я тебе больше скажу у знакомого был комп на который ни кто не смог ничего кроме виндовс 8 поставить так что проблемы бывают не только с линуксом

  • @2cb675

    @2cb675

    Жыл бұрын

    @@Brebigor и я сомневаюсь что у тебя это заработает на 32х битах

  • @andrewozhegin14
    @andrewozhegin14 Жыл бұрын

    Чувак, почаще оющайся с офлайном - научишься простейшей арифметике😂

  • @atheroot
    @atheroot Жыл бұрын

    Начнем с того, что они не делали ее опенсоурс, а просто кто то стырил исходники и выложил их.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Исходники доступны в гитхабе фейсбука. Она изначально создавалась открытой. github.com/facebookresearch/llama

  • @jopansmark

    @jopansmark

    Жыл бұрын

    выложили не исходники, а веса

  • @SuleymanStalskiy
    @SuleymanStalskiy Жыл бұрын

    Три вопроса: 1. Что вы можете сказать об Андрее Вознесенском? 2. За что Андрея Вознесенского исключили из Союза Писателей СССР? 3. В каком году из союза писателей исключили Александра Пушкина?

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Andrei Voznesensky was one of Russia's most famous poets, known for his experimental style and use of surrealism in poetry. He wrote over 50 books during the course of his career, including several collections of poetry as well as plays and essays on literature and art. His work has been translated into many languages around the world.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Andrei Voznesensky was expelled from the Union of Soviet Writers for his poem "Anti-Soviet Propaganda" which criticized Stalinism.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    In 1826, Alexander Pushkin was expelled from the Union of Writers for his poem "Anti-Soviet Propaganda".

  • @SuleymanStalskiy

    @SuleymanStalskiy

    Жыл бұрын

    @@kuliev.vitaly Это прекрасно! И скоро этот искусственный интеллигент, который, точно также как и любой не отягощенный критическим мышлением мясной интеллигент, считает правдой первое что ему подсунули по соответствующей тематике, будет учить наших детей этой дистиллированной хyйнe. ChatGPT, конечно, более изысканно отвечал, но суть та же. Очень здравый, показательный подход, кстати, проверять правильно ли он посчитал 5 + 12. И ладно ещё 3% населения нашей страны может быстро понять, что про Пушкина эта хреновина чушь несёт, а по поводу Вознесенского ведь 99,997 % людей поверит на слово таким искусственным интеллигентам. Кто виноват-то ясно. Что делать?

  • @Russkoe-slovo

    @Russkoe-slovo

    Жыл бұрын

    А чем бесплатные: Perplexity, SCOUT SEARCH, Talk to AI Human... не устраивают?

  • @IskanderPresent
    @IskanderPresent11 ай бұрын

    Спасибо за видео! Есть ли сейчас модели, которые пишут нормальные ответы на русском языке?

  • @kuliev.vitaly

    @kuliev.vitaly

    11 ай бұрын

    chatgpt хорошо пишет, но она доступна только по апи

  • @IskanderPresent

    @IskanderPresent

    11 ай бұрын

    @@kuliev.vitaly спасибо!

  • @user-yb9bg7gw8i
    @user-yb9bg7gw8i Жыл бұрын

    Похоже я что-то не уловил, вероятно, спорить не стану, знаний не хватает. Но разве это иструкция по установке? И почему в названии не указано, что это видео для пользователей линукс? Безусловно, автор имеет право выкладывать любые видео и называть их как ему заблагорассудится, но, все же, вероятно стоит давать название видео более соотносящееся к его действительному содержанию.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Нужно скачать веса и билд под свою систему. Как это сделать показано на примере линукса.

  • @romanbolgar
    @romanbolgar Жыл бұрын

    Тоже запускал. Нов терминале это несерьёзно Почему ни у кого не доходят руки Доделать с gpt или Тот же LLaMA Alpaca голосового помощника. Ведь есть же голосовые помощники, но они без мозгов. Просто объедините их с мозгами, что же здесь сложного? Есть масса проектов типа Алиса Siri cortana И тот же Google OK, Я вот сейчас говорю с помощью latis. Жаль нахожусь в наёмном рабстве поэтому некогда заниматься такими вопросами. А чем занимаются разработчики которые непосредственно работают с этими программами непонятно. До сих пор На уровне консоли. Где интеграция в браузер, где интеграция в Word? Где возможность задавать команды и запоминать последовательность действий автокликеры? Надо сделать как в фильме Она

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    Со временем сделают. Stable diffusion сначала тоже в терминале запускалась. Уже потом появились веб морды и онлайн сервисы.

  • @antarus6338
    @antarus6338 Жыл бұрын

    не работает на винде... нажимаю chat.exe 0 реакции

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    В powershell должно работать.

  • @antarus6338

    @antarus6338

    Жыл бұрын

    @@kuliev.vitaly видимо ПК слабый

  • @user-lx7xb7cp3g
    @user-lx7xb7cp3g Жыл бұрын

    Почему ты выглядишь как инопланетянин?

  • @user-lx7xb7cp3g

    @user-lx7xb7cp3g

    Жыл бұрын

    Который говорит не от себя, а как будто по бумажке.

  • @kuliev.vitaly

    @kuliev.vitaly

    Жыл бұрын

    )))

  • @Ibrahimib382

    @Ibrahimib382

    Жыл бұрын

    Стань программистом, узнаешь 😂

  • @__hatred

    @__hatred

    Жыл бұрын

    Потому что он не моргает!)

  • @Ibrahimib382

    @Ibrahimib382

    Жыл бұрын

    @@__hatred может это не он а нейросеть? ))

  • @vitaliyg.7747
    @vitaliyg.7747 Жыл бұрын

    Шляпа, если честно. Не может назвать самую большую страну. То это Китай (чаще всего и у альпаки и у ламы), то Канада. Пишу - Россия самая большая страна. Пишет - да, это так. Пишу то же с вопросом, говорит - нет. По-русски не понимает, таже если добавляю, как указано ниже - ответь по-русски. Спрашиваю кто такой Пушкин - отвечает, что поэт. Спрашиваю то же, со своим именем, фамилией, тоже пишет поэт. 13 и 30b вообще не запускаются

  • @2cb675

    @2cb675

    Жыл бұрын

    У тебя же 24+ ОЗУ?

  • @jopansmark

    @jopansmark

    Жыл бұрын

    У меня на ggml-alpaca 7b 4bit все норм. > Which country is the largest The largest country in the world is Russia, which covers 17,075,400 square kilometers

  • @vitaliyg.7747

    @vitaliyg.7747

    Жыл бұрын

    @@2cb675 32

Келесі