Канал о машинном обучении, искусственном интеллекте, data science и других информационных технологиях.
Контакты:
ВК: vk.com/id2024648
Telegram: @kulievvitaly
Другие соцсети:
Дзен: dzen.ru/id/63615bf8c463a162a864bc4d
Телеграм канал: t.me/vitaly_kuliev_it
Если хотите поддержать канал:
RUB - 5536914080087061
Пікірлер
Отлично) Postgre SQL
А что можете сказать про Arc770 от Интел, лучше или хуже чем 3060 12гб, или 4060 16гб? Просто она гораздо дешевле 4060 на 16, и новее 3060
На рынке ИИ доминирует нвидиа. Весь софт поддерживается и работает стабильно. Железо других компаний может быть дешевле, но у него хуже поддержка со стороны софта.
@@kuliev.vitaly Спасибо, софт то может и не весь поддерживаться, но как обстоят дела с производительностью этих карт в машинном обучении , нейросетях, если допустить, что нужный софт поддерживает
Огромное спасибо за огромный труд! Можно еще добавить к тестам мониторинг загрузки процов по потокам, для разных архитектур, а также загрузка оперативки в зависимости от количества запросов. Интересно оптимальное сочетание проц-гпу-оператива для разных задач.
Процессор и оперативка минимально используются. Все вычисления идут на видеокарте и данные между картами по pcie передаются.
Виталий, а позволяет ли LLM Studio работать с изображениями? В частности, интересует работа со спутниковыми снимками. Или может быть встречал готовые сервисы по обработке и разметке спутниковых снимков?
Да может. Для большинства vision нейросетей есть image адаптеры. Можно закинуть картину и спросить вопрос.
@@kuliev.vitaly спасибо, попробую потестить Но было бы интересно и твой обзор посмотреть на этот тул
Коллеги, у меня простой вопрос. Для учебы и работы, нужна платформа уровня обработки взаимодействия с `codestral 22b`, со скоростью - не менее 100 токенов в секунду. Комбинация "железа": * две rtx-2080ti через nvlink, * intel 13700kf Какую материнку выбрать? * как пример ASUS PRIME Z790-P D4 взлетит комбинация?
Должно заработать. Nvlink в задаче инференса мало влияет на производительность. Можно по PCI e подключить
Если важна скорость могу рекомендовать карту 3090/4090. Она быстрее должна работать.
Отличная работа!
Виталий, а что с сервисом? будут ламы в народ? мне по тестить надо ламу3 для бота.. арпи надо.. ищу. как скоро свое запустите?
rus-gpt.com/ Сервис запущен в тестовом режиме. Есть 70b и 8b версии лламы-3. Пока можно использовать бесплатно. Планирую более детальное видео записать.
Вииталий, а можно еще видос по сборке вашего варианта ПК. что как подбирали, как собрали все в кучу и остальное. мне не сложно собрать свой ПК, сто раз собирал. НО! пока соберешь то что надо до кучи в плане разгребешься что брать а что нет,ю что подойдет а что нет.. было бы шикарно такое видео как по мне. я сам разраб, FullStack, Python хорошо знаю пишу на нем очень давно и темой ИИ периодический интересуюсь как хобби.😁 у вас превосходные видео! большое спасибо за ваши труды!
Да планирую записать видео о сборке сервера.
Лучшая локальная это Phi3-medium. А llama3 делает отвратительные ошибки при работе на русском.
llama 8b да. Llama 70b корректно отвечает на русском. Phi3-medium имеет в 2 раза большще весов, чем llama 8b.
Спасибо за обзор и тесты. Теперь понятно как выбирать. Буду изучать таблицы, считать что выгоднее. Пока юзаю RTX3060-12Gb (купленную на Авито у дизайнера) на XEON 22 ядра, 190Гб оперативки. Думал в какую сторону расширяться. Купить игровую видюху мощнее, профкарту или проще арендовать? Аренда создаёт гибкость в работе, если работаешь из разных мест и нет заморочек с оборудованием. Если используешь самосборный сервер, то кроме траты на покупку оборудования, надо делать VPN в свою сеть, да и трата электроэнергии, нагрев, деградация оборудования. И устаревание. Ну все как было когда-то с майнингом. ASICS или аренда мощностей? Всё-таки думаю, что когда эта видюха перестанет справляться с моими задачами (а похоже к этому идёт), перейду на аренду. Спасибо за обзор.
Я решил, что лучше иметь свое железо и всегда иметь к нему доступ. Можешь попробовать использовать мое апи к ллама 70б. Пока нагрузка маленькая предоставляю всем его бесплатно. rus-gpt.com/
@@kuliev.vitaly Пока использую ollama run llama3:8b и оболочку WEB-UI с удаленным доступом к компу через VPN. Ну и другие модели, что помещаются в видяху. Попробую твой доступ, спасибо.
Сейчас уже 10-15к стоит
Сейчас новые версии уже вышли
какие-то странные обои клеят в Таиланде, внахлёст 🤣
Спасибо
Модели llama3 плохо дружат с русским языком, даже если в системном промте прописать мол пиши всегда на русском, все равно проскакивают английские слова там где это не уместно, что с этим делать? Модели на хагинфейсе дообученные на русских датасетах работают очень криво
Встречал проблемы с русским при использование квантизации. 70b awq, которая тестируется в этом видео работает корректно с русским.
Я сам использовал Saiga в huggyface видел, но мало ее использовал
зафайнтюненные версии ламы на другой язык или длинный контекст могут показывать плохие результаты. оригинальная версия с системным промптом должна хорошо отрабатывать
Что приводит к мысли (меня во всяком случае убедило окончательно), что надо применять английский. Пока не появятся нормальные прокси-транслейт для того, чтобы писать на родном языке, прокси-транслейт переводил (адекватно) на английский, подавал в модель и ответ пройдя через прокси выдавал обратно на родном языке. Чтобы переводом занималась не каждая модель как она худо-бедно может, а специальная, которая идеально под это заточена. Технически это реализовать вроде уже не сложно. А пока дуолингво нам всем в помощь.
Вы уверены, что у обоих карт pci x8? На чипсетах для амд под am4 я только asus pro art видел, чтобы второй слот выдавал тоже х8.
Да. Две карты x8 подключены, третья по x4. Это можно посмотреть в свойствах карты. Платформа ам4, чипсет x570.
@@kuliev.vitaly здорово! Спасибо за ответ!
Вот бы ролик по настройке среды тенсрр флов и пайторч для обучения на видеокартах. Но без привязки к конкретной видеокарте. Так сказать универсальный метод) насколько это возможно
Подскажите, а каким образом память видеокарт на Вашем сервере суммируется? Используется мостик NVLink ?
nvlink не используется. В задаче инференса он мало полезен. Все данные передаются по pcie x8 gen4. Нейросеть запускается в режиме tensor parallel. Видео с деталями сборки сервера будет одно из ближайших.
Возможны ли тесты 2080ti с модификацией на 22гб? Также, пожалуй при выборе 3090\3090ti надо учитывать надежность карт (память с обратной стороны у 3090)
У меня нет 2080ti с такой модификацией. Да есть такая проблема у 3090. Еще они начали продаваться на пару лет раньше, чем 3090ti и застали эпоху майнинга. 3090ti сейчас более перспективны - лучше немного доплатить и ее взять.
С Обновками)
Спасибо)
У меня вопрос: А эта ллама она может выводить какой-то формат данных, например указать ей, чтобы json был, чтобы затем его положить куда-то/сделать что-то или надо делать прослойку которая отформатирует ответ?
Да. Можно в инструкции указать, чтобы ответ был в json формате и задать структуру. 70b почти всегда отвечает корректно. 8b отвечает примерно в 85% случаев коректно и в 15% добавляет еще коментарии вне структуры.
@@kuliev.vitaly спасибо!
@@felix_co если нужно гарантированно валидный json, то погугли про возможность установки formal grammar в используемом interference engine. Это позволяет описать правила синтаксиса и движок будет выбирать только из тех токенов, что не нарушают корректность синтаксиса. Например у llama.cpp есть GGNF (GGML BNF), для json в исходниках уже есть готовые правила в grammars/json.gbnf
спасибо за инфу
Добрый вечер. Какое приложение скачать?
Запустил llama 3 7b 8Q. На видеокарте 3070. 5-7 токенов/сек, при этом не 100% загрузка видеокарты. Как я понял нельзя что бы llama начала кушать сверх 8 гб видеопамяти но как это сделать я не понял. Экспериментировал со слоями - не помогло. Вырубал доп мониторы, снижал разрешение до 640х. Разгонял видеокарту..
8гб требует нейросеть c квантизацией 8q. Еще нужна память для хранения контекста и операционную систему. С такой точностью не получится полностью загрузить видеокарту. Выгрузи часть слоев на процессор или попробуй q6 квант.
Привет Виталий ! Я новенький в таких делах , буквально недавно загорелся данной темой , програмистом ни разу небыл , но понял сразу , твои видео зачетные ! Хочу также разбератся в нейронках , многое из видео осталось не понятным ) блин, может запилиш краткий курс для новечков , без знания програмирования , чтоб хотябы в теме быть ) по делу самое актуальное что нужно знать на сегоднешней день, так как все это быстро развивается что только диву даешься , благодарю за выложеные ролики ! Я даже новый мини комп купил для такого дела ) в общем настроен решительно !!! )
Здравствуйте! print(torch.cuda.get_arch_list()) возвращает [] Почему пусто?
торч не поддерживает видеокарту. переустанови торч
@@kuliev.vitaly У меня ноутбук старенький, может быть из-за этого?
это неважно. команда возвращает список поддерживаемых архитектур видеокарт для установленной версии торч. Хотя если ноутбук старый, то поддержка видеокарты неактуальна.
@@kuliev.vitaly "команда возвращает список поддерживаемых архитектур видеокарт для установленной версии торч" А для RTX 4070 какая версии торч подойдет?
странно када на своем микроте подымал варегуард сервер а потом с ведра подключался то ключи обменивался, то есть при создании пиров на микроте я брал ключ с ведра и туда копировал и так же паблик кей с севера с вставлял в ведро
Добрый день. Подскажите пожалуйста Llama работает с анализом таблиц, сводными таблицами , с анализом большого массива цифр загруженных из разных таблиц?
Привет. Такого опыта у меня нет. По идее должна работать. Нужно учитывать, что оригинальная llama 3 имеет контекст в 8к токенов - этим ограничивается размер запроса.
@@kuliev.vitaly Благодарю за ответ.
при оплате услуг, прошу учитывать возможность оплаты в криптовалюте. Так как есть интересанты (Я) без возможности оплаты в рублях.)
нужна инструкция для outline! а ещё расскажите, пожалуйста, про vless
ютуб блокирует новые видео о впн. vless протокол уже давно доступен в hour-vpn. Дальнейшая информация доступна в телеграм боте.
Я не пойму почему эта модель меньшего размера у меня быстрее генерируется? 5700x + 3080ti и 32г оперативки.
Скорее всего ты запускаешь квантизованную версию. Она меньшего размера и заметно хуже качество ответов. У меня запущена llama-3-8b-instruct fp16. Файл модели должен занимать около 16гб.
получается можно свою Llama3 развернуть на ПК и туда подставить? тестил ее даже на древнем железе, железо даже не ощущает что она вообще есть.😁так что развернуть на буке или ПК, кодеру свою Llama-3 и пробросить в редактор, шикарная тема. API вопросов нет, идея огонь! но там надо хотя бы 34B и выше.. 8B тоже огонь, но локально проще.😁 спасибо! а видосик по дообучить Llama3 на своих данных не хотите запилить? такого вообще толком не нарыть, или слишком поверхностно или бред..
8b для примера выложил. планирую в сервисе перейти на 70b. Промежуточных размеров 3 ламы нет. Дообучать пока не пробовал, но планирую.
Привет. Какие будут примерно в будущем цены? Просто было бы прикольно старым юзерам дать чуть больше доступности. Также хотелось бы новое виде на тему как запушить свой проект(тг бота )на ВМ и как интегрировать туда (в проект тг бота) ламу используя твой сервис
Насчет цен пока решил, но планирую сделать доступнее, чем другие решения. Сейчас интересно получить обратную связь от пользователей.
Просьба рассказать о работе LMstudio, пройтись по всем параметрам, особенно про ембендинг в playground. Как файнтюнить сеть в лм. Как загружать файлы для анализа как чате гпт.
а почему не использовать тот же ollama и веб интерфейсы от ollama чтоб допилить под нужды будет легче по моему так как если с нуля писать то очень многое нужно сделать и до того как сделаешь!
эт я для веб интерфейса чем с ботом что то крутить и создавать велосипед который уже создовали командой
Чатов с поддержкой gpt-4 есть несколько, причем бесплатные и работают без впн. С апи в этом плане хуже ситуация. Плагин codeGPT позволяет удобнее взаимодействовать с кодом. Тоже самое можно сделать и через веб чат(типа chatgpt), но придется вручную копировать много кода и дополнительнх данных - я так пробовал и это неудобно.
Супер, спасибо
Незнаю про что тут но парень ВПН помог поднять, досих пор работает))) лайк обязательно, думаю Виталий знает о чем говорит))
Извините за мой французский, я немного староват, какое практическое применение лама 3? Заранее благодарю.
Сфера применения такая же, как у chatgpt. Я использую для программирования и обработки текстов. В этом видео есть примеры использования: kzread.info/dash/bejne/oJOTyLyaY7mWZNY.html
Сколько вы платите в месяц за сервер ,на котором лама лежит? И было бы интересно посмотреть видео как вы это все кладете на сервер и настраиваете API, что это работало так же как у вас
Нейросеть запущена на моем компьютере, выделенном дя этой задачи. Стоимость аренды аналогичного сервера для запуска llama-3-8b составляет 50-100к рублей в месяц.
@@kuliev.vitaly дорого, дешевле тогда пользоваться опенай, или антропик на данном этапе
@@PubgSpeed-wl8yo ага я пробовал на гугловском a100 на 40г но он с легостю запускает на 8b но с 70b уже тормозить там а100 только видюха стоит 3млн рублей аналогичный а сейчас работаю через huginface там бесплатно доступен модел на llama3:70b-instruct
У openai есть проблемы с оплатой и впн для России. Пользуйся моим сервисом, сейчас он бесплатный, в будущем будет недорого стоить.
@@kuliev.vitaly у меня нет с этим проблем в плане опенай, и эту ламу можно поставить к себе на компьютер и пользоваться, не совсем понял зачем мне ваш сервер?
1:15 Ты хотел сказать 15 триллионов токенов
да)
конечно интересно
автору спасибо! дальше я не автору, а вообще, мало ли кто не занает этого.)) мультипроцессинг это не про ядра! это про экземпляры программы! а будут ли они выполнены параллельно на ядрах, ни кто не знает.😁 точнее ОС знает.🤣 мультипроцесинг весит не слабо под задачи ожиданий, лучше генераторы использовать или asyncio. asyncio очень опасен! чуть где ошиблись, им самая быстрая рука за западе вас поимеет в раз.🤣 купит 10 видеокарт 4090 у вас по 1$, или 100шт. и сразу помете что такое асинхронность.🤣 и помните самое главное! Python медленный только при первом запуске!!! поверьте, это очень важно знать и понимать!
спасибо! очень годные видео! что думаете насчет 3060 на 12гиг памяти? достаточно такой для Llama 34B или дообучить Llama 7B? и еще, что насчет процессоров amd? заранее большое спасибо за ответ! я думаю сейчас собрать себе на RTX 3060 12G, RAM 128G DDR5, AMD Ryzen 7 - 8 ядер или если найду то 12 ядер.
Для нейросетей процессор и оперативка мало важны. У меня 3950x 128gb - узким местом они редко являются. 3060/12 - хороший бюджетный вариант.
а в какую цену влетит развертывание в облаке такой махины, я про 70B? может считали. спасибо! чисто спортивный интерес. я хочу себе развернуть 34B, но не знаю как просчитать стоимость... Вообще есть доступ к ним без VPN и много. я с РБ, нас тоже блочат, тоже с VPN живу.))
clore.ai - тут дешево можно арендовать комп с видеокартами. 50-100к рублей в месяц начальная цена для запуска квантизованной llama 70b.
@@kuliev.vitaly спасибо большое за ответ.
Спасибо!
Здравствуйте, такой вопрос, при аренде сервера выдаётся один статичный айпи на всех подключенных пользователей, если есть к примеру сервис, который запрещает пользователю подключаться с одного айпи более чем с 2 устройств, как быть в таком случае? аренда второго сервера или можно внести какие-то настройки в самом Outline?
Есть вопрос по локализации и поиску данных в своей библиотеке с помощью ии. Как пошагово сделать и что для этого надо с демонстрацией результата. Управлять конечно лучше голосом на русском.
Это уже не первый запрос. Почитай про RAG. Llama 3 должна хорошо работать на этой задаче.
@@kuliev.vitaly Спасибо. В сети есть авторы на тему. Смотрел канал "Выпусит джуна из лампы" выпуск"100% локальный и приватный gpt", и Serge_AI "Обучение личного AI на книгах". Спрашиваю для того, что мне, как пользователю , сложновато и надо понять какое оптим.оборудование понадобится и каков результат в конечном итоге. Стоит ли игра свечь - над этим тоже думаю.
@@kuliev.vitaly с удовольствием посмотрел бы ваше видео на эту тему)
Для андроид есть?
в браузере
Я тоже хотел сделать свой серве с ssh туннелем Но в этом не сильно разбираюсь промучился ничего не получилось
Спасибо большое за столь подробное видео. Пойду ковырять!)
Есть смысл 8B ставить на компе с i5-12400 со встройкой и 32Гб оперативки?
На процессоре сможешь ее запустить. Попробуй, например через lm studio
@@kuliev.vitaly вопрос не в этом )) если она мне будет выдавать один токен в секунду, зачем мне такое?
@@Musicnotforf.nrelaxsleep-ih6iv ну как, попробовал?