Пару дней назад заметил поддержку rtx 4000 линейки в torchserve. Прошло чуть больше года, прежде чем появится поддержка новой архитектуры видеокарт. На данный момент rtx 4090 является лучшей видеокартой для ML среди всех игровых видеокарт.

@Aleksei_Lv

2 ай бұрын

Здравствуйте! Спасибо за рекомендации по картам. Подскажите пожалуйста какой CPU выбрать для сборки машины для домашнего машинлернинга? Не хотелось бы чтобы вдруг CPU оказался бутылочным горлышком, но и переплачивать в пустую тоже не хочется. Важно-ли сколько у CPU каналов памяти, 2 или 4? Остальное вроде понятно: больше частота - лучше. Уже от GPU и CPU буду выбирать мать, оперативку и пр. Спасибо!

@kuliev.vitaly

2 ай бұрын

2 канала хватит. Бери топовые десктопного уровня.

@kuliev.vitaly

2 ай бұрын

Cpuuserbenchmark. На этом сайте можно сравнить производительность процессора. Важен однопоток и 64 потока

@Aleksei_Lv

2 ай бұрын

@@kuliev.vitaly Спасибо за совет!

Спасибо за новое видео, с удовольствием гляну

Вот бы ролик по настройке среды тенсрр флов и пайторч для обучения на видеокартах. Но без привязки к конкретной видеокарте. Так сказать универсальный метод) насколько это возможно

Большое спасибо за отличное видео! Всё предельно структурировано и по делу!

Все четко и кратко

Здравствуйте! Благодарю за дельное видео без воды. Это сейчас очень ценно. Прошу ответить на вопрос по выбору видеокарт. Так как стойка серверная, то стоит вопрос теслу или квадру. Что лучше для обучения при равной стоимости. так же хочу понять, в соотношении цены/эффективности. Что лучше взять одну Теслу на 32gb или 2 по 16gb.

@kuliev.vitaly

2 ай бұрын

Надо смотреть тесты на конкретные видеокарты. Насчет теслы или квадро не могу сказать. По соотношению цена/эффективность намного лучше десктопные карты, например rtx 3090, rtx 3090 ti, rtx 4090.

Можете записать серию лекций с чего начать, какие библиотеки есть и для чего предназначены? Или порекомендуйте какую-то серию лекций, пожалуйста. Хочу научиться автоматически различать что на видео, где человек, а где другой объект. Но даже не знаю с чего начать. Увидел, что есть библиотека YOLOv7 но как она работает, поверх каких других библиотек, как заставить её использовать аппаратные возможности (мне кажется она у меня сейчас не использует видеокарту вообще) - дремучий лес.

@kuliev.vitaly

10 ай бұрын

В планах есть выпуск подобных видео. Yolo - это нейросеть. Ее реализация может быть в разных библиотеках(tensorflow, pytorch...)

Спасибо за отличный обзор! Есть какие нибудь подводные камни прт выборе карты в зависимости от производителя? Например что можно ждать от Palit?

@kuliev.vitaly

3 ай бұрын

Зависит от конкретной модели. Могут быть проблемы с охлаждением и надёжность. Рекомендую читать отзывы на Яндекс маркете или других площадках.

Спасибо за информацию. Планируете ли использовать ее в SLI режиме? Еще вопрос, эффективна ли эта связка (2х 3090ti) в сравнении с 4090?

@kuliev.vitaly

7 ай бұрын

Я думал докупить еще одну 3090 ti. Там есть ряд проблем: охлаждение, размеры корпуса, x8 вместо x16 pcie, переписывание кода для нескольких видеокарт. Все проблемы решаемые, но пока использую решил остановиться на одной видеокарте.

@user-ij7tl5zb8l

7 ай бұрын

@@kuliev.vitaly а какие преимущества дает нвлинк? Планируется сборка пк на 2х 3090, с линиями pcie решаемо подбором матплаты, а вот насчет SLI режима не уверен, так как сейчас большинство видеокарт идет без разъема под бридж. Да и читал не раз что соединение мостом не дает особого прироста производительности

Спасибо что расказали про основные моменты. Добавьте так же уведомления в телеграмм, а то из-за алгоритмов ютуба не всегда показывает новые ролики

@kuliev.vitaly

11 ай бұрын

В телеграм завтра планирую выложить, поздно было.

@Rumbur7388

8 ай бұрын

@@kuliev.vitaly сколько ядер процессора нужно для работы видеокарты серии 3000 от самой младшей до самой старшей?

@kuliev.vitaly

8 ай бұрын

Сильно от задачи зависит. На 3090 ti от 2 до 6 ядер требуется. Лучше проц хотя бы 8 ядерный взять - он сильно дешевле видеокарты.

@Rumbur7388

8 ай бұрын

@@kuliev.vitaly это если деньги позволяют. Я только начал интересоваться темой нейронных сетей и не могу себе похвалить регулярных вливаний на ПК. И это не говоря уже про поганых перекупов которые скупили даже говённые видеокарты.

@Rumbur7388

8 ай бұрын

@@kuliev.vitaly можете отговорить от покупки RTX 3050 ? Это пожалуй максимум того что я могу себе позволить.

Виталий, подскажите вы или пользователи из чата. Стоит ли брать rtx3060 с 12gb для использования чисто дома не для "глобальных" коммерческих проектов, но и не просто посмотреть, а для комфортной работы со stable diffusion. На старой gtx1050ti работает, но не быстро. Будет ли существенный прирост или не стоит.

@kuliev.vitaly

5 ай бұрын

Будет быстрее примерно в 2 раза. да и памяти больше. имеет смысл брать

@TheDimatikhonov

3 ай бұрын

привет, а если выбирать между 2080ti и 3060 12 gb? под stable diffusion

Подскажите, сейчас еще актуально использовать для машинного обучения и запуска локальных языковых моделей tesla p40 на 24gb? Судя по Compute Capability в 6.1 проблем с Pytorch быть не должно

@kuliev.vitaly

2 ай бұрын

Запускать можно

@sergeykarpov4683

2 ай бұрын

@@kuliev.vitaly спасибо, а библиотеки все будут доступны, как и у rtx 3090?

@kuliev.vitaly

2 ай бұрын

Большинство будет работать. В некоторых случаях может потребоваться пересборка библиотеки из исходников.

Здравствуйте про обход блокировок операторами сотовых связей в wireguard будут видео?) а то блокируют мтс и билайн протокол wireguard.

@kuliev.vitaly

10 ай бұрын

Да, разбираюсь с этой проблемой.

@spamspammer

10 ай бұрын

@@kuliev.vitaly до безумия жду Ваш вариант обхода🙏🏻

@kuliev.vitaly

10 ай бұрын

Добавил впн по протоколу outline в телеграм бот t.me/hour_vpn_bot

подскажите, а видеокарты допустим за 50к руб хватит для обучения llama 2 и подобных ?

@kuliev.vitaly

3 ай бұрын

скорее всего самую маленькую версию получится дообучить. бери карту с максимальной памятью, минимум 12гб, лучше больше.

А может быть bottleneck видеокарты и процессора? Хочу обновить видеокарту до 3060 12gb, но не хочу обновлять всю систему т.к. для моих текущих задач она более чем топ. Проц 3570К, мать с PCI 3, 24gb оперативки.

@kuliev.vitaly

7 ай бұрын

Зависит от задачи. Твоя сборка будет вполне сбалансирована

Привет. Посдкажи, а если torch пишет что поддерживает 9.0, а rtx 4090 это 8.9. Значит поддержка 4090 есть?

@kuliev.vitaly

Ай бұрын

Нет. У сборки torch есть список поддерживаемых архитектур. Там должна быть указана 8.9. Если ее там нет, то можно установить нужную версию torch или сбилдить из исходников. Тогда 4090 будет поддерживаться.

@mightyminds5545

Ай бұрын

@@kuliev.vitaly в целом торч запускается на моей 4090 если сбилдить из исходников торч будет работать быстрее?

@kuliev.vitaly

Ай бұрын

может чуть быстрее будет, пробовать нужно. У меня есть опыт сборки tensorflow из исходников - изменения в быстродействии я не заметил.

@mightyminds5545

Ай бұрын

Еще такой вопрос, если оператива меньше видеопамяти карты, например в 4090 у меня 24гб, а оператива 16гб. Может ли оперативная память быть узким местом? Если да, то сколько нужно оперативы, 32 или 64?

@kuliev.vitaly

Ай бұрын

зависит от сценария использования. в некоторых случаях 16 будет хватать.

есть вопрос , 3070 почему то хуже обучает локально чем p100 (kaggle) , учитывая что cuda больше у 3070. В чем может быть проблема ?

@kuliev.vitaly

5 ай бұрын

Разная архитектура, разная память. Сравнивать видеокарты по куда ядрам можно только внутри одной архитектуры

Не проще ли арендовать на том же клоре? Аренда копейки стоит

@kuliev.vitaly

2 ай бұрын

Интересный проект. Похоже один из первых у которых есть реальное железо. Может быть интересно. Может это и дешево, но минусы у этого решения тоже значительные: нестабильные ноды, нужно много данных закачивать на арендованный сервер, все закачанные данные доступны владельцу ноды.

@kuliev.vitaly

2 ай бұрын

у тебя есть опыт аренды и длительных рассчетов на нем?

@user-fj3rr9mi4x

2 ай бұрын

@@kuliev.vitaly арендовал, но не для расчётов. Можно найти с хорошим соединением, стабильным аптаймом и с длительной арендой.

Может, глупый вопрос, но вы в свободное время играете на пк?)

@kuliev.vitaly

3 ай бұрын

Редко, 3-4 раза в год