Сделал Apple Vision Pro своими руками || Дешёвый AR проект - Май 2024.
Ғылым және технология
Господа, здравия! На ваших глазах уже 6-ая серия цикла видео о том, как я создаю очки дополненной реальности с нуля на Python. В этой части я покажу фактически готовые очки, расскажу про обновления.
Оценивайте видео, пишите что вы об этом думаете и приятного просмотра!)
Код как всегда на гитхабе github.com/ZernovTechno/AR_he...
Мой Boosty (Донаты) - boosty.to/zernov
Мой VK - zernovyt
Пікірлер: 267
интересно наблюдать за проектом который так быстро развивается
Ну кстати неплохо получилось. Обидно, конечно, за малую функциональность. Да и вряд ли это можно использовать больше, чем просто развлечение Но проект классный! Продолжай в том же духе!
@zernovtech
16 күн бұрын
Спасибо за обратную связь! Функциональность на данный момент реально не высокая. Со временем я добавлю ключевые фичи как просмотр видео (В т.ч и пространственного-объемного) и браузер. Это вопрос времени. Просто сейчас контент нужно разбавить другим проектом. p.s. VR и AR гарнитура в 90% случаев - развлечение :-)
я в истории
@Grey_Slime
15 күн бұрын
🎉
@SERJEO_777
15 күн бұрын
и я
@boyanovich68
15 күн бұрын
С 1 выпуска😎
@NoN-me
15 күн бұрын
А я на истории
@Falkonar
14 күн бұрын
@@NoN-me Пляхахаха
Лютый чел, как разраб с опытом говорю, ты просто хорош
@zernovtech
15 күн бұрын
Спасибо)
Крассавчик! Только единицы готовы стараться ради людей и прислушиваться к из мнению, а не ради быстрого заработка на огромной наценке за воздух. Ты стал одним из моих любимых блогеров!
Предлагаю сделать дешёвые VR очки (но когда проекты кончатся конечно) С контролеррами и т.п, думаю будет интересно. Спасибо за видос!
я думаю что тут стоит развивать API для создания приложений. Это было бы классно
Надеюсь всё получится ❤ Смотрю с первой части 😊
Очень круто получается! Единственный контент как-либо связанный с Vision Pro который я готов смотреть)❤
Красавчик! Удачи в этом и новом, во всех новых проектах!
@zernovtech
13 күн бұрын
Спасибо!)
Жду. Когда проект будет закончен соберу себе такие же очки! Удивлён результатом ❤.
Как большой любитель космоса, я очень заинтересован в новом проекте. Желаю удачи в обоих проектах!
@zernovtech
15 күн бұрын
Спасибо )
Продолжай развиваться! С каждой серией все интереснее!
@zernovtech
15 күн бұрын
Спасибо!
Удачи в проекте :з
Ты просто нереальный... Я тобой горжусь, брат!
Очки выходят очень хорошо, тем более за такое время 👍, попробуй добавить, аля самому написать голосового помощника типа чат гпт (это можно добавить в конце), например для задач по типу: просто по общться, поспросить включить приложение а может и поставить таймер или будильник. И кстати не сдавайся, все у тебя выйдет✊
🎉🎉🎉 новая серия
Кадровый трекинг просто ПУШКА !
Боже самое интересное что я видел за этот год продолжай!
Давай изображение не будет накладываться только если расстояние от руки меньше или равно, а если рука дальше чем изображение то просто накладывать
Привет, спасибо за видео. И еще, ставь музычку на фон, чтобы не было так однообразно=)
@pico_956..9
15 күн бұрын
согл
@zernovtech
15 күн бұрын
Привет! Спасибо за обратную связь. Не знаю... Возможно позже попробую. Пока мотивчика подходящего не нашёл :)
@t_reztsov
15 күн бұрын
Лучше ненадо чтоб в очередной период обострения не поблокировали видео изза музыки.
@zernovtech
15 күн бұрын
@@t_reztsov Кстати да, с этим нынче строго.
Тоооооооооооооп если, сейчас такое то не могу представить себе что будет через год ❤❤❤
Интересные у тебя планы по роботу🤯
@zernovtech
15 күн бұрын
Да я сам в шоке
ОЧЕНЬ хороший проект с ар очками.Прошу не заканчивай проект. Ведь это большой шаг для человечества. Если у тебя все будет получаться с проектом, то можно будет сделать свой товар с ар очками и идти вместе крупными брендами как Meta и Apple. Ведь у нас нету отечественных разработчиков для создания таких вещей чтоб все знали о нас. И если бы твой товар с ар очками был доступен по цене каждому человеку, то каждый бы ходил в твоих очках и это бы заметили бы другие пользователи из других стран и начали тоже покупать твой продукт)❤
@zernovtech
15 күн бұрын
Спасибо за обратную связь, очень приятно. Проект я не заканчиваю, просто он немного поднадоел) Тема АР только развивается, и в списке гарнитур я если что не потеряюсь :)
как уруто мне очень нравится ❤ я нигде не видел похожего проекта
Добавить бы в эту штуку голосовое управление...
Идеи крутейшие🔥🔥🔥
Ты этот, лучше не разрывайся на два проэкта, шансы выгореть увеличиваються в разы, а так, желаю чтобы твой проект развивался и ты вместе с ним!
@zernovtech
15 күн бұрын
Я наоборот с очками больше выгораю, они для меня трудны в разработке) Хочу переключиться на что-то более приятное лично для меня.
Хочется, чтобы меня заморозили и разморозили, когда этот проект будет уже в релиз версии) оочень интересно к чему это всё приведёт) И маленькая поправка: ты путаешь функционал с функциональностью. Функционал - математическая функция, а как раз функциональность - это набор функций и возможностей системы/приложения/устройства
видос как всегда пушка!
Ваууууу, очень классно получается
@zernovtech
15 күн бұрын
Спасибо)
Я посмотрел все видео, ия могу сказать что это САМЫЙ не душный ютубер по сборке всякого
как всегда на высоте
@zernovtech
15 күн бұрын
Спасибо)
код я писал сам следующее предложение: я использовал нейронку😂😂
@zernovtech
14 күн бұрын
Ахахах) Нейронка мне лишь помогала. Моё написание кода выглядит так: сделал что-то работающее, скормил нейронке, получил ответ в виде слегка оптимизированного/упрощенного кода и вставил его в свой код. И проверил, не сломалось ли ничего.
Банально, но вынужден сказать это - если ты хочешь хорошую производительность на плохом железе питон не твой вариант, пиши на си
Когда-то и меня вела дорога амбиций, но потом я повзрослел… Удачи тебе, ты как минимум уже хороший ютубер
@zernovtech
13 күн бұрын
Ахаха, мир жесток 🙂 Спасибо за поддержку!
Давай будут только три кнопки (через пальцы) указательный+большой = клик, указательный+средний = 2 кнопка, указательный+безымянный= меню очков
Ну ты реально хайп❤
Красавчик, ты сможешь допилить, а на основу может народ подтянется, и будут делать тебе проги)
Опа, новая часть🎉
Советую делать 2 части видео. Первая часть с результатами, а вторая часть с водой, то есть с объяснением того что ты делал
Хай!Переделываю немного дизайн твоего проекта а также добавляю приложухи (пока делаю только дизайн) планирую сделать магазин приложений.Желаю удачи в развитии проекта! Изменено:откуда стока лайков?!
@zernovtech
15 күн бұрын
Привет! Круто! Напиши мне в вк (В описании есть), поскидывай фоточки, я с радостью посмотрю :) ps. можешь форк на гитхабе создать, я привяжу его к своему p.p.s Спасибо за пожелания, тебе тоже удачи!
Ура 2 часть
Интересно, есть ли возможность сделать динамическое расширение?
интересно, спасибо, а про подвеску - вопрос дискуссионный, много зависит от веса робота и мест его поездок.
@zernovtech
14 күн бұрын
А тут больше вопрос образа марсохода:) Подвеска rocker boogie, не секрет.
Если такие очки будут в продаже я буду первым покупателем))
Ты про сто сумашедший ты в историе ❤❤❤
Ура новое видео гения
огонь ты супер!!
Аоаоао,ты мне заметил и сказал товарищи
очень класно , я бы вообще кайфанул если бы ты смог написать что нибудь , что бы можно было мобилу прикрутить как вр шлем
Вместо pillow можно и ffmpeg напрямую юзать для наложения. Может кратно быстрее работать
@zernovtech
15 күн бұрын
Хм... Спасибо за совет, рассмотрим)
Попаду ли я в историю большого открытия и проекта? Думаю да)
12 мая 2024 года я был тут
это очень круто!!!!
Интерфейс то хоть будет размещатся в пространстве? Можно ли будет таскать его с собой как в квесте, или он просто всегла будет висеть у тебя перед глазами?
@zernovtech
15 күн бұрын
3dof. Висит в пространстве вокруг шлема, однако на диване не застывает.
Слушайте, конечно хорошо что вы вдохновляетесь apple vision pro, но как выглядят руки в ui оставляет желать лучшего, может взять способ отрисовки рук как у meta quest 2/3, там поверх руки рисуется виртупльная тень, выглядит это хорошо и лаконично, попробуйте
@zernovtech
15 күн бұрын
В этом есть доля правды. Однако то, что я показал возникло из за хренового освещения, и так-то они на UI нормально накладываются. Но тема реализации наложения как в квестах не сложная, я думаю, я добавлю её как опцию) Спасибо за совет!
Бро ты заслуживаешь больше 4 к подписчиков
@zernovtech
15 күн бұрын
Конечно! Я заслуживаю как минимум 5к подписчиков, и это уже доказано )
А ты можешь скачать туда браузер для скачивания приложений и смотреть какие нибудь сайты
Даже я человек не разбирающися в кодинге и вот этом всём вашем программистском. Знаю одну вещь если хочешь принять душ лучше использовать не шланг а лейку с кучей дырок (сорян за сравнительный каламбур) Почему бы не сделать несколько ядер? Одно отвечает за обработку трекинга рук и отрисовку интерфейса, другой за анимки и прочее если разбить всё на несколько ядер так и нагрузка спадёт и мне кажется можно будет более гибко настраивать и на много проще!
@zernovtech
13 күн бұрын
1. Python язык однопоточный. 2. В Python есть такая штука - GIL, блокиратор интерпретатора 3. Даже сейчас я использую "иллюзию" многопоточки - библиотека Threading, которая разбивает код на потоки. Я бы мог использовать Multiprocessing, однако в ней большие проблемы с обменом данными, но да - там обход GIL есть.
Я советую тебе сделать самодельные кантролеры (хоть какие то) и steam vr сможет пойти с браузероми
Не знаю на сколько хорошая идея, но что если использовать для трекинга модуль тепловизионной камеры (я понимаю что это увеличит стоимость проекта но все же) по мимо отслеживания рук можно ещё сделать приложение которое будет накладывать картинку с тепловизора на картинку с камер, мне кажется было бы интересно
@zernovtech
15 күн бұрын
Тепловизор технически трудно подключить к проекту, но помимо этого он имеет слишком низкое разрешение для таких задач (32x24) и плохой угол обзора.
о опять новый и интересный видос)
@zernovtech
15 күн бұрын
Приятного просмотра :D
@ewgeniy111
15 күн бұрын
@@zernovtech спасибо )
Здравствуйте! Не могли бы вы подсказать как запустить программу как отдельное окно? Заранее благодарю!
@zernovtech
14 күн бұрын
Здравствуйте! С недавнего момента эта функция отключена, однако Вы можете создать запрос в разделе issues на гитхабе с такой просьбой, где Вам помогут с запуском программы в отдельном окне. Также напомню, что сейчас всё работает через браузер, и посмотреть на вывод программы можно через него.
@MakFunGames
14 күн бұрын
@@zernovtech спасибо
Стоит ли покупать все комплектующие для ар очков или лучше подождать еще?😅
@zernovtech
15 күн бұрын
А сейчас код почти полностью унифицирован, там вариантов сборки несколько десятков. Любые камеры (только не VHS, умоляю), любые телефоны и любые очки. Микрокомпьютер лучше пока не покупать :) Рекомендую взять любую вебку, любой VR шлем для телефона и попробовать. Если зайдёт - потом докупить что-то покруче, например самсунг S8.
Ты крут!))
@zernovtech
15 күн бұрын
Спасибо)
у этого проекта есть хорошие шансы))
Изначально брать Python и ждать скорости работы ну такое ) Нужно было Golang брать, там порог входа не высок при этом можно писать очень быстрый код.
@zernovtech
13 күн бұрын
Не спорю, но на Golang вряд ли есть готовые решения для трекинга рук.
лучше не распыляйся, допилить проект с "шлемом" хорошая идея
@zernovtech
15 күн бұрын
А я и не распыляюсь. Шлем всем надоедает, на одни только просмотры роликов глянуть. Да и фактически я его уже допилил.
Новое прекрасное видио
есть пара вопросиков: 1) очень сильно глючит z-индекс рук и интерфейса, почему? Разве стереозрения недостаточно для его правильного вычисления? 2) ты показал код get_command, почему приложения - хардкод, а не более гибкое решение (к примеру, как в android - package name, да или хотя бы просто внятное разделение, а не calculator_open, keyboard_open)? Мне кажется, что для этого достаточно просто завести какой-то словарик apps, в котором ключ - название приложения, а значение - класс/модуль этого приложения, а команды сделать вида "run {app_name}" 3) Есть ли в планах переезд на более адекватные для этого дела ЯП и связку клиент-сервер? (java/c++/c# вместо python, hdmi/type-c вместо веба)
@zernovtech
15 күн бұрын
Привет! Ща всё отвечу 1) Z индекс? 2) Решение писалось в короткие сроки и не для обработки большого объема запросов в разные приложения. 3) Нет, в планах этого нет. Проект больше развлекательный, и не требует таких усложнений. Связка планировалась изначально, но впоследствии отменилась из за проблем нахождения общего протокола. Другой ЯП брать нет смысла, проект уже написан на питоне.
@stunnerr
15 күн бұрын
@@zernovtech 1) ну у меня веб головного мозга, я говорю про третью ось в пространстве Жаль, что проект развлекательный, хотелось бы реально полноценный продукт(
@zernovtech
15 күн бұрын
@@stunnerr у рук нет Z оси, они трекаются в двумерке. Стереозрение тут не используется для опереления расстояний. Реальный продукт на этой платформе не развернуть, а с повышением железа и софта повысится стоимость и получится Pico 4.
@stunnerr
15 күн бұрын
@@zernovtech но pico 4 с закрытыми исходниками, в этом прикол
@zernovtech
15 күн бұрын
@@stunnerrА в чем смысо разработки аналога существующей гарнитуры? Только в опенсорсе?
Извините за вопрос, возможно это говорилось в прошлых видео но можно ли использовать камеру телефона?
@user-vl4tr8hf1z
15 күн бұрын
Это вроде во втором-третьем видосах
@user-vl4tr8hf1z
15 күн бұрын
Либо четвёртом
@user-vl4tr8hf1z
15 күн бұрын
Кароч, сначала посмотри, многое теряешь:)
Молодец!
прикольно. а где 6dof отслеживание, чтобы интерфейс оставался в пространстве? )))
@zernovtech
15 күн бұрын
6dof никогда и не было заявлено. Даже так, я в первом ролике сказал, что 6dof точно не будет. 3dof будет, но попозже.
@dedm0zaj
15 күн бұрын
@@zernovtech ок
Почему хорошие разработчики не додумывается делать типо панели на Виар, т.к сейчас на Виар шлемах есть кнопка для нажимания
Приветствую, а что за смартфон используешь, я забыл, смотрю каждое видео. Ты говорил что андроид не жружелюбная система но на некоторые смартфоны можно ставить линукс. Правда софт придется оптимизоровать и менять под арм проц. Я так то не сильно в этом разбираюсь и думаю эта идея наоборот сделает хуже, но это всего лишь идея. 😅
@frimeex615
11 күн бұрын
А нет эта идея не очень так как он вроде может отказаться работать с Самсунг Гир
@zernovtech
10 күн бұрын
Я использую Samsung s8 + GearVr + одноплатник + sony ps hd camera :)
@frimeex615
10 күн бұрын
@@zernovtech понял, спасибо
Почему бы не использовать управление внутренней часью ладони? Оно, конечно, менее интуитивно и удобнее(хотя, этот пункт относительный. Если привыкнуть, то очень даже ничего. Да и вопросы с клавиатурой остаются), но дает ряд преимуществ(отсутствие необходимости в вырезании ладони и явное "включение" режима работы с юаем)
@zernovtech
14 күн бұрын
Управление внутренней частью ладони очень удобно. И лучше работает с обрезанием фона. Просто повелось так в мире, что управляют тыльной частью, "от себя"
Однако не плохо
Привет, смогу ли я поучаствовать в новом проекте как python разработчик, или ты собираешься делать его один?
@zernovtech
15 күн бұрын
Да сможешь конечно. Пиши в вк :)
Я был тут 12-ого мая 2024-ого года!
Планируешь сделать трекинг очков?
@zernovtech
15 күн бұрын
В пространстве? Нет. Только по пространству вокруг, как в шаре.
возможна ли добавление более 3 камер? Например 4-6 штук (ну вдруг кому-нибудь понадобься )
@zernovtech
15 күн бұрын
Да, конечно, но пока такой функции в проекте нет.
А ты вырезание рук делаешь через нейросеть ?
@zernovtech
15 күн бұрын
Ну да,mediapipe)
@merk_merk
15 күн бұрын
@@zernovtechа ну ладно
Был тут до 5000 подписчиков
@zernovtech
15 күн бұрын
Я тоже)
дезайн имба
Вот он, ютубер мечты.
Что за трек в конце?
@zernovtech
14 күн бұрын
Горе-музыкант - Этот Трек Тебе Не Понравится 2.0 (kzread.info/dash/bejne/Zop6mduvZdvVetY.html) Зайди по ссылке, поддержи девочку, реально классные треки :)
Как вы отнесётесь к тому, что я на основе вашего кода буду разрабатывать свой вариант очков?
@zernovtech
15 күн бұрын
Хорошо, только лучше сурсы своего проекта оформить как форк моего)
@FreskoDesigner
15 күн бұрын
Подпишусь заранее
Мне интересно как квест 2 на мобильном железе отлично отслеживает руки и даже в играх можно использовать
@zernovtech
15 күн бұрын
Квест два на другом языке написан явно не на питоне, создан огромной группой разработчиков из запрещённой в России организации. Не говоря уж, что он напихан кучей камер, стоит 299 долларов и обладает специальным процессором для виртуальной реальности - Snapdragon XR2.
@Nikitashow12355
15 күн бұрын
@@zernovtech может добавить в ваш проект ИИ процессор за 2-3 тысячи который будет руки обрабатывать, все что связано с жестами и вырезать руки на фоне приложений?
@zernovtech
15 күн бұрын
@@Nikitashow12355 Этот ИИ процессор ещё и подключить надо.А так у нас есть NPU, но всё настолько сложно, что не ясно, есть ли в этом смысл?
А можно-ли перенести этот код на с++ илн апример rust
@zernovtech
15 күн бұрын
Нет ничего невозможного. Но это не в моих интересах.
Хорошо хоть не js но тут бы что-то помощнее было бы лучше мне кажется
@zernovtech
14 күн бұрын
Вполне возможно.. Плюсы или раст например. Я на ЖС не пишу :)
Было бы здорово реализовать что-то вроде kando menu только для AR. Хотелось бы поработать над чём-то подобным, жаль правда ресурсов для запуска вашего проекта нет) P. S. А возможен ли запуск чисто на ПК без использования двух камер и прочих железо? Если да, то я себе нашëл развлечение на ближайшие выходные.
@zernovtech
15 күн бұрын
Запуск чисто на ПК возможен, но как минимум нужна одна вебка. Ноутбучная, кстати, должна работать)
@EmuDellno
15 күн бұрын
@@zernovtech ну не ноутбук у меня конечно, но я знаю как камеру телефона использовать в качестве камеры ПК.
@zernovtech
15 күн бұрын
@@EmuDellno Да, droidcam например. Только нужен драйвер, чтобы камера определялась как вебка. И ещё. В конфигураторе указать "use_1_camera"
@EmuDellno
15 күн бұрын
@@zernovtech спасибо за совет!
урааааааааа новое видео
до миллиона
Очень зашол проект что Новий что старый но в старом проекте меня смущает что когда наводится на объект часи или paint то появляются артефакты 😢
@zernovtech
15 күн бұрын
Спасибо за обратную связь! Артефакты от освещения, руки, которая близко к камере и проклятого тресхолда опенцв. Исправить можно, но тогда будет сильный упадок по FPS, а это не круто. Со временем исправится)
У крипер2004 уже вышла новинка
День добрый, у меня есть желание присоединится к анонсированному проекту, я вполне неплохо владею языком C#. Может быть и по очкам какую идею подкину. Буду рад поработать в команде
@zernovtech
15 күн бұрын
Добрый! Напишите пожалуйста вконтакте из описания ролика, предварительно вроде нужно кинуть заявку в друзья :)
@hack.exe_live4155
15 күн бұрын
@@zernovtech Заявку кинул
Честно говоря, мне все кажется, что с увеличением количества кода, питон становится всё более плохой идеей. Может быть стоит переписать всё на другой язык? Так получится лучше придерживаться OOP, а следовательно и поддерживаемость увеличится.
@zernovtech
15 күн бұрын
Естественно, Python последнее днище в этом плане. Наиглубочайшее. Но я сейчас не заинтересован в переписывании на другой язык (Какой? Rust? C#? На них нет трекинга рук.). OOP - весело, но опять же, нет языка под эти задачи кроме питона. Ах да, опенсорс, так что ты можешь с лёгкостью переписать всё на желаемый тебе язык, я не запрещаю :)
@Vorono4ka
15 күн бұрын
@@zernovtech для этого и существуют апи, ты можешь вынести трекинг на питоне в отдельную программу, которая будет запускаться вместе с основным сервером, но отвечать только за трекинг. А все остальное взаимодействие будет проходить в любом другом языке
@zernovtech
15 күн бұрын
@@Vorono4ka А я и не вижу смысла в этом. Перевод проекта на совершенно другой уровень, и получение там таких же результатов как тут. Если и переделывать то на движок, например юнити, но это переизобретение Pico 4 :)
@Vorono4ka
15 күн бұрын
@@zernovtech таких же результатов в каком плане? То что дальнейшего развития не будет? Если в планах забросить проект, а не доводить его до ума, то, конечно, никакого прироста не будет. Но в случае серьезной работы над проектом и его кодовой базой, повысится не только уровень проекта, но и его производительность и как я уже говорил выше, поддерживаемость.
@zernovtech
15 күн бұрын
@@Vorono4ka А какой смысл в этом? Вот повысится производительность, поддерживаемость и уровень проекта, но по-прежнему это будет устройство без поддержки 6dof, без реального трёхмерного трекинга. И если простраивать API к питоновскому Mediapipe то не сильно увеличится производительность. Так в чем тогда смысл? Если сейчас менять кодовую базу, то на Unity, но это не в моих интересах. Это не мой профиль и мне это не интересно. + на работу с юнити нужно железо в разы мощнее, а это стоимость Pico 4. Так смысл в изобретении велосипеда?
Что за музыка в конце видео?😅
@zernovtech
15 күн бұрын
Горе-музыкант - Этот Трек Тебе Не Понравится 2.0 (kzread.info/dash/bejne/Zop6mduvZdvVetY.html) Зайди по ссылке, поддержи девочку, реально классные треки :)
Молодец
@zernovtech
15 күн бұрын
( ^ ω ^)