Интересно увидеть что-то практическое и работающее написанное на playwright

@the_parse_hub

Жыл бұрын

Интересно, значит сделаю

@pekarskiy_nikolai

Жыл бұрын

@@the_parse_hub спасибо

@stanliforgame

10 ай бұрын

@@the_parse_hub спасибо! Подписался

Контент огонь!!! Автору огромнейшее спасибо за труд!

Первое видео и сразу ставлю класс, подписка)) Вы один из немногих русскоязычных ютуберов, кто снимает про Playwright))

OMG! Я еще не отошел от прошлого видео про seleniumbase, а тут такое!! Спасибо! И кстати, темная тема лучше)

Спасибо! Нужно пробывать писать тесты ✍️

Ждем новое видео с практикой!)

Спасибо. Интересно посмотреть работу парсера на Playwright

Спасибо большое за видео! Я только начинаю изучать Парсинг для некоторых рабочих задач, обратил внимание что все русскоязычные гайды устарели и был в поисках чего-то посвежее. Ваше видео пришлось очень кстати. Начну лучше с этой библиотеки свой путь)

Даже и не знал про такой крутой инструмент. Да честно и про base и антидект тоже не знал 😄 Спасибо! 👍

Отличное видео, спасибо большое за полезную информацию)

Спасибо за обзор👍 Попробую.

Спасибо, интересно. надо проверить.

Спасибо автору за интересный контент. Хорошая подача материала. Подписался на канал. Мне больше темная тема нравится. Про шрифт согласен, можно увеличить, тогда и с мобильных устройств можно будет смотреть видео, а не только слушать.

Спасибо! Белая лучше видать

Привет! Классные видосы, классный канал!

Конечно,хотелось бы увидеть на Playwright,а особенно написание бота для какого-нибудь букса😊😊😊😊

@the_parse_hub

9 ай бұрын

Такое видео может подойдет: kzread.info/dash/bejne/pqmcmsGRcdaZgaw.html

Больше Playwright плиссс)

Интересный инструмент, код действительно выглядит намного приятнее.

Спасибо, очень интересно рассказываете. Действительно, хотелось бы увидеть автоматизацию парсинга того же авито на playwrite и сравнить это с тем, что вы делали на selenium, скорость работы и насколько наглядным будет код.

@the_parse_hub

Жыл бұрын

Спасибо! Playwright точно покажу на деле, но вряд-ли это будет на примере Авито

@karas_warface

7 ай бұрын

Зачем делать парсинг авито с эмуляцией браузера, когда можно это сделать обычными запросами

@the_parse_hub

7 ай бұрын

Прям обычными? И работать будет стабильно?

@mr.morden9247

7 ай бұрын

@@karas_warface ну так-то чтобы делать запросы, нужно обращаться с avito api, а они его всем подряд не дают

@karas_warface

7 ай бұрын

@@the_parse_hub дэ

Спасибо, хотелось бы увидеть парсер!

@the_parse_hub

Жыл бұрын

Спасибо! Всё будет

Белая тема для показа кода лучше=) Темная это чтобы глазки не уставали)

@the_parse_hub

3 ай бұрын

По итогу большинство за тёмную тему

световая бомба) черная тема получше будет

Спасибо, очень интересно. Напишите какой-то парсер, жедательно чтобы код был в ООП, что-то типо мини фрейморка заготовки для парсинга любых сайтов с набором основных функций: инициализация браузера, посик элемента, заполнение полей, клик по элементу и т.п.

@the_parse_hub

Жыл бұрын

Да, будет такое

Да, и лично мне светлая тема привычнее.

класс, про Playwright действительно пока мало инфы

Мне больше тёмная тема нравится

очень круто. не зря подписался. спасибо

светлая 👍👍👍👍👍👍👍👍👍👍👍👍

@the_parse_hub

6 ай бұрын

по итогу большинство за темную

белая тема = минус глаза

@the_parse_hub

Жыл бұрын

Согласен. Поэтому дальше будет темная тема

Вот это я охренел, конечно, от увиденного. Очень круто! Узнал новое слово "mock'ать" )) Если будет настроение, покажите интересный пример с этим mock, пожалуйста.

@the_parse_hub

Жыл бұрын

Постараюсь показать в одном из след. видео

Пишу на Дракуле но бывает надоедает и включаю белую но без ярких тонов, разнообразие и веселее становиться, и да ошибки лучше видны на белой по своему опыту 🙂

@the_parse_hub

Жыл бұрын

Я иногда тоже меняю тему на любую другую просто для разнообразия, но потом всё равно возвращаюсь на Darcula

Привет! Подскажи, пожалуйста. Сейчас вот начинаю учить что-то для парснига(хочу в целом заняться этим) и выбираю библиотеку для изучения. Стоит ли сразу начать с pw не уча силениум?

@the_parse_hub

3 ай бұрын

Я бы все же начал с селениума. Потом на pw перейти будет несложно

@olot3815

3 ай бұрын

@@the_parse_hub Спасибо, тогда последую твоему совету и начну с селениума

Не могу смотреть на видео с белой темой дольше 10 мин. Кому плохо видно на черном тому и на белом будет не очень потому что или моник крупнее надо брать или очки

Для просмотра белая тема лучше. Еще можно шрифт увеличить т.к. в записи качество хуже чем на мониторе и смотришь из "окошка".

@the_parse_hub

10 ай бұрын

Большинство всё-таки за темную тему. Насчет размера шрифта - в новых видео использую размер шрифта =18, должно хватать

Тема пофиг,объясняете классно.Удачи каналу.

Возможно как то запустить параллельно несколько браузеров с разными профилями? Чтоб ничего не останавливалось? Мне нужно сделать быстрое выполнение кликов на сайте одновременно, но потоки и мульти процессинг вообще никак не помогли, они либо по очереди все делают, либо работает только 1 браузер , может проблема в селениуме?. плейрайт работает с потоками нормально?? Стоит ли на него переходить?

@the_parse_hub

5 ай бұрын

такой вариант попробуйте kzread.info/dash/bejne/dIip3MRpkbbAptY.html

Я использую Playwright, и он мне нравится намного больше, чем Selenium

@the_parse_hub

9 ай бұрын

Playwright классный, просто очень много людей давно привыкли уже к Selenium или тесты в проекте уже написаны на Selenium

@user-cz3hq4lu2q

3 ай бұрын

Как использовать прокси на playwright python, не понятно, я гкглил на форумах, эту тему не поднимают

а насчет лучше ли белая тема: лучше увеличить шрифт и скрыть вкладку с проектами

@the_parse_hub

Жыл бұрын

Спасибо! Учту

Может ли Playwright работать в режиме undetected чтобы обходить проверку CloudFlare и прочие, как это может делать Undetected Chromedriver?

@the_parse_hub

10 ай бұрын

Есть похожая библиотека для таких целей: github.com/QIN2DIM/undetected-playwright

@black_vlastelin

10 ай бұрын

@@the_parse_hub Спасибо за ссылку. Проверил данный пакет. Странно, но он как будто ничего не меняет в драйвере Playwright. Cloudflare его детектирует, а вот SeleniumBase в режиме undetected проходит проверку.

Всем привет. Стал все это добро ставить на code studio и столкнулся с проблемой не понимаю как поставить инспектора. Если не сложно можно сказать как это сделать пошагово?

@the_parse_hub

10 ай бұрын

Если уже установили Playwright, то нужно открыть консоль в code studio, вставить: playwright codegen нажать enter и всё

Selenium можно не учить получается уже? сразу pytest и Playwright? или уже и pytest не нужно учить?

@the_parse_hub

4 ай бұрын

Можно вообще ничего не учить) Всё же зависит от конечной цели

Тема темная меньше бьёт по глазам. Но в принципе не важно. Шрифт чуть бы покрупнее

@the_parse_hub

Жыл бұрын

Каждое видео увеличиваю шрифт на 1 ед. В следующем будет уже 18 (при работе использую 14), надеюсь этого уже хватит

А по скорости работы и нагрузки системы, что эфективнее ?

@the_parse_hub

5 ай бұрын

По всяким тестам выходит playwright в среднем быстрее конкурентов. Но это разница не такая большая, чтобы однозначно переходить на него из-за скорости. Меня больше подкупает, что в нем есть очень много чего прямо из коробки, ну и нет возни с версиями браузеров

@user-he7fh1fv4c

5 ай бұрын

​@@the_parse_hubспасибо за ответ. Просто у меня проблема. Селениум в 7 работающих браузеров одновременно, потребляет память +-30гб озу, сервер 12 ядерный 24 поточный еле справляется, и часто ошибки.

@the_parse_hub

5 ай бұрын

Ну да, очень большое потребление ресурсов, думайте над заменой

Приветствую, а в чем может быть проблема, у меня браузер сам по себе закрывается (Chrome, только с ним проблема). Буквально на 3 сек открывается и сразу закрывается. Буду благодарен за помощь.

@the_parse_hub

2 ай бұрын

Если ошибок не было, значит он выполнил всю работу и закрылся. Можно в конце кода дописать к примеру, time.sleep(10) и будет еще 10 секунд, чтобы полюбоваться браузером

Я в начале своего пути. вот пытаюсь спарсить web версию Telegram. И пока не очень получается. Может спарсите TG с ипользоавпнием этой библиотеки? Спасибо!

@the_parse_hub

2 ай бұрын

В парсинге очень важным является правильный выбор инструмента\подхода, поэтому у меня сразу возникает несколько вопросов: 1) Принципиальна именно web версия? 2) Нужен именно Playwright или без разницы? Т.к. существуют библиотеки для парсинга тг без всяких эмуляций браузера

@user-yz1uj3kx7b

2 ай бұрын

@@the_parse_hub нет, не приницпиально ни 1 ни 2. Просто я пытался это сделать с помощьюю Silenium но что то не очень получается.

Вопрос 🙋‍♂️ если парсеть сайт но там нужно войти по логину и пароль Как это сделать ?

@the_parse_hub

5 ай бұрын

Основных варианта 2: 1) Ввести логин-пароль в нужные поля и войти, т.е. сделать всё как в жизни 2) Указать Playwright какие куки (уже с залогиненым пользователем) использовать

А что раньше молчали?

@the_parse_hub

6 ай бұрын

О чём молчал?

имхо, темная тема лучше, не режет глаза

Для Selenim тоже есть удобное раширение для Chrome: Silenium IDE в котором тоже можно получить что-то более менее похожее, но там не для конкретного языка

Я неделю учу селениум обычный , стоит ли переходить на эту штуку ?!

@the_parse_hub

Жыл бұрын

Продолжайте учить selenium, после него на Playwright будет перейти не сложно

Сделайте парсер пожалуйста на playwrite

@the_parse_hub

Жыл бұрын

Будет

Темная

Прикольно, но Selenium в отличии от playwright не тормозит. Для сайтов с минимальным набором элементов - подойдет, для остального Селениум. Хоть и возиться с ним больше

@the_parse_hub

5 ай бұрын

По практически любым тестам Playwright обгоняет Selenium в скорости, да и я не замечал, чтобы он тормозил

@ser.makarov8357

5 ай бұрын

@@the_parse_hub возможно. но я заметил обратное. в конечном счете делаю тесты селениумом))

Для меня темная лучше

клауд проходит?

@the_parse_hub

Жыл бұрын

Раньше проходил - сейчас не проверял

@pro100chok

Жыл бұрын

как подключить прокси с аунтификацией к undetected chrome driver? можешь линк на пример кинуть? спасибо

@the_parse_hub

Жыл бұрын

@@pro100chok подскажу как это сделать: from seleniumwire import undetected_chromedriver as uc # pip install selenium-wire wire_options = { 'proxy': { 'https': f'{login}:{password}@{ip}:{port}', } } driver = uc.Chrome(seleniumwire_options=wire_options)

@pro100chok

Жыл бұрын

@@the_parse_hub спасибо

Огромный плюс селениума - это возможность формирования фейковых юзерагентов, маскировка самого парсера. Есть ли тут такой функционал?

@the_parse_hub

Жыл бұрын

Юзерагенты здесь конечно есть и их можно менять. Примерно полгода назад я проверял как "дружит" cloudflare с Playwright, было всё ок, сейчас не знаю

Спрашивал у офтольмолога про цвет текста и фона. Он сказал, что светлый текст на тёмном фоне вреден. Нужно читать чёрный текст на белом фоне. Можно ещё шрифт крупнее делать. Так зрители наверняка не будут вглядываться в экран. У кого-то может со зрением не очень. Для себя всегда делаю шриф крупнее на всякий случай. Глаза беречь надо.

@the_parse_hub

Жыл бұрын

Спасибо! Отлично, вот уже и совет с медицинской точки зрения. Расскажу какие у меня настройки во время работы: у меня темная тема и шрифт 14. Во время записи видео шрифт делаю 16, чтобы зрителям было лучше видно, и наверное, нужно делать еще больше. Также во время записи увеличиваю масштаб в браузере до 125%

@user-kf4pk9kk9h

Жыл бұрын

​@@the_parse_hub я вижу нормально, но шрифт обычно делаю не меньше 18. Ваш шрифт 16 размера мне кажется меньше 16. Наверно это ещё зависит от разрешения экрана зрителя.

Это хуже Селениума. У Селениума есть куча пполезных под-модулей, как seelnium-wire, undetected-chromedriver, тут же ничего этого нет. Абсолютно бесполезная штуковина.

@the_parse_hub

9 ай бұрын

Ну давай по пунктам насчет под-модулей: 1) selenium-wire: прослушка запросов, прокси с авторизацией, mock и пр. Это всё есть в playwright прямо из коробки 2) вместо undetected-chromedriver есть undetected-playwright Моё мнение: и selenium и playwright отличные инструменты, что использовать каждый решит сам. Лично я в парсинге использую до сих пор selenium т.к прям сильно привычный инструмент для меня. А при разработке сайтов уже стараюсь использовать playwright для тестов

@bill8126

9 ай бұрын

​@@the_parse_hub Сайты тоже на питоне или пхп делаешь ?

@the_parse_hub

9 ай бұрын

@@bill8126 django

а в селениум есть подобный инспектор как в playwrite inspector? как по мне- очень крутая фишка именно в этом- просто открыл сайт, прокликал по нужному пути и все, код автоматом написался

@the_parse_hub

Жыл бұрын

Есть что-то похожее, называется Selenium IDE и реализовано оно в виде расширения для браузера