Обучение парсингу на Python | Парсинг CloudFlare | Фриланс, Selenium, CloudFlare
⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираемся как можно обойти Cloudflare правильно настроив Selenium WebDriver для Chrome браузера.
💰 Поддержать проект:
www.netstalkers.com/private
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе:
zomro.com/?from=246874
promo_code:
zomro_246874
Хороший proxy сервис:
proxy6.net/a/149995
🔥 Telegram канал с к кучей ништяков и кодом из видео:
t.me/python2day
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter.com/
Код проекта на github:
github.com/pythontoday/scrap-...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #selenium #заработок #webscraping #scraping #api #webdriver #freelance
Пікірлер: 221
"Я напишу этот комментарий через переводчик" Спасибо большое, я много понимаю из твоих роликов, конечно есть язычный барьер но Вы объясните лучше всех 🤝🤝
@PythonToday
Жыл бұрын
Большое спасибо за поддержку!
@justforfun-yc4xz
Жыл бұрын
@@PythonToday Запиши пожалуйста урок как работать с определенным Гугл Профилем 🙏🙏 Очень полезно будет для новичков. Пару таких видео нашел, через undetected_chromedriver люди открывают, но у меня не работает, что только не пробовал 🥵 У меня открывается профиль, но почему то функция get() не открывает страницу.
@12fricker
Жыл бұрын
@@PythonToday а как обойти cloudflare если скрипт запускается на heroku?
Long, long time ago I learned russian language in school. Now I use your channel to try to keep track with russian language in IT area. I still understand a lot .. some remaining stuff gets more clear when seeing the code. Thanks a lot and keep going. Greetings from Germany.
@PythonToday
Жыл бұрын
Thanks a lot! Really appreciate it!
Прям супер вовремя. Тоже встрял с капчей из-за этого. Благодарности нет предела! 🔥🔥🔥
Просто лучший, благодарю.
Красачик, и Сане спасибо) Благодарю за полезный контент!
@PythonToday
Жыл бұрын
Надеюсь Саня прочитает) Большое спасибо за фидбэк и поддержку друг!
Спасибо большое дорогой друг, я долго ждал видео на базе обновленного Selentium. У тебя был курс но уже устарел! Очень помогаешь, самые информативные уроки на русскоязычном пространстве. Благодарю!
@PythonToday
Жыл бұрын
Большое спасибо за фидбэк и поддержку! Да не так-то он и устарел, есть какие-то методы, но Python, как и Selenium прямо говорит что нужно заменить, всё максимально понятно) Достаточно загуглить
Спасибо огромное за идею. Все работает!!!
Здравствуйте. Обычно комментарии не пишу, но вас я решил поддержать, потому что вы бесплатно делитесь такими крутыми знаниями. Спасибо за ваши видео, благодаря вам я уже пишу работающие парсеры, пока что для проектов моих друзей и знакомых, но дальше больше. Большинство скилов я приобрел из ваших видео. 🔥
@PythonToday
Жыл бұрын
Большое спасибо за поддержку и фидбэк!
Спасибо большое Вам за видео, а Александру за информацию.
@PythonToday
Жыл бұрын
Благодарю за фидбэк!
Спасибо ! Очень полезное и интересное видео !
Благодарю Вас - это для меня актуально
Молодец! И Сане большое спасибо 😀
Супер! Спасибо огромное за твой труд! Александру тоже спасибо)
@PythonToday
Жыл бұрын
Большое спаисбо за фидбэк!
Не зря выкладываешь ролики :)
Большое спасибо за практический и полезный материал, и за посты в телеге) Еще бы обзоров побольше на утилиты, понимаю что на ютубе вряд ли, но в приватке по возможности. И больше пентеста друг, большое тебе спасибо за то, что освещаешь эту тему с практической стороны ❤ С нас поддержка)
@PythonToday
Жыл бұрын
Да, учусь полным ходом, со временем совсем тяжело. Конечно будем делать больше видео по пентесту) Спасибо за поддержку дружище!
@dimamihalev2986
Жыл бұрын
@@PythonToday для обхода Клауда есть либа клаудскрапе, пользуйся и не гемори с селеном
@user-he9wc4vy3v
Жыл бұрын
@@PythonToday Я бы добавил, что один и тот же код на разных компах работает по разному. На одном работает, на другом нет. Отличие только в версии Chrome.
Спасибо за вашу работу. Хотелось бы увидеть ролик с использованием библиотеки dash.
Удивительно полезный канал)) мне очень нравится!!! Продолжайте в том же духе)))
@PythonToday
Жыл бұрын
Большое спасибо за поддержку!
Действительно работает ) Спасибо!
@PythonToday
Жыл бұрын
Рад что полезно, спасибо за фидбэк!
спасибо. первый раз решил попробовать автоматизировать на озоне и сразу проверка такая. помогли твои действия.
@PythonToday
Жыл бұрын
Рад что полезно, спасибо за фидбэк!
Отличный урок. Впрочем, как всегда. Спасибо за труд!
@PythonToday
Жыл бұрын
Большое спасибо за поддержку!
Больше спасибо!
Hallmore, кощак и ПАРСИНГ!!!)))) Обожаю!))) Поддерживаю ребят в комментах. Можно побольше про selenium?
Очень круто, спасибо!
@PythonToday
Жыл бұрын
Спасибо за фидбэк!
Класс) кстати, хотелось бы побольше видео по парсингу с использованием селениум, особенно с запусками цепочек действий
@PythonToday
Жыл бұрын
Большое спасибо за фидбэк! Если будет заказ, обязательно выложу видео. Ушел сейчас с головой в другое направление)
@shortvideos9955
Жыл бұрын
@@PythonTodayВ какое?)
Супер!!! Наконец то заработал!!!
Вау! Просто вау ) завтра буду тестить!
@set1qs
Жыл бұрын
Вот я и потестил твой код ) супер! Все работает! Канал просто пушка!
Вау, очень круто!!
ну сам видос оч полезен, спасибо)
Very Nice!! Really help me!
Ух ты, спасибо. Я то привык пользоваться undetected chromedriver
шикардос спасибо
Канал бомба! 👍
@PythonToday
Жыл бұрын
Большое спасибо за поддержку!
Как всегда спасибо за топовый контент. Вот бы ещё знать как обойти затупы авито при использовании селениума или реквеста)
каааааааееееееееееееееееф!!!! огромное спасибо, как же это мне помогло)
@PythonToday
Жыл бұрын
Рад что полезно! Спасибо за фидбэк!
Спасибо за то видео! Искал ответ именно на этот вопрос, правда никаких cdc в консоле я не нашёл и не получилось зайти на озон. Хотелось бы ещё по playwright
круть, спасибо, как раз нужен был такой способ
@PythonToday
Жыл бұрын
Рад что полезно, спасибо за фидбэк!
Спасибо круто
огонь, спасибо за инфу
@PythonToday
Жыл бұрын
Спасибо за фидбэк!
как раз то что нужно мне сейчас
@PythonToday
Жыл бұрын
Надеюсь было полезно!
Отличный контент, для полной феерии ещё бы подмену webRtc, не удаление, а подмену
Ещё было бы интересно посмотреть настройку selenium под максимально быструюработу, тоесть облегчить его полностью
Впечатляет
как обычно круто!!!!!!!!!!!!!!!!!!
@PythonToday
Жыл бұрын
Большое спасибо за фидбэк!
работаю на компанию у которой стоит подобная защита, буду пробовать. Не знал об этих функциях
Крутой материал!
можно чаще видео делать!!
супер
Прикольно
Спасибо большое
@PythonToday
Жыл бұрын
Благодарю за фидбэк!
Ех, кто б подсказал как бороться с LavaMoat в MetaMask) а видос крутой
Стянул это видео, как и учил мастер)
Хотелось бы увидеть подобное для лисы
Буду пробовать, а то я неделю бьюсь над тем как запустить парсер мегамаркета на сервере
👍👍👍
Спасибо за Ваш труд. Очень полезные штуки узнаем. У меня вопрос. Наверное у вас видел про псевдо элементы парсинг. Можете на которым видео... Если честно сказать вроде все Ваше видое просмотрел так и не могу найти.
Канал огонь!!!!! Рекомендую!!! Подскажите адекватную фриланс биржу?!
Привет, хотелось бы ещё видео на эту тему, с нюансом, как обойти капчу при парсинге)
@rkpstam
Жыл бұрын
Используй установку плагинов с антикапч , к сожалению придётся сделать либо повторно запускаемый экземпляр браузера, либо установку плагина при каждом запуске.
@Proborder
Жыл бұрын
@@rkpstam *Зачем? Скачиваешь расширения, закидываешь, подключаешь... Капча сама обнаруживается и решается.*
@rkpstam
Жыл бұрын
@@Proborder В любом случае расширение должно устанавливаться при каждом запуске(либо быть изначально установленным, при подключении к существующему браузеру)
@maksbms2655
Жыл бұрын
@@Proborder Что за расширение, не подскажешь?
@rusik-pusik
Жыл бұрын
можно и без расширений обойтись
Спасибо за ваши видео. Скажите вы выполняете заказы? Как можно с вами связаться?
Прикольный метод. Такое в привате можно курсами толкать, тыща рублей за интенсив по обходу клоудфлера 😀
@PythonToday
Жыл бұрын
Благодарю за фидбэк!)
отлично! надо попробовать в --headless режиме) буквально пару дней назад мучался, когда в оконном режиме сайт впускает, в безголовом же выскакивает заглушка. Оказывается, в режиме --headless нужно было изменять user-agent. В безголовом режиме он выглядит как chromeHeadless Browser 109.4.36.... Нужно попробовать, как у вас в видео,
@vornedmort7318
Жыл бұрын
Здравствуйте, сейчас столкнулся с этой проблемой, в headless режиме не возвращается разметка, которая видна при запуске и следственно невозможно произвести клик по чек-боксу для прохождения проверки. Вы эту проблему смогли решить? В оконном режиме кстати проверка проходит на ура.
@zakirovio
Жыл бұрын
@@vornedmort7318 не знаю нужно разбираться
Спасибо за отличный ролик! Друзья, посоветуйте биржу фриланса. Хотел бы сам потренироваться что-то парсить, но чтоб за это и копеечку получать
попробуйте undetected selenium, там уже все настроено)
Подскажит пожалуйста, как данный обход/подход совместить с парсингом большого количества ссылок, которые генерируются мною лично для определённого сайта? Т.е. то что вебдрайвером селениума мы обходим единичную проверку CloudFlare это замечательно, но как дальше не попадать на эту же проверку, когда ссылок в работе большое количечство? Я имею ввиду, что может можно как то по типу requests.session сохранить свой "статус пройденной проверки" и дальше работать в обычном режиме?
Привет! Спасибо за видео! Сталкивался ли с защитой 'F5'? Если да, подскажи как с ней бороться)) Устал видеть "The requested URL was rejected. Please consult with your administrador."😑
Было бы круто обзодить на реквестах, но лучше чем открывать браузер и експорировать кукисы в реквест сессию я не находил
у селениума есть свои таимауты, как условные так и безусловные , можно без таима . интересно было бы посмотреть пример на фаерфоксе , а то селениум 4 версии с фаервокс как-то запутано иницируется
Приветствую, подскажите, терминал zsh? Как называется тема, где взять?
Спасибо! А на Playwright как подобное сделать?)
Ну всё, Озон держись.
Привет, у тебя в описании указан неверный репозиторий. Перекидывает на scrap-lifetime, а нужен selenium_cloudflare.
А как вы так кастомизировали консоль vscode-а?
Привет. Спасибо за отличное объяснения. Но на windows почему то не получается обойти эту капчу (. Несколько раз пересматривал
Прекрасное видео, очень помогло при парсинге ozon! p.s в описании видео стоит не та ссылка на код проекта.
@PythonToday
Жыл бұрын
Большое спасибо за фидбэк! Рад что полезно!
@user-he9wc4vy3v
Жыл бұрын
@@PythonToday в описании видео стоит не та ссылка на код проекта.
@user-gv7ie5jg6u
11 ай бұрын
Мне сейчас не помогает, может еще какая хитрость, которая в видео не описана?
как определить стоимость заказа (парсера)?
Спасибо. А что лучше использовать, вариант из видео или undetected_chromedriver. Заранее спасибо.
@zipsit2315
4 ай бұрын
последний не работает.
Не совсем понял почему бы просто вместо selenium в чистом виде не использовать undetected chrome driver? У меня лично Клауд не палит его и вроде как попроще решение или я чего-то не понимаю?
Как сохранить страницу теперь? Можно ли python поставить на крон?
Парсить хромдрайвером не тру. Показал бы как использовать барп, и сделать на чистом реквесте\айохттп
Сейчас таким образом обойти защиту CloudFlare не получается. может кто подскажет какие есть актуальные варианты?
Вот это топчик!
Это visual Studio?
Есть ли другие методы CloudFlare?
Ты же вроде показывал библиотеку fake-selenium, которая обходила cloudflare, она перестала работать или не в ней суть?
@stoparb357
Жыл бұрын
видимо в той библиотеке и используются эти опции
Можно без танцев с бубном со скачиванием и установкой путей до драйвера. Есть пакет undetected_chromedriver, все тоже самое, но проще
@PythonToday
Жыл бұрын
Пробовал обойти cloudflare с помощью данного модуля?
@dmitriynekrasov3098
Жыл бұрын
@@PythonToday да, все обходится, сайт загружается. Было это месяца 4 назад. Сомневаюсь, что сейчас что-то поменялось
@PythonToday
Жыл бұрын
Возможно зависит от сайта, или версии cf, т.к обновляют. Насколько помню пробовал uc, но не смог пройти
@PythonToday
Жыл бұрын
Осенью ещё, может что-то обновилось в лучшую сторону для UC
@alexchto
Жыл бұрын
Uc легко обходит клауд
в nodejs/golang есть библиотека cycleTLS, которая шаманит с шифрами, что бы установить нормальный TLS handshake, что позволяют пройти сквозь cloudflfare, возможно на python можно реализовать такое же решение
@PythonToday
10 ай бұрын
К сожалению пока не в курсе
Как получить доступ к сайту через тор соединение? Не получается проити tls рукопожание... (((
А чем не угодил selenium_stealth ?
Возможно ли спарсить ссылку с псевдоэлемента?
а можно использовать undetected-chromedriver и webdriver-manager и не городить "огород", но как я понял автор не ищет лёгких путей
пытаюсь зайти на озон с этим кодом и у меня становится не кликабельной кнопка войти / выдает ошибку, так что их сайт как-то иначе отлавливает что я роботизировано захожу(
Существует ли на данный момент рабочий метод обхода CloudFlare? Потому что этот метод перестал работать с начала августа 2023 года(
@mikhan8458
7 ай бұрын
Есть, seleniumbase.Driver(uc=True)
@user-yl6wt2ki8t
5 ай бұрын
Нашли?
@-USER_NAME
4 ай бұрын
@@user-yl6wt2ki8tкак вариант использовать версию Chrome такую же как и в видео 109.0.5414 Ну или import undetected_chrondriver as uc options=uc.ChromeOptions() options.add_argument("--disable-blink-features=AutomationConrolled") s=Service("/usr/../../chromedriver") driver=uc.Chrome(service=s, options= options) driver.get(url)
@ma1lor208
3 ай бұрын
а вы нашли?
@user-jp5tj2nf6q
3 ай бұрын
@@ma1lor208 а вы нашли?
что делать если в Fetch/XHR в Response нету ничего а просто цифра 1, я пытаюсь на другом сайте сделать это
Соевый соус
ты лучший) А можно как-то сделать с помощью requests?
@PythonToday
Жыл бұрын
Благодарю за фидбэк! Не могу сказать наверняка, пока не доводилось. Но нет ничего невозможного)
@gz1p642
Жыл бұрын
тоже интересует такой вопрос
@iolar_si
3 ай бұрын
Антибот Cloudflare и через Selenium-то, имитирующий человеческие действия, обойти сложно, а уж через requests... Возможно и есть какие-то методы, но мне кажется, это скорее всего дохлый номер :-/
что-то обновили, раньше все работало. Но теперь это не работает. Mожет быть, вы сможете найти новые решения? был бы очень признателен
Деньги ))
Жаль у меня не обходит все равно cloudflare на сайте chatgpt, его вообще можно как то обойти?
интресно, можно ли пройти cloudflare без селениума через bs4?
@re1von
Жыл бұрын
Возможно, но это подрыв очка. Готовые решения есть только на 1-ую версию, на 2-ую нема (онли платные). И bs4 здесь вообще не при чем
@axelrod4840
Жыл бұрын
@@re1von пон, спасибо. а сейчас какая версия?
@re1von
Жыл бұрын
@axelrod в смысле "какая сейчас"? Какую сервис, которому нужна защита, выберет, такая и будет. Доступны обе
Как пройти проверку я не робот от яндекса?
что делать если нету такой версии браузера которая у меня?