⭐Курс ООП и Приват канал: zproger-school.com/ ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx Не забывайте оставлять свои идеи для следующих видео в комментариях, большинство из них реализовывается на канале. Также подписывайтесь на канал, так как именно у нас публикуется отборный материал, который позволит вам изучать программирование и другие технологии в разы быстрее.

Спасибо огромное за информацию!!!!!! Я пересмотрел и перечитал где-то штук 10 статей и столько же видосов, уже руки опускались и тут на тебя наткнулся. Ты очень понятно объясняешь. лайк и подписка)

@zproger

3 жыл бұрын

Спасибо, рад что смог помочь

Добрый!!! С новый 2023!!!! Спасибо! Контент = огонь!

@zproger

Жыл бұрын

Спасибо, и Вас!

Спасибо за видео, самое лучшее на русскоязычном сегменте, но есть недочеты. (1) Изначально в словарь data мы добавили только логин и пароль, но за кадром был добавлен ключ 'form_sent' . (2) Так же за кадром осталось сокращение ссылки profile_info (убрали '?id=2159'). Я ОЧЕНЬ долго не мог понять почему ничего не получается, из-за (1) я не логинился на сайте, но из-за (2) мог посмотреть информацию о пользователе, так как на ru-forum информацию о пользователе могут посмотреть незарегистрированные пользователи. Как я понял, в data нужно передавать все значения, которые запрашиваются. Надеюсь этот комментарий кому-нибуть поможет.

@zproger

3 жыл бұрын

Спасибо, да действительно этот кадр был обрезан, так как в самом видео была допущена ошибка. Как-то забыл явно об этом указать, но надеюсь что комментарий поможет всем, кто будет сталкиваться с ней на данном примере.

@GK-bg3jw

2 жыл бұрын

Хотел бы узнать, почему был добавлен этот ключ?

@n6mq97

Жыл бұрын

Спасибо, после того как добавил все ключи из браузера в словарь "data" я смог авторизироваться)

Я так долго искал видео с объяснением авторизации на сайтах с помощью гет пост запросов, спасибо большое !!!

@zproger

2 жыл бұрын

Пожалуйста :)

Спасибо за видео!

Кратко, ясно и по делу. спасибо

@zproger

3 жыл бұрын

Спасибо за поддержку :)

@VR-ut6ql

3 жыл бұрын

@@zproger благодаря этому видео я за 4 часа разобрался как авторизоваться и отправлять сообщения, хотя до этого 3 дня пытался и не смог🥲, Тренируюсь на сайте знакомств сообщения и коменты программа пишет, а вот лайки и запросы в друзя не отправляет почему то

Огромное тебе спасибо за видос! Очень помог!

@zproger

2 жыл бұрын

Рад что принес пользу :)

Спасибо за подробности работы с браузером !

@zproger

3 жыл бұрын

Рад что смог помочь

огромное спасибо автору этого видео за объяснение деталей, у меня наконец всё получилось)))

@zproger

2 жыл бұрын

Пожалуйста :)

@n6mq97

Жыл бұрын

@@zproger ++ Автор, ты лучший🔥🔥🔥

Да вот с этими куками и сессиями уже посложнее стало немного , хотя суть ясна конечно но новичку все равно трудно переваривается все в голове )) . На 5-7 минут видео бы побольше было и поподробнее немного раскрывать эти нюансы со списками словарей и т.д и было бы вообще огонь )) . А так спасибо все равно за контент !!!

@zproger

3 жыл бұрын

Спасибо, я понял, постараюсь в новых видео более подробно рассматривать темы

Спасибо! А каким браузером пользуетесь при записи видео?

Очень полезный контент

@zproger

3 жыл бұрын

Благодарю

спасибо за видео...думал селениумом воспользоваться, но хотелось найти авторизацию на сайте средствами реквеста ..проверю на досуге :)

Спасибо, кратко и понятно.

@zproger

3 жыл бұрын

Пожалуйста :)

бро, ты красавчик, спасибо за видео

@zproger

2 жыл бұрын

Благодарю, рад что понравилось :)

Хорошее видео!

@zproger

3 жыл бұрын

Спасибо за поддержку

спасибо, ты лучший

@zproger

3 жыл бұрын

Благодарю!

Могли бы Вы в описании оставлять ссылки на сайты с которыми экспериментируете в примере?

Какми сайтом пользуешься, на хроме не получается просмотривать страницу и запросы к у тебя

Есть ли программа/ расширение для нагугливания куки на целевом сайте?

А что делать если при логине еще какой-то токин в запросе есть и он постоянно разный?

неплохо было бы записать как авторизоваться на сайте, где нет Post запроса, используется токен авторизации

@whicencer8819

11 ай бұрын

Токен авторизации генерируется при самой авторизации. То есть нужно авторизироваться, чтобы получить этот токен

когда-то подобным способом делал авторизацию вконтакте на делфи. сейчас столкнулся с сайтом где данные передаются гет запросом, но в открытом виде только логин. остальное где-то видимо шифруется в ява скрипте

Лучший

некропост-вопрос.... нарвался на сайт, который может авторизоваться только через google, без формы логина и пароля. как мне его парсить без селениума?

лучший просто

Очень познавательный плейлист! Мне вот всё интересно какую операционую систему вы используете?

@zproger

2 жыл бұрын

Благодарю за поддержку, использую Linux Mint

Привет! Спасибо за видос. Хотел спросить, прокатит ли это с регистрацией на сайте?

@zproger

3 жыл бұрын

Приветствую, да

Наконец то я победил эту авторизацию!!!!! Чувак спасибо!!!

@zproger

2 жыл бұрын

Круто, рад что помогло

Привет! Вопрос таков: я делаю простой софт с одним сайтом и там надо один раз залогиниться и сохранить в куки второй сессии данные. Проблема в том, что на сайте каптча. Можно ли как-то где-то вручную найти данные куки и вписать в код, чтобы не мучаться с каптчой? Если знаешь ответ, то напиши, пожалуйста. Буду сильно благодарен. Спасибо большое за курс, он очень полезный и удобный :)

@zproger

3 жыл бұрын

Да, можно руками авторизоваться, вытащить куки и использовать их сразу в софте, в заголовке Cookie, об этом более подробно написал в другом вашем комментарии.

Здравствуйте, помогите плз, как кожно вытащить текст "Wilson Tour Premier All Court 4B" soup = BeautifulSoup(html, 'lxml') title = soup.find('h1', class_='product--title') Tennis balls Wilson Tour Premier All Court 4B

Жду также но с инстаграмом

@zproger

2 жыл бұрын

:)

И как дальше парсить? Нужно зайти на другую раздель зайти после авторизации

А from_sent октуда взял?

Что делать, если авторизация на сайте осуществляется не через post, а через options запрос? Не могу найти Form Data в запросе, ну и собственно не могу вносить свои параметры в эмулируемый запрос, ибо не знаю, что надо подменять

@zproger

3 жыл бұрын

Судя по документации это делается похожим образом, только в этом случае необходимо отслеживать заголовки: requests.readthedocs.io/en/master/user/advanced/

Привет. Я не знал, что цикл for может так присваивать значение. Где об этом можно почитать? [{"domain": key.domain, "name": key.name, "path": key.path, "value": key.value} for key in session.cookies]

@zproger

3 жыл бұрын

Приветствую, любая статья по циклам подойдет :)

@alexpyro6073

2 жыл бұрын

это он наговнокодил, не делайте так. эта запись эквивалентна cookies_dict = [] for key in cookies: cookies_dict.append({"domain": key.domain, "name": key.name, "path": key.path, "valeu": key.value})

@zproger

2 жыл бұрын

@@alexpyro6073 Это не гавнокод, а обычный генератор

@alexpyro6073

2 жыл бұрын

@@zproger прошу прощения, это я болван. Действительно генератор

всё делал по видео но вылезла такая ошибка: Max retries exceeded with url: /index.php (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997) подскажите как её можно решить?

5:03 а, откуда там появился form_sent?

А как авторизоваться если погружается javascript? И ломает всю картину

Было бы интересно, если бы ты записал как капчу решать через Rucaptcha к примеру, все на запросах конечно

@zproger

3 жыл бұрын

Спасибо за идею, будет реализовано

@vadim5613

3 жыл бұрын

@@zproger есть видео про рукапчу?

Интересно было бы глянуть как авторизовываться на сайтах типа Кинопоиска, где авторизация происходит не на самом сайте, а через Yandex.Passport.

@zproger

3 жыл бұрын

Там принцип такой же, нужно отловить запросы которые идут на сторонние сервисы и также их отправить.

@user-kc7js2ix6c

3 жыл бұрын

@@zproger да. Самая большая сложность понять как найти нужные, среди огромного кол-ва хлама. В вашем примере всего несколько запросов. Особенно это сложно сделать когда вообще никакого опыта нет.

как понять что я вошел через POST запрос?

Привет! У меня есть вопрос как понять что записывать в data?

@zproger

2 жыл бұрын

Это данные для POST запроса, которые отображаются в Network

Здравствуйте, очень интересно. Но вопрос, в каких случаях этот способ не работает?

@zproger

2 жыл бұрын

Этот способ не должен работать везде, каждый сайт содержит абсолютно разную логику и нужно писать скрипт под каждый сайт отдельно. Данное видео создано чтобы понять лишь процесс написания таких скриптов :)

2:18 Объясни пожалуйста фразу "можно посмотреть как у нас выглядит сама ссылка, если бы мы использовали GET запрос" Что ты тут имел ввиду? Что POST запрос можно отдать через GET?

@zproger

3 жыл бұрын

Да

@qewiok1917

3 жыл бұрын

@@zproger Но это не так! POST и GET разные запросы и если ты (можно на ты) вставишь этот длинную ссылку в адресную строку вместо "POST запроса", то ничего не выйдет. Сервер ничего не зарегистрирует. Ты меня сильно озадачил этим вопросом, и я поспрашивал у людей опытных очень, они мне сказали это, но тогда что это за поле? Можешь пожалуйста еще раз эту информацию подтвердить, а тоя немного запутался)

@zproger

3 жыл бұрын

Насколько я знаю, гет передает параметры в адресной строке, пост же использует отдельную форму с аргументами. Если я не ошибаюсь, то когда-то использовался гет запрос для отправки форм, но так как данные передавались в адресной строке, это было не безопасно и было принято решение использовать для этой цели пост запросы и передавать аргументы отдельно.

Ты мой герой !

@zproger

3 жыл бұрын

:)

Ребята,подскажите простой сайт где для авторизации нужны только логин и пароль, а то везде капча,повтор пароля и прочее,а сайт с видео к сожалению уже не работает(((

@zproger

3 жыл бұрын

Можно поискать любые форумы, быстро найдете подходящий вариант.

И еще вопрос. Можно ли как-то сразу с куками открыть ссылку?

@zproger

3 жыл бұрын

Да, можно передать их в заголовок Cookie и тогда авторизация произойдет моментально. Чтобы узнать какие куки используются, можно открыть инспектор кода - Network, перезагрузить страницу, выбрать запрос на корень сайта и в заголовках ответа (Responce) найти куки.

@vasilyyy989

3 жыл бұрын

@@zproger Спасибо большое. Уже разобрался. Жду новые ролики

а что это за конструкция такая в cookie_dict с циклом?

@zproger

2 жыл бұрын

Обычный генератор

есть пример скрипта для регистрации скриптом

Я так и не понял. А как загрузить эти куки из текстового документа в новой сессии?

@zproger

3 жыл бұрын

Парсить значения из файла и записывать в сессию, там есть name, domain, key, value, path и прочие поля.

@user-ps5fr1id1i

3 жыл бұрын

@@zproger я уже нашел)

в response сайт отвечает "405 Not Allowed" и дальше не пускает. что это? и как идти дальше?

@zproger

3 жыл бұрын

HTTP 405 Method Not Allowed , указывает, что метод запроса известен серверу, но был отключен и не может быть использован.

@TheGlebSChannel

3 жыл бұрын

@@zproger это я понял, глядя в консоль сайта, он просит метод POST, его же я и использую. Пробовал с методом GET также, но выдает просто html код самого окна авторизации

Если куки-файлы имеют разные значения в разных сессиях, тогда почему сайт нас авторизует?

@zproger

3 жыл бұрын

Куки сохраняются для каждого сайта отдельно

Можно ли реализовать регистрацию в киви?

@zproger

3 жыл бұрын

Думаю да

с кукисами почему то неверные данные парсятся

скинь пожалуйста свою подсветку вс кода

а если команда post не поддерживается на сайте?

@zproger

2 жыл бұрын

Тогда делать авторизацию через тот метод, который указан в Network

4:53 так все таки как получить значение с нашим никнеймом?

@zproger

3 жыл бұрын

Вытащить значение с html, который возвращает страница

Откуда ты взял ссылку на 4:54

@zproger

3 жыл бұрын

Погуглил рандомные форумы

@kvadratmalevicha6842

3 жыл бұрын

@@zproger этот сайт уже не работает, я не понял что ты там открыл(

я хотел через телеграм бота парсить ip другого человека, но когда мой знакомый его запустил, все равно выдавало мой ip

@zproger

Жыл бұрын

Ну так оно же отрабатывает на вашем пк, а не на пк друга

@mafia-vv8ly

Жыл бұрын

@@zproger понял, спасибо

Товарищ! Есть идеи, как на хабре авторизоваться?)

@zproger

3 жыл бұрын

Авторизоваться можно на чем угодно, надо лишь смотреть какой запрос идет и с какими параметрами. Если есть капча, то надо специальные сервисы для этого юзать.

@coryphoenixxx8238

3 жыл бұрын

@@zproger я там кроме юзерагента и id-шек от себя вообще ничего не вижу) Хитро как-то сделали, и да + капча.

@coryphoenixxx8238

3 жыл бұрын

@@zproger И блин API скрыт у Хабра!

@bir52k1kv178

3 жыл бұрын

@@zproger хотелось бы про работу с капчей узнать, если у меня есть софт решающий капчу )) вообщем узнать про отправку на сервисы или в прогу или может даже тессеракт

Таким образом я на любой сайт зайти могу?

@zproger

2 жыл бұрын

Если повторить запрос, все заголовки и параметры 1в1, то да. Но каждый сайт работает по своему принципу.

Пытался авторизоваться в вк, но не смог получить эти данные 1:16 Их там просто нет :(

@zproger

3 жыл бұрын

Все сайты работают по-разному, то что я показал в видео это не панацея, к каждому сайту свой индивидуальный подход.

@user-cp4fp1ms6j

2 жыл бұрын

В вк не катит, там пароль сразу шифруется. Я кстати догнал, что адрес страницы совпадает с именем запроса, может пригодится, так что лучше попробуй какой-нибудь форму не популярный, там не так все запаристо

Пробовал на сайте одном авторизоваться, что то не получилось, решил на сайте с видео попрактиковаться , а сайта то нет уже :( увы, придется другое видео искать

@zproger

3 жыл бұрын

Главное понять принцип работы, а сайты можно найти :)

@bir52k1kv178

3 жыл бұрын

@@zproger вот сижу понимаю уже который день, неделю наверно, к тому же что с капчей делать

а откуда появилось 'form_sent,': '1' ???

@21region17

3 жыл бұрын

прочитал

@zproger

3 жыл бұрын

можно подробней? не совсем понял вопрос

У меня не получается спарсить расписании с kundalik.com там везде каша помоги пж!!!!

@zproger

3 жыл бұрын

Приветствую, в будущем возможно будут ещё видео по парсингу, рассмотрим вашу тему также, но когда это будет пока не понятно

@lucifer2143

3 жыл бұрын

Ага буду ждать этого урока с нетерпением! :)

А как авторизироваться на сайтах с капчей? Никак , по идее?

@zproger

2 жыл бұрын

Легко. Скоро сделаю видео об этом, поэтому следите за каналом :)))

@n_ulls

2 жыл бұрын

@@zproger Подписан на вас , жду уведомлений)

@user-ub5ue1yz1o

2 жыл бұрын

@@zproger Очень жду

Есть такая вещь, как scrapy.

@zproger

2 жыл бұрын

Да, крутой фреймворк :) Но он уже для более крупных проектов

"Пожалуйста, только корректным способом входите в скрипт" ... уже не войти..

Ммм, Mate Тоже использую это окружение А зачем программировать через VirtualBox?

@zproger

2 жыл бұрын

У меня виртуалки под разные цели, так удобней работать)

@CatLida

2 жыл бұрын

@@zproger Ммм Кстати, ваше видео помогло мне сделать авторизацию для получения токна Сейчас работаю над клиентом Яндекс музыки для Линукс (Yamux называется, если интересно ищите через гитхаб по запросу KirMozor Yamux)

@zproger

2 жыл бұрын

Круто, посмотрю проект :)

Привет, а что делать с капчей?

@zproger

3 жыл бұрын

Это можно узнать на сервисах, которые её решают

@iq-andi3811

3 жыл бұрын

@@zproger А есть бесплатные?

@iq-andi3811

3 жыл бұрын

@@zproger Кстати спасибо за твой быстрый ответ, по моему первый блогер, который так быстро ответил))

@iq-andi3811

3 жыл бұрын

@@zproger Давай я тебе скину сайт, а ты посмотришь, что там можно сделать, если тебе не сложно)

@zproger

3 жыл бұрын

Бесплатных сервисов нет, так как это решают живые люди. Никто не будет сидеть решать капчи бесплатно. Но там достаточно дешево стоят их услуги, можно загуглить сервисы и выбрать под себя.

Ненавижу иметь дела с нежитью!

@zproger

Ай бұрын

с чем?)

На ВК не работает. И как быть?

@zproger

3 жыл бұрын

Нужно смотреть на все передаваемые данные и заголовки, эти данные из видео не панацея.

@aleksandramalakutsko401

3 жыл бұрын

есть вк api и через него можно зайти

Зачем вообще сохранять куки первого пост запроса?

Таким образом можно ВК парсить

@zproger

Жыл бұрын

Проще через апи по идее

{"detail":"Authentication credentials were not provided.","code":-2} хм

@zproger

2 жыл бұрын

Все сайты по-разному работают, пример из этого видео не будет работать везде.

немного сложно для меня)) больше половины понял, под конец только непонял

@zproger

2 жыл бұрын

Тогда нужно учить моменты, которые не получилось понять и уже тогда смотреть видео ещё раз :)

У меня статус 403(

У меня вообще нет исследовать элемент! Что за хрень?! Автор давай новые уроки по этому, можно хоть одним большим видео, но чтобы хотя-бы работало и было всё понятно. Не понятно абсолютно откуда брать ссылку url щас всё изменилось! Да и сайта уже нет ru-forum

@zproger

3 жыл бұрын

Я и не говорил что нужно ru-forum брать, для обучения можно найти любой другой сайт где есть форма авторизации без капчи, либо же использовать формы на гитхабе.

@thekruvi1084

3 жыл бұрын

@@zproger спасибо что ответил. Я это знаю, основная проблема в том, что исследовать элемент больше нет, зато есть код элемента, это почти тоже самое, но всё по другому. Никак не пойму какую из несколько десятков URL брать

Бля, для новичков это очень сложно. особенно под конец

@zproger

2 жыл бұрын

Изначально всё сложно =)

Автор, а что если на сайте в запросах НЕТ запроса "login.php?action=in", и соответственно нет ничего типа "req_username" и "reg_password". Что искать то? И где? Как? Вы что думаете все сайты формируют запросы к серверу одинаково??? И везде pasword=="reg_password"? ))) Чему и кого вы хотели научить своим видео? Вы задавались этим вопросом? Зачем в сети это очередной кусок видео г...?

Боже у тебя интерфейс не как у людей, пользуешься блаузером не пойми каким бесит, почему не хром взял например?

@zproger

6 ай бұрын

Я должен пользоваться тем что нравится вам или что нравится мне?)) Интересное заявление

@nerves6401

6 ай бұрын

@@zproger ты пилишь гайд, как думаешь чем твоя аудитория пользуется?

@user-kl7rp8kh8h

4 ай бұрын

​@@nerves6401 ну если ты амеба которая не может разобраться как это сделать через хром, то тебе стоит забыть что такое айти,

как пройти csrf/authenticity_token на странице входа на сайт? Видео показалось дельным, но я не могу свою задачу выполнить :)

@ArgentYourBest_Choise

2 жыл бұрын

Да-да, многое упущено. Такая-же тема у меня, не могу cloudfrare-защиту обойти. Ну, а что еще ожидать от вводного курса? В целом-то он хорош)

@dovolniy_mc

2 жыл бұрын

Та же проблема! Вы как, нашли решение?

Хм, все конечно прекрасно рассказано. Но вот если бы не ([SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)) - было бы хоть практичнее)

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached Даная библиотека была обновлена так-что если у вас возникла данная ошибка то попробуйте написать так user = UserAgent(fallback='chrome', verify_ssl=False).random 1 2 3