Ótimo vídeo!! Muito obrigado.

vc é phoda mesmo

Bacana, eu estava a bastante procurando esta dica, passar para a pagina seguinte. Estou imensamente grato pela partilha.

Vlw

Excelente vídeo!

@Codifike

Жыл бұрын

Obrigado 😃

thanks man!

Muito legal. Uma possibilidade é usar a lib Sleep para dar um intervalo maior nas iterações. Fica mais lento mas também fica mais parecido com humano.

Legal. A ultima pagina pode tratar como um except e um break também.

muito bom o video me esclareceu bastante coisa, porem preciso fazer isso em um site q a paginação não fica na URL do site

Esse problema de bloqueio de página pode ser usado um sleep ou a biblioteca schedule para dar um tempo e tentar novamente ou agendar em um intervalo de 10 ou 15 minutos, quando o servidor bloqueia suas requests é por que você solicitou muito rápido a URL e isso faz com que a defesa do site detecte um “robô” ou um webscraping.

@alvarojoseph3576

Ай бұрын

obrigado

muito legal o vídeo, mas achei que podia seguir até o fim para terminar o projeto

oie Fabricio! blz!? sou novo na programação, estou querendo ser data scientist, vc esta me ajudando mt, quero ser mt bom em fazer web scrapting! quero poder fazer isso em qualquer site rapido e eficiente, continue com esses conteudos nao para nao! mt obg! vc tem git com algum codigo modelo que serve para todos os sits algo assim!? vlw abraço..!!!

@Codifike

Жыл бұрын

Olá obrigado, meu github github.com/fabrimatt

Fala Fabrício, beleza? Estava fazendo uns testes e na verdade o link que ele retornou inicialmente (14:35) ele vai para a página 2, não deveria ir para a primeira?

Ótimo vídeo!, Fabricio, como vc fez para pegar um url como vc pegou da amazon que estava codificado no seu exemplo e colou no VS já descodificado?

@Codifike

Жыл бұрын

Eu simplesmente copiei a url e colei no vscode

Ótimo vídeo Fabricio, como faço quando o site precisa estar logado com login e senha?

@Codifike

Жыл бұрын

tem um vídeo que fala sobre isso no canal. Dá uma olhada na playlist de webscrapping

Amigo, acho que poderia simplificar a navegação entre páginas. Bastava verificar se href existia para a tag "a" com a class "s-pagination-next" e fazer o click se verdadeiro para navegar entre as páginas. Se href não existisse saia do loop.

@Codifike

2 ай бұрын

Olá, Sim, seria uma opção, obrigado pela dica.

cara, e quando o conteudo que vc quer ficar tipo em outra pagina, como um link entendeu, tipo pra ver o conteudo alem de varias paginas o site faz abrir uma nova pagina para ver aquele conteudo especifico, tipo uma lista de clientes por pagina, ai toda vez que vc quiser ver as informações de determinado cliente ela abre em outra pagina, tem como fazer scrapp disso

@allyssonmuniz3058

Жыл бұрын

Ai mano, eu acredito que ao encontrar esse link que tu vai ser direcionado, tu vai ter que entrar nele, fazer o scraping e dps retornar para a página principal para continuar o scraping. Pelo que entendi seria algo do tipo assim. Scrapping da página principal -> Link do item 1 -> Scraping da página do item 1 -> Scraping da página principal -> Link do item 2 -> Scraping na página do item 2 e assim por diante. Ou vc pode pegar todos os links, armazenar em uma lista e dps iterar sobre essa lista, seria algo assim: Scrapping página principal -> Armazenar links -> Página do item 1 -> Página do item 2 e etc

@madgax7133

Жыл бұрын

@@allyssonmuniz3058 eh quase isso brother, o site a casa dos dados, tipo captar leads, porém, qndo faz uma pesquisa refinado ele gera várias páginas com links, tipo 20 links por pagi na, aí cada link abre uma página nova com as informações, isso q eh foda

Alguém pode me indicar um bom curso de web scraping?

Quando tento fazer webscraping as vezes funciona normalmente, mas outras vezs aparace o: 'NoneType' object has no attribute 'get_text'. Não sei o que fazer!

@Codifike

Жыл бұрын

None é porque não achou o q vc mandou ele procurar

meu ja não deu de fazer, na variavel soup recebe um site quebrado,

@Codifike

Жыл бұрын

Tem que verificar se esse site permite scrapping. Tem site que são bloqueados

Já realizou com páginas "banners" que o link esteja oculto e os dados em divs?

@Codifike

Жыл бұрын

Nunca tentei

Vídeo muito bacana!! Só não entendi como o programa passou para a próxima página sem clicar no botão. Alguém sabe?

@Codifike

7 ай бұрын

No código eu verifiquei que existia uma pagina quando o comando pagina. find retorna verdadeiro. depois dentro do loop while eu vou iterando por todas as paginas até o final

@L.u.c.a.z

7 ай бұрын

@@Codifike Obrigado por responder. No meu caso o link para a próxima não disponibilizado, vou tentar usar um biblioteca de automação para fazer essa parte

Alguém pode me indicar um bom curso de web scraping?

@noticiasdolaion

4 ай бұрын

Pod academy