WEB SCRAPING PYTHON [TUTO PROGRAMMATION COMPLET] (DÉBUTANT À AVANCÉ)
🔥 15$ de crédit gratuit sur brightdata.com : brdta.com/CodeAvecJonathan
Le scraping est une technique qui vous permet d'extraire des informations depuis des sites web.
Ce tutoriel de programmation sur le web scraping avec Python va vous permettre :
- De faire vos premiers pas en scraping (pour débuter avec requests et beautifulsoup)
- D'apprendre et de contourner les mécanismes de protections contre le scraping
- De connaitre les règles légales concernant le scraping
- De créer un projet avancé qui vous permettra de scraper n'importe quel site.
- D'utiliser l'IA (ChatGPT) pour vous aider sur la génération du code.
----------------------------------------------------------
Prérequis :
- Connaitre les bases sur le langage Python : • APPRENDRE PYTHON [TUTO...
- Installer Visual Studio Code : code.visualstudio.com/download
----------------------------------------------------------
Les liens :
1️⃣ Cette vidéo est en partenariat avec Brightdata (solution de scraping professionnelle), qui vous offre 15$ de crédit en passant par ce lien : brdta.com/CodeAvecJonathan
(ce lien ne m'apporte aucune commission, il vous permet juste de suivre ce tutoriel gratuitement)
2️⃣ Téléchargez tous les codes source de ce tutoriel : codeavecjonathan.com/scraping...
3️⃣ Toutes mes formations au meilleur prix : codeavecjonathan.com/formations
----------------------------------------------------------
Le programme :
00:00:00 Introduction
00:01:50 Prérequis
00:02:10 Le programme
00:02:31 PARTIE 1 - Vos premiers pas en scraping
00:04:18 Faire une requête HTTP (requests)
00:13:36 Extraire les informations (titre + description)
00:23:33 Récupérer plusieurs éléments (ingrédients)
00:27:40 Exercice : Etapes de préparation
00:30:22 Conseils pour aller plus loin (générez du code avec ChatGPT / entrainez vous avec scrapethissite.com)
00:33:16 PARTIE 2 - Les protections contre le scraping
00:36:34 User-agent : se faire passer pour un navigateur
00:41:28 Problèmes liés au Javascript
00:44:13 Headless browsing : contourner les problèmes liés à Javascipt
00:45:42 Solutions de scraping pro : Rotations IPs, Proxys, Anti-captcha…
00:48:03 PARTIE 3 - Est-ce que le scraping est légal ?
00:50:56 PARTIE 4 - Projet de scraping avancé
00:52:23 Sites protégés : Limites du script actuel
00:55:51 Les etapes du projet
00:56:54 Création de votre compte sur BrightData.com
00:58:18 Comprendre : Le WebUnlocker et ScrapingBrowser
00:59:37 Utilisation du Web Unlocker
01:11:44 Utilisation du Scraping Browser
01:17:39 Bypasser le mode scraping
01:21:22 Extraction des informations (titre)
01:26:53 Extraction des informations (nb évaluations, prix, description)
01:37:19 Plusieurs urls, stocker les données, scheduler
01:42:53 Reformuler du contenu avec l’API ChatGPT
01:45:57 Conclusion
----------------------------------------------------------
A propos :
Développeur passionné avec plus de 19 ans d'expérience professionnelle, je suis actuellement développeur freelance spécialisé dans les applications mobiles iOS et Android, et les serveurs WEB. Je travaille à distance avec mes clients.
Sur cette chaine, je vous propose de découvrir la programmation d'une manière différente : je vous apporte ma pédagogie et mes techniques professionnelles.
L'objectif ? Vous permettre d'apprendre la programmation, de devenir un meilleur développeur, de vous professionnaliser, et pourquoi pas de changer de vie.
Abonnez-vous à la chaine pour accéder aux nouvelles vidéos sur les sujets suivants:
- Tuto programmation (Python, C#, .NET, ...)
- Devenir développeur freelance
- Utiliser les IA génératives (ChatGPT, Midjourney...)
Mon profil Linked-In : / rouxjonathan
Mon site de freelance : jonathanroux.fr
Mon site de formations : codeavecjonathan.com
Пікірлер: 115
J'ai déjà mentionné cela, mais je tiens à vous remercier pour la qualité, la pédagogie, la pertinence et le professionnalisme de vos partages. C'est une chance d'apprendre avec des personnes de votre envergure, que ce soit sur Udemy ou gratuitement. Bravo, Jonathan.
@ibrahimadiagne6004
2 ай бұрын
😅
Il débute super bien comme toujours.👌🏽 Pourrais-tu faire une vidéo approfondie sur pytube et python intégrer à Excel afin de récupérer et manipuler les données externes ?
Bonjour Jonathan ! Merci beaucoup, vous faites vraiment les meilleurs tutos. Meme dans vos tutos gratuis on apprend très bien et on acquit tant de connaissances en programmation informatique en général. C'est avec vous que j'ai commencé à apprendre la programmation et j'en suis fier.
Merci Infiniment pour tout cher Jonathan, t'es le meilleur, no comments
Merci beaucoup jonathan pour votre passion celle d'aider les développeurs python
vos cours sont exceptionnels.
Merci beaucoup pour ce tuto. J'ai vraiment aimé et cela a améliorer ma compréhension du scrapping. Je fais finir ma formation sur l'IA et mieux mettre en pratique L'IA et le scrapping.
Merci beaucoup pour votre formation python complet ça m'a beaucoup aidé!!!!
Je m'étais toujours demandé comment les programmeurs faisaient pour récupérer en temps réel les prix de certaines produits ( CG ) pour les afficher dans les stream ( Twitch ).Je sais maintenant pourquoi et surtout comment. Un grand merci pour ce tutoriel génial.
Parmi les meilleurs vidéos que j'ai regardé sur Python llahoma barik
Superbe cours, merci beaucoup 😊
bravo pour la qualité de cette formation. j'y ai appris beaucoup de chose
❤ mon premier "hello world" en python c'était avec vous Mr et je tiens à vous remercier du fond du cœur pour votre implication et votre enseignement 🎉😊 merci infiniment. J'ai toujours cette vidéo en favoris 😂
Merci Jonathan. Très bien expliqué comme dans la formation sur udemy
Whao ! Merci, vidéo très claire, très pédagogique !
T’as l’air sympa, compétent et pédagogue, je m’inscris 😊
Merci beaucoup pour la formation ☑️
Merci et bravo Jonathan !
Merci Beaucoup Monsieur 🙏🏿.
Un grand merci pour ce tuto qui est très clair
Toute ses intros me tuent 💥💥💥🙏🏿
very nice tutorial. simple and objective. Thank you Jonathan
Vous êtes trop fort , comment vous avez fait pour assimiler tout ça , bravo !
un riche tuto, mille merci!
Merci pour ton partage
en tout cas comme toujours c'est une masterclasse cet tuto ,pourrais tu faire une formation sur le développement ios ?
le meilleur merci beaucoup pour votre aide
Franchement bravo. Merci
Bonjours, Je viens de découvrir votre chaine suite a mon envie d'apprendre le codage et la programmation est franchement superbe explication. Pourriez-vous refaire des video pour apprendre a coder et programmer en 2024 Merci ... 🎉🎉🎉
T'es le boss !
Thank you very much ❤ Tres bon video
Mais Ça faisait longtemps ☺️
J'ai une application de human chatbot et je cherchait comment entraîner et les vendre. Cette video va me rendre riche 😅😅😅.merciiiii grand Monsieur
jai 12 ans et je suis tes vidéos maintenant je peut peut crée des jeux merci 😃
@irakozegaddiel4353
Ай бұрын
courage mon grand
@tifleurfane5227
Ай бұрын
@@irakozegaddiel4353 je suis une fille
I like this channel❤
Merci beaucoup 🙏🙏
Merci bcou jonathan
Merci et bravo Jonathan, comme le goeland toujours plus haut .... une petite remarque chez moi en mettant response.encoding="utf-8" ça ne marche pas, mais bien en écrivant le fichier f = open("recette.html","w",encoding="utf-8"'). Merci d'avance j'ai le bon fichier recette.html c'est juste pour comprendre
Je vous aime trop ❤ mon programmeur préféré comment je peux vous joindre svp!🙏
merci pour vos tutos qui sont facilement comprehensibles j'aimerais avoir s'il est possible de faire le scraping via pycharm
Salut jonathan je suis nouveau, et présentement j'appreci le professionnalisme que vous adopted Je voulais adhéré le groupe ou plate-forme des coder, toute a l'heure je viens de vous suivre vous etiez de dispensés sur python qu'on pouvez adhéré grace au lien
J'ai l'impression que les cours de udemy se retrouve ici, plus besoin de payer encore 😊
@CodeAvecJonathan
5 ай бұрын
Bonjour, non ce contenu est différent de celui présent dans les formations payantes. Vous pourrez vérifier.
@hamedtraore5545
5 ай бұрын
@@CodeAvecJonathan D'accord, j'ai deja les formations de 2021 et je suis dans groupes de discord.
merci beaucoup pour le cours j'ai aimer et mon projet c'est de scraper aviator de 1win mais j'arrive toujours pas a fais même avec votre tuto 😢😢
❤❤❤❤❤❤❤
Slt je voulais te dire es-que tu pouvais faire une video ou tu explique comment creer des sites web
👍🏻❤
Un tuto Pour nous Qui faisons du c# avec visual studio 🙏 🙏
@jeancykad3742
5 ай бұрын
C'est déjà archaïque, je pense 😂
Salut Jonathan merci pour vos vidéos elles sont vraiment génial.j'aimerais acheté votre formation de développeur sur python donc j'ai pas de moyens de paiement. Je peux savoir si vous pouvez me recevoir l'argent par western Union
Pédagogique et instructif, merci pour la vidéo; cependant, je voudrai savoir comment obtenir un scrap dynamique, càd que le site a des informations mises à jour par période, qu'il me faudrait capter à chacune des mises à jour, possible?
@CodeAvecJonathan
5 ай бұрын
Bonjour, c'est expliqué dans le tutoriel (par exemple pour scraper régulièrement une fois par jour automatiquement)
Abonné!
Bonjour ! Es-ce que c'est possible de scraper une base de données ?
Bonsoir Oui faite j'aimerai comprendre le mécanisme pour créer un site web car dans la pluspart de vos vidéos vous faites allusion à ça mais vous ne montrez pas la démarche qu'il faut suivre
C’est super bien mais comment faire Le scraping du code JavaScript et css?
salut jonathan, est il possible de faire la meme chose sur pycharm?
Très belle vidéo. Mais vos vidéos me sont difficiles à comprendre. J'aimerais vous rencontrer pour une formation pointue svp svp
Bonsoir au faite j'aimerai savoir si c'a c'est possible des lesson avec c ++
Bonjour Jonathan, je souhaite créer un comparateur de prix avec le scrapinf
bonjour , moi ce que je comprend pas c'est que quand je ne met pas l'encodage, il n'ya pas de probleme contrairement a vous , et si je le(l'encodage) met ca genere des erreur d'encodage comme vous quand vous ne l'avez pas mis.
Peut-on utiliser les scraping sur chatgpt ?
@david-brightdata9809
5 ай бұрын
ChatGPT peut clairement aider a creer un script de base. Tu peux aussi l'IDE de Bright Data (en JS)
Cc, j'ai du mal avec l'installation de la bibliothèque "requests", j'ai la version 3.12 de py
tu peux faire un vidéo pour apprendre le java
@algerparlefrancais9577
5 ай бұрын
Nn jcrois que il sait faire que pithon
@CodeAvecJonathan
5 ай бұрын
@@algerparlefrancais9577 Je développe en d'autres langages que Python également, mais je n'ai pas prévu de faire de vidéo de Java pour le moment.
le scraping n'est possible sur python uniquement? ou le c++
@CodeAvecJonathan
5 ай бұрын
Bonjour, c'est possible sur d'autres langages : C#, Java, Javascript, C++ etc...
bonjour je m appelle franck je suis passionné par le langage PYTON mais je ne sais pas comment vous voir pour apprendre à codé svp??
juste peut être à 1:05:35 je crois que t'as laissé ton ip visible si je me trompe pas
bonjour merci j ai rencotre un souci il fallu corrige import io with io.open("recette.html", "w", encoding="utf-8") as f:
@franckvonhatten4615
3 ай бұрын
en entete # -*- coding: utf-8 -*-
Salut Jonathan Je voudrais participer à votre formation, mais j'ai pas un compte bancaire PayPal et visa. Alors comment dois-je faire?
@tonysanogo
5 ай бұрын
Merci moi aussi je suis dans le même cas
@B_DJOULLEY
5 ай бұрын
@@tonysanogo j'espere qu'on va trouver une solution
@CodeAvecJonathan
5 ай бұрын
Bonjour, dans ce cas quels sont vos modes de paiements ?
@B_DJOULLEY
5 ай бұрын
@@CodeAvecJonathan Wester Union
@B_DJOULLEY
5 ай бұрын
@@CodeAvecJonathan est-il possible de payer par Wester Union? j'ai vraiment besoin cette formation
Bonjour je suis débutant je souhaite acheter la formation sur les base en langage python
@alvynbignan5717
5 ай бұрын
J'ai acheté ce cours en 2021, c'était waooh
@CodeAvecJonathan
5 ай бұрын
Tout est là : codeavecjonathan.com/formations.html
Est-il possible de faire le scraping d'une application ?
@CodeAvecJonathan
5 ай бұрын
Bonjour, non le scraping ne concerne que les sites web.
J'arrive pas à télécharger cette vidéo 😢
comment texte mon tel avec mon ip depuis mon pc : c'est possible ou pas et (crée un apk installation par usb )😉😉😉
Moi je veux plus dans la sécurité militaire et entreprise
Impossible pour moi d’avoir les 15€… je comprends pas pourquoi
Bonjour, pour 2e scraping (test-requests) les codes ne fonnctionne pas. Pline 16, in f.write(html) File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.496.0_x64__qbz5n2kfra8p0\Lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u3010' in position 242729: character maps to
@XavierMartin
4 ай бұрын
bonjour j'ai exactement le même souci
@XavierMartin
4 ай бұрын
Apres quelques recherche : cette solution fonctionne pour moi : f = open("scraping-browser.html", "w", encoding="utf-8") . Ouvrir le fichier en mode écriture avec l'encodage UTF-8
Deviens hackeur, crackeur, développeur python en deux heures 😂😂
@leviwebert8366
5 ай бұрын
Laissons les rêver 😂
petite question c'est légale d'extraire ces informations
@CodeAvecJonathan
5 ай бұрын
Bonjour, la réponse est dans ce tutoriel : je parle de l'aspect légal du scraping.
@weptiskiba8890
5 ай бұрын
@@CodeAvecJonathan merci donc je pourrais m'en servir sans risque de finir en in jail
You have been lost, sir.
Bonsoir super video y4q t4il un ;qil pour interagir avec vous?
bsr j un souci avec l'encodage meme avecresponse.encoding = "utf-8" ou reponse.apparent_encoding sa maffiche pas bien que faire svp
@XavierMartin
4 ай бұрын
html = opener.open(url).read().decode('windows-1252') marche pour moi alors que decode('utf-8') retourne une erreur.
@XavierMartin
4 ай бұрын
en faisant quelques recherche le soucis peut etre résolu en spécifiant l'encodage à l'ouverture du fichier : f = open("scraping-browser.html", "w", encoding="utf-8")
bonjour J'ai comparé mon code avec le vôtre et j'ai cette erreur dont je n'arrive pas à trouver la solution? Traceback (most recent call last): File "c:/Users/yanic/Desktop/PROJET_SCRAPING/web-unlocker.py", line 18, in f.write(html) File "C:\ProgramData\Anaconda3\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2714' in position 8613: character maps to PS
Bonjour Monsieur Jonathan, svp comment je peux vous contacter sur WhatsApp ? J'ai besoin de vous parler
Bonjour Jonathan, est-ce possible d'avoir ton adresse email, j'aimerais parler parlé avec toi.
j'arrive pas a bénéficier du bonus 15$ pour bridhtdata.
@CodeAvecJonathan
5 ай бұрын
Bonjour, quel est le problème exactement ?
@apprenti_PYTHON
Ай бұрын
@@CodeAvecJonathan Bonjour, merci pour ce tutoriel. J'ai également essayé d'accéder à votre offre partenaire avec brightdata pour bénéficier des 15$ pour tester et réaliser ce tutoriel mais après l'inscription en passant par le lien dans la description, rien n'est disponible ou crédité dans brightdata. Le lien est-il encore valide ? merci pour votre réponse.