WEB SCRAPING PYTHON [TUTO PROGRAMMATION COMPLET] (DÉBUTANT À AVANCÉ)

🔥 15$ de crédit gratuit sur brightdata.com : brdta.com/CodeAvecJonathan
Le scraping est une technique qui vous permet d'extraire des informations depuis des sites web.
Ce tutoriel de programmation sur le web scraping avec Python va vous permettre :
- De faire vos premiers pas en scraping (pour débuter avec requests et beautifulsoup)
- D'apprendre et de contourner les mécanismes de protections contre le scraping
- De connaitre les règles légales concernant le scraping
- De créer un projet avancé qui vous permettra de scraper n'importe quel site.
- D'utiliser l'IA (ChatGPT) pour vous aider sur la génération du code.
----------------------------------------------------------
Prérequis :
- Connaitre les bases sur le langage Python : • APPRENDRE PYTHON [TUTO...
- Installer Visual Studio Code : code.visualstudio.com/download
----------------------------------------------------------
Les liens :
1️⃣ Cette vidéo est en partenariat avec Brightdata (solution de scraping professionnelle), qui vous offre 15$ de crédit en passant par ce lien : brdta.com/CodeAvecJonathan
(ce lien ne m'apporte aucune commission, il vous permet juste de suivre ce tutoriel gratuitement)
2️⃣ Téléchargez tous les codes source de ce tutoriel : codeavecjonathan.com/scraping...
3️⃣ Toutes mes formations au meilleur prix : codeavecjonathan.com/formations
----------------------------------------------------------
Le programme :
00:00:00 Introduction
00:01:50 Prérequis
00:02:10 Le programme
00:02:31 PARTIE 1 - Vos premiers pas en scraping
00:04:18 Faire une requête HTTP (requests)
00:13:36 Extraire les informations (titre + description)
00:23:33 Récupérer plusieurs éléments (ingrédients)
00:27:40 Exercice : Etapes de préparation
00:30:22 Conseils pour aller plus loin (générez du code avec ChatGPT / entrainez vous avec scrapethissite.com)
00:33:16 PARTIE 2 - Les protections contre le scraping
00:36:34 User-agent : se faire passer pour un navigateur
00:41:28 Problèmes liés au Javascript
00:44:13 Headless browsing : contourner les problèmes liés à Javascipt
00:45:42 Solutions de scraping pro : Rotations IPs, Proxys, Anti-captcha…
00:48:03 PARTIE 3 - Est-ce que le scraping est légal ?
00:50:56 PARTIE 4 - Projet de scraping avancé
00:52:23 Sites protégés : Limites du script actuel
00:55:51 Les etapes du projet
00:56:54 Création de votre compte sur BrightData.com
00:58:18 Comprendre : Le WebUnlocker et ScrapingBrowser
00:59:37 Utilisation du Web Unlocker
01:11:44 Utilisation du Scraping Browser
01:17:39 Bypasser le mode scraping
01:21:22 Extraction des informations (titre)
01:26:53 Extraction des informations (nb évaluations, prix, description)
01:37:19 Plusieurs urls, stocker les données, scheduler
01:42:53 Reformuler du contenu avec l’API ChatGPT
01:45:57 Conclusion
----------------------------------------------------------
A propos :
Développeur passionné avec plus de 19 ans d'expérience professionnelle, je suis actuellement développeur freelance spécialisé dans les applications mobiles iOS et Android, et les serveurs WEB. Je travaille à distance avec mes clients.
Sur cette chaine, je vous propose de découvrir la programmation d'une manière différente : je vous apporte ma pédagogie et mes techniques professionnelles.
L'objectif ? Vous permettre d'apprendre la programmation, de devenir un meilleur développeur, de vous professionnaliser, et pourquoi pas de changer de vie.
Abonnez-vous à la chaine pour accéder aux nouvelles vidéos sur les sujets suivants:
- Tuto programmation (Python, C#, .NET, ...)
- Devenir développeur freelance
- Utiliser les IA génératives (ChatGPT, Midjourney...)
Mon profil Linked-In : / rouxjonathan
Mon site de freelance : jonathanroux.fr
Mon site de formations : codeavecjonathan.com

Пікірлер: 115

  • @spookyzlechat5394
    @spookyzlechat53945 ай бұрын

    J'ai déjà mentionné cela, mais je tiens à vous remercier pour la qualité, la pédagogie, la pertinence et le professionnalisme de vos partages. C'est une chance d'apprendre avec des personnes de votre envergure, que ce soit sur Udemy ou gratuitement. Bravo, Jonathan.

  • @ibrahimadiagne6004

    @ibrahimadiagne6004

    2 ай бұрын

    😅

  • @mohamedcamara4450
    @mohamedcamara44505 ай бұрын

    Il débute super bien comme toujours.👌🏽 Pourrais-tu faire une vidéo approfondie sur pytube et python intégrer à Excel afin de récupérer et manipuler les données externes ?

  • @NoureddineRAHMOUNI
    @NoureddineRAHMOUNI5 ай бұрын

    Bonjour Jonathan ! Merci beaucoup, vous faites vraiment les meilleurs tutos. Meme dans vos tutos gratuis on apprend très bien et on acquit tant de connaissances en programmation informatique en général. C'est avec vous que j'ai commencé à apprendre la programmation et j'en suis fier.

  • @hamaneadjisouleymane8156
    @hamaneadjisouleymane81565 ай бұрын

    Merci Infiniment pour tout cher Jonathan, t'es le meilleur, no comments

  • @tonysanogo
    @tonysanogo5 ай бұрын

    Merci beaucoup jonathan pour votre passion celle d'aider les développeurs python

  • @kobcodeur
    @kobcodeur5 ай бұрын

    vos cours sont exceptionnels.

  • @karamokodiaby4230
    @karamokodiaby42304 ай бұрын

    Merci beaucoup pour ce tuto. J'ai vraiment aimé et cela a améliorer ma compréhension du scrapping. Je fais finir ma formation sur l'IA et mieux mettre en pratique L'IA et le scrapping.

  • @user-kd8qx1wk4m
    @user-kd8qx1wk4m5 ай бұрын

    Merci beaucoup pour votre formation python complet ça m'a beaucoup aidé!!!!

  • @jeanpierreragequit1726
    @jeanpierreragequit17265 ай бұрын

    Je m'étais toujours demandé comment les programmeurs faisaient pour récupérer en temps réel les prix de certaines produits ( CG ) pour les afficher dans les stream ( Twitch ).Je sais maintenant pourquoi et surtout comment. Un grand merci pour ce tutoriel génial.

  • @ElBasraoui
    @ElBasraoui4 ай бұрын

    Parmi les meilleurs vidéos que j'ai regardé sur Python llahoma barik

  • @julienpierrel6399
    @julienpierrel63995 ай бұрын

    Superbe cours, merci beaucoup 😊

  • @heckel92
    @heckel922 ай бұрын

    bravo pour la qualité de cette formation. j'y ai appris beaucoup de chose

  • @iliasselmeknassi
    @iliasselmeknassi5 ай бұрын

    ❤ mon premier "hello world" en python c'était avec vous Mr et je tiens à vous remercier du fond du cœur pour votre implication et votre enseignement 🎉😊 merci infiniment. J'ai toujours cette vidéo en favoris 😂

  • @alainmuteba7066
    @alainmuteba70663 ай бұрын

    Merci Jonathan. Très bien expliqué comme dans la formation sur udemy

  • @canibalcorps
    @canibalcorps5 ай бұрын

    Whao ! Merci, vidéo très claire, très pédagogique !

  • @gdefombelle
    @gdefombelleАй бұрын

    T’as l’air sympa, compétent et pédagogue, je m’inscris 😊

  • @user-rb3gi1ce8j
    @user-rb3gi1ce8j5 ай бұрын

    Merci beaucoup pour la formation ☑️

  • @jpc5311
    @jpc53114 ай бұрын

    Merci et bravo Jonathan !

  • @koffiflaimoiye5276
    @koffiflaimoiye52765 ай бұрын

    Merci Beaucoup Monsieur 🙏🏿.

  • @lesenfantsdunde1745
    @lesenfantsdunde17452 ай бұрын

    Un grand merci pour ce tuto qui est très clair

  • @MINDSETER001
    @MINDSETER0015 ай бұрын

    Toute ses intros me tuent 💥💥💥🙏🏿

  • @alexdtrad3r822
    @alexdtrad3r8222 ай бұрын

    very nice tutorial. simple and objective. Thank you Jonathan

  • @carolfabienrakotozafy8734
    @carolfabienrakotozafy87345 ай бұрын

    Vous êtes trop fort , comment vous avez fait pour assimiler tout ça , bravo !

  • @SofianMW
    @SofianMWАй бұрын

    un riche tuto, mille merci!

  • @avenuedefi8583
    @avenuedefi85835 ай бұрын

    Merci pour ton partage

  • @michelmaleka8256
    @michelmaleka82565 ай бұрын

    en tout cas comme toujours c'est une masterclasse cet tuto ,pourrais tu faire une formation sur le développement ios ?

  • @amaradiop5377
    @amaradiop53775 ай бұрын

    le meilleur merci beaucoup pour votre aide

  • @blacksound2004
    @blacksound20045 ай бұрын

    Franchement bravo. Merci

  • @MrSozer94
    @MrSozer944 ай бұрын

    Bonjours, Je viens de découvrir votre chaine suite a mon envie d'apprendre le codage et la programmation est franchement superbe explication. Pourriez-vous refaire des video pour apprendre a coder et programmer en 2024 Merci ... 🎉🎉🎉

  • @Pierre_Antoine
    @Pierre_Antoine4 ай бұрын

    T'es le boss !

  • @ramizenasri3810
    @ramizenasri381018 күн бұрын

    Thank you very much ❤ Tres bon video

  • @babsacademy
    @babsacademy5 ай бұрын

    Mais Ça faisait longtemps ☺️

  • @Motivationetsavoirfaire
    @Motivationetsavoirfaire5 ай бұрын

    J'ai une application de human chatbot et je cherchait comment entraîner et les vendre. Cette video va me rendre riche 😅😅😅.merciiiii grand Monsieur

  • @tifleurfane5227
    @tifleurfane52275 ай бұрын

    jai 12 ans et je suis tes vidéos maintenant je peut peut crée des jeux merci 😃

  • @irakozegaddiel4353

    @irakozegaddiel4353

    Ай бұрын

    courage mon grand

  • @tifleurfane5227

    @tifleurfane5227

    Ай бұрын

    @@irakozegaddiel4353 je suis une fille

  • @Irieguy
    @Irieguy5 ай бұрын

    I like this channel❤

  • @user-ls7of7ti4g
    @user-ls7of7ti4g2 ай бұрын

    Merci beaucoup 🙏🙏

  • @aliounembaye3952
    @aliounembaye39525 ай бұрын

    Merci bcou jonathan

  • @PierreMeyssonnier
    @PierreMeyssonnierАй бұрын

    Merci et bravo Jonathan, comme le goeland toujours plus haut .... une petite remarque chez moi en mettant response.encoding="utf-8" ça ne marche pas, mais bien en écrivant le fichier f = open("recette.html","w",encoding="utf-8"'). Merci d'avance j'ai le bon fichier recette.html c'est juste pour comprendre

  • @vdeotutos1274
    @vdeotutos12745 ай бұрын

    Je vous aime trop ❤ mon programmeur préféré comment je peux vous joindre svp!🙏

  • @moussoaimeyannickedi8218
    @moussoaimeyannickedi82184 ай бұрын

    merci pour vos tutos qui sont facilement comprehensibles j'aimerais avoir s'il est possible de faire le scraping via pycharm

  • @JarstKadiobo
    @JarstKadiobo19 күн бұрын

    Salut jonathan je suis nouveau, et présentement j'appreci le professionnalisme que vous adopted Je voulais adhéré le groupe ou plate-forme des coder, toute a l'heure je viens de vous suivre vous etiez de dispensés sur python qu'on pouvez adhéré grace au lien

  • @hamedtraore5545
    @hamedtraore55455 ай бұрын

    J'ai l'impression que les cours de udemy se retrouve ici, plus besoin de payer encore 😊

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, non ce contenu est différent de celui présent dans les formations payantes. Vous pourrez vérifier.

  • @hamedtraore5545

    @hamedtraore5545

    5 ай бұрын

    @@CodeAvecJonathan D'accord, j'ai deja les formations de 2021 et je suis dans groupes de discord.

  • @traoreaziz4055
    @traoreaziz40552 ай бұрын

    merci beaucoup pour le cours j'ai aimer et mon projet c'est de scraper aviator de 1win mais j'arrive toujours pas a fais même avec votre tuto 😢😢

  • @unelampeaumilieudestenebres
    @unelampeaumilieudestenebres5 ай бұрын

    ❤❤❤❤❤❤❤

  • @daris_tls7011
    @daris_tls701120 күн бұрын

    Slt je voulais te dire es-que tu pouvais faire une video ou tu explique comment creer des sites web

  • @mirsaara7184
    @mirsaara71845 ай бұрын

    👍🏻❤

  • @angeagnonvi4245
    @angeagnonvi42455 ай бұрын

    Un tuto Pour nous Qui faisons du c# avec visual studio 🙏 🙏

  • @jeancykad3742

    @jeancykad3742

    5 ай бұрын

    C'est déjà archaïque, je pense 😂

  • @ouattaraaboubakarsiriki7017
    @ouattaraaboubakarsiriki70172 ай бұрын

    Salut Jonathan merci pour vos vidéos elles sont vraiment génial.j'aimerais acheté votre formation de développeur sur python donc j'ai pas de moyens de paiement. Je peux savoir si vous pouvez me recevoir l'argent par western Union

  • @rouletteantima
    @rouletteantima5 ай бұрын

    Pédagogique et instructif, merci pour la vidéo; cependant, je voudrai savoir comment obtenir un scrap dynamique, càd que le site a des informations mises à jour par période, qu'il me faudrait capter à chacune des mises à jour, possible?

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, c'est expliqué dans le tutoriel (par exemple pour scraper régulièrement une fois par jour automatiquement)

  • @kasmifreecg
    @kasmifreecg4 ай бұрын

    Abonné!

  • @aliansoir2659
    @aliansoir26595 ай бұрын

    Bonjour ! Es-ce que c'est possible de scraper une base de données ?

  • @soum4399
    @soum4399Ай бұрын

    Bonsoir Oui faite j'aimerai comprendre le mécanisme pour créer un site web car dans la pluspart de vos vidéos vous faites allusion à ça mais vous ne montrez pas la démarche qu'il faut suivre

  • @issansabimana5122
    @issansabimana51225 ай бұрын

    C’est super bien mais comment faire Le scraping du code JavaScript et css?

  • @grggigaignerot3754
    @grggigaignerot37543 ай бұрын

    salut jonathan, est il possible de faire la meme chose sur pycharm?

  • @Setche2023
    @Setche20235 ай бұрын

    Très belle vidéo. Mais vos vidéos me sont difficiles à comprendre. J'aimerais vous rencontrer pour une formation pointue svp svp

  • @soum4399
    @soum43995 ай бұрын

    Bonsoir au faite j'aimerai savoir si c'a c'est possible des lesson avec c ++

  • @abdoulkaderkonate224
    @abdoulkaderkonate224Ай бұрын

    Bonjour Jonathan, je souhaite créer un comparateur de prix avec le scrapinf

  • @medounefall2657
    @medounefall26574 ай бұрын

    bonjour , moi ce que je comprend pas c'est que quand je ne met pas l'encodage, il n'ya pas de probleme contrairement a vous , et si je le(l'encodage) met ca genere des erreur d'encodage comme vous quand vous ne l'avez pas mis.

  • @kiundakambale8076
    @kiundakambale80765 ай бұрын

    Peut-on utiliser les scraping sur chatgpt ?

  • @david-brightdata9809

    @david-brightdata9809

    5 ай бұрын

    ChatGPT peut clairement aider a creer un script de base. Tu peux aussi l'IDE de Bright Data (en JS)

  • @user-wt1xi5ws5x
    @user-wt1xi5ws5x3 ай бұрын

    Cc, j'ai du mal avec l'installation de la bibliothèque "requests", j'ai la version 3.12 de py

  • @ilixeme4214
    @ilixeme42145 ай бұрын

    tu peux faire un vidéo pour apprendre le java

  • @algerparlefrancais9577

    @algerparlefrancais9577

    5 ай бұрын

    Nn jcrois que il sait faire que pithon

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    @@algerparlefrancais9577 Je développe en d'autres langages que Python également, mais je n'ai pas prévu de faire de vidéo de Java pour le moment.

  • @atcholihenoc2513
    @atcholihenoc25135 ай бұрын

    le scraping n'est possible sur python uniquement? ou le c++

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, c'est possible sur d'autres langages : C#, Java, Javascript, C++ etc...

  • @franckava750
    @franckava7503 ай бұрын

    bonjour je m appelle franck je suis passionné par le langage PYTON mais je ne sais pas comment vous voir pour apprendre à codé svp??

  • @julienleboulch7747
    @julienleboulch77474 ай бұрын

    juste peut être à 1:05:35 je crois que t'as laissé ton ip visible si je me trompe pas

  • @franckvonhatten4615
    @franckvonhatten46153 ай бұрын

    bonjour merci j ai rencotre un souci il fallu corrige import io with io.open("recette.html", "w", encoding="utf-8") as f:

  • @franckvonhatten4615

    @franckvonhatten4615

    3 ай бұрын

    en entete # -*- coding: utf-8 -*-

  • @B_DJOULLEY
    @B_DJOULLEY5 ай бұрын

    Salut Jonathan Je voudrais participer à votre formation, mais j'ai pas un compte bancaire PayPal et visa. Alors comment dois-je faire?

  • @tonysanogo

    @tonysanogo

    5 ай бұрын

    Merci moi aussi je suis dans le même cas

  • @B_DJOULLEY

    @B_DJOULLEY

    5 ай бұрын

    @@tonysanogo j'espere qu'on va trouver une solution

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, dans ce cas quels sont vos modes de paiements ?

  • @B_DJOULLEY

    @B_DJOULLEY

    5 ай бұрын

    @@CodeAvecJonathan Wester Union

  • @B_DJOULLEY

    @B_DJOULLEY

    5 ай бұрын

    @@CodeAvecJonathan est-il possible de payer par Wester Union? j'ai vraiment besoin cette formation

  • @amadouemmanueltoure7550
    @amadouemmanueltoure75505 ай бұрын

    Bonjour je suis débutant je souhaite acheter la formation sur les base en langage python

  • @alvynbignan5717

    @alvynbignan5717

    5 ай бұрын

    J'ai acheté ce cours en 2021, c'était waooh

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Tout est là : codeavecjonathan.com/formations.html

  • @hassanndavaka
    @hassanndavaka5 ай бұрын

    Est-il possible de faire le scraping d'une application ?

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, non le scraping ne concerne que les sites web.

  • @user-jw6gc6hu7s
    @user-jw6gc6hu7s5 ай бұрын

    J'arrive pas à télécharger cette vidéo 😢

  • @dariusmoldovan6056
    @dariusmoldovan60564 ай бұрын

    comment texte mon tel avec mon ip depuis mon pc : c'est possible ou pas et (crée un apk installation par usb )😉😉😉

  • @franckava750
    @franckava7503 ай бұрын

    Moi je veux plus dans la sécurité militaire et entreprise

  • @bricematias8128
    @bricematias812816 күн бұрын

    Impossible pour moi d’avoir les 15€… je comprends pas pourquoi

  • @bucurdaniel9409
    @bucurdaniel94095 ай бұрын

    Bonjour, pour 2e scraping (test-requests) les codes ne fonnctionne pas. Pline 16, in f.write(html) File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.496.0_x64__qbz5n2kfra8p0\Lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u3010' in position 242729: character maps to

  • @XavierMartin

    @XavierMartin

    4 ай бұрын

    bonjour j'ai exactement le même souci

  • @XavierMartin

    @XavierMartin

    4 ай бұрын

    Apres quelques recherche : cette solution fonctionne pour moi : f = open("scraping-browser.html", "w", encoding="utf-8") . Ouvrir le fichier en mode écriture avec l'encodage UTF-8

  • @justinlecuck2752
    @justinlecuck27525 ай бұрын

    Deviens hackeur, crackeur, développeur python en deux heures 😂😂

  • @leviwebert8366

    @leviwebert8366

    5 ай бұрын

    Laissons les rêver 😂

  • @weptiskiba8890
    @weptiskiba88905 ай бұрын

    petite question c'est légale d'extraire ces informations

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, la réponse est dans ce tutoriel : je parle de l'aspect légal du scraping.

  • @weptiskiba8890

    @weptiskiba8890

    5 ай бұрын

    @@CodeAvecJonathan merci donc je pourrais m'en servir sans risque de finir en in jail

  • @KINTUALEXLADWONG
    @KINTUALEXLADWONG5 ай бұрын

    You have been lost, sir.

  • @vieetoeuvresdekafazagadio8391
    @vieetoeuvresdekafazagadio83915 ай бұрын

    Bonsoir super video y4q t4il un ;qil pour interagir avec vous?

  • @samuellubota2181
    @samuellubota21815 ай бұрын

    bsr j un souci avec l'encodage meme avecresponse.encoding = "utf-8" ou reponse.apparent_encoding sa maffiche pas bien que faire svp

  • @XavierMartin

    @XavierMartin

    4 ай бұрын

    html = opener.open(url).read().decode('windows-1252') marche pour moi alors que decode('utf-8') retourne une erreur.

  • @XavierMartin

    @XavierMartin

    4 ай бұрын

    en faisant quelques recherche le soucis peut etre résolu en spécifiant l'encodage à l'ouverture du fichier : f = open("scraping-browser.html", "w", encoding="utf-8")

  • @yanickplamondon5233
    @yanickplamondon52333 ай бұрын

    bonjour J'ai comparé mon code avec le vôtre et j'ai cette erreur dont je n'arrive pas à trouver la solution? Traceback (most recent call last): File "c:/Users/yanic/Desktop/PROJET_SCRAPING/web-unlocker.py", line 18, in f.write(html) File "C:\ProgramData\Anaconda3\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2714' in position 8613: character maps to PS

  • @francoismpyana7163
    @francoismpyana71635 ай бұрын

    Bonjour Monsieur Jonathan, svp comment je peux vous contacter sur WhatsApp ? J'ai besoin de vous parler

  • @josephmoro6593
    @josephmoro6593Ай бұрын

    Bonjour Jonathan, est-ce possible d'avoir ton adresse email, j'aimerais parler parlé avec toi.

  • @aliounembaye3952
    @aliounembaye39525 ай бұрын

    j'arrive pas a bénéficier du bonus 15$ pour bridhtdata.

  • @CodeAvecJonathan

    @CodeAvecJonathan

    5 ай бұрын

    Bonjour, quel est le problème exactement ?

  • @apprenti_PYTHON

    @apprenti_PYTHON

    Ай бұрын

    @@CodeAvecJonathan ​ Bonjour, merci pour ce tutoriel. J'ai également essayé d'accéder à votre offre partenaire avec brightdata pour bénéficier des 15$ pour tester et réaliser ce tutoriel mais après l'inscription en passant par le lien dans la description, rien n'est disponible ou crédité dans brightdata. Le lien est-il encore valide ? merci pour votre réponse.