WEB SCRAPING PYTHON : CARA BEDA CARI BARANG DI SHOPEE INDONESIA. DARI AWAL SAMPAI JADI. STEP BY STEP

Ғылым және технология

Kita akan memulai project Web Scraping Python. Target kita kali ini adalah data pencarian di Shopee.co.id. Yuk kita simak
Link install python di Vs Code : • PART 2 - CARA RINGKAS ...
Link Github : github.com/dirumahrafif/scrap...
TIMELINE
==============================
00:00 Intro
00:51 Install modul
02:23 Install Chromedriver
04:46 Buat file scraping Web di Python
05:02 Import modul di Python
06:04 Masukkan seting selenium
08:51 Menentukan url Shopee target & simpan screenshot selenium
13:11 Mulai parsing html dengan BeautifulSoup
17:13 Melihat pola tag data item tiap barang
20:16 Mengambil nama barang
23:06 Mengambil gambar
24:25 Mengambil harga barang
25:47 Mengambil link barang
28:09 Mengambil jumlah produk yang terjual
30:06 Mengambil kota lokasi produk
31:44 Membuat kondisional, jika barang belum pernah terjual
34:02 Melihat bagaimana pola menampilkan data di Shopee
34:50 Membuat proses scroll browser dengan selenium
38:45 Menyimpan data ke excel dengan pandas
FOLLOW SOCIAL MEDIA KAMI
==============================
▪️ / dirumahrafif
▪️ github.com/dirumahrafif
DONASI UNTUK BERKEMBANG
==============================
▪️ saweria.co/dirumahrafif
⚡ Silakan LIKE dan SUBSCRIBE untuk konten gratis lainnya! ⚡
-- Pertanyaan? --
Silakan sampaikan pertanyaan sehingga semoga saya atau yang lainnya bisa membantu.
Pertanyaan, Informasi, silakan email di bawah ini
💌 Email: dirumahrafif@gmail.com
Terima kasih,

Пікірлер: 98

  • @NightFury3012
    @NightFury3012 Жыл бұрын

    terimakasih pak untuk ilmunya, semoga berkah,alhamdulillah saya berhasil.

  • @0xcid
    @0xcid8 ай бұрын

    Mantapp. klo yg pengen mudah bisa pakai instant data scriper

  • @kanzeker
    @kanzeker Жыл бұрын

    Terimakasih tutorialnya. Sangat menginspirasi.

  • @Curttzy
    @Curttzy Жыл бұрын

    Wih asik nih channel

  • @sibujangtv
    @sibujangtvАй бұрын

    om bikinin lagi dong pengajaran scraping ke halaman berikutnya dan scraping per 1 toko. terimakasih om. nice konten....✌

  • @khairihilmisaputra6620
    @khairihilmisaputra66203 ай бұрын

    mantep bnget penjelasannya

  • @Mr.Machintoz-tb1vh
    @Mr.Machintoz-tb1vh5 ай бұрын

    dari semua pencarian , vidio ini yang penjelasannya paling lengkap, public speaking-nya keren, intonasinya sangat jelas. kalau ada kesempatan belajar langsung, saya berharap bisa ketemu. mudah-mudahan buka kelas khusus Pak.

  • @sibujangtv

    @sibujangtv

    Ай бұрын

    setuju

  • @ianadriannn
    @ianadriannn2 ай бұрын

    Bgaimana jika data yg diinginkan berada pada web yg harus login ?

  • @rozakcenter
    @rozakcenter7 ай бұрын

    Terima kasih pak tutorialnya, lagi belajar web scraping untuk ambil project luar negeri dengan rate $20 / hours 😂

  • @spcpbengkulu1676
    @spcpbengkulu1676 Жыл бұрын

    om @Programming Di Rumahrafif, om kelupaan bagian lokasi tadi di export ke pandas

  • @andiadzanbintang9783
    @andiadzanbintang978310 ай бұрын

    terimakasih banyak pak🙏

  • @dirumahrafif

    @dirumahrafif

    10 ай бұрын

    Semoga bermanfaat

  • @naufalshaquilla8749
    @naufalshaquilla8749 Жыл бұрын

    Bang izin bertanya saat proses running di url shopee ada error NameError: name 'drive' is not defined kenapa yah bang. mohon pencerahaanya terimakasih

  • @izzadavid5090
    @izzadavid5090 Жыл бұрын

    Bang di output nya gada pilihan code itu gmna cara nampilin nya? Sblmnya sih instal vscode

  • @Lukmandst
    @Lukmandst2 жыл бұрын

    anjay mantap

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    gass Bang...😁👍

  • @dewadurja
    @dewadurja10 күн бұрын

    pak.. kalau parsing data dari google maps bagaimana ya pak? saya sudah coba tapi belum berhasil untuk mendapatkan data altitude.

  • @MuhammadReza-rr1ip
    @MuhammadReza-rr1ip2 жыл бұрын

    ada kontak selain email yg bsa dihubungi utk nanya" bg?

  • @czenkshop8167
    @czenkshop81672 ай бұрын

    Pak tolong bantu sayyaaa, ini kenapa di bagian i = 1 for area in data.find_all('li', class_="col-xs-2-4 shopee-search-item-result__item"): print(i) print(area) i += 1 print("---") gaa muncul yaa? padahal engga ada warning

  • @mametmeta
    @mametmeta Жыл бұрын

    Ha bisa install pip selenium nya gimana ya bang?

  • @INDOMINING_HEAVYDUTY
    @INDOMINING_HEAVYDUTY2 жыл бұрын

    Bang kemarin code nya working tapi sekarang ga bisa di pake lagi code nya

  • @juanfakhri6476
    @juanfakhri64762 жыл бұрын

    Coba bang bahasa dasar selenium Saya sebagai pemula bingung bang kurang ngerti fungsi fungsi apa saja yang ada di selenium. Setelah itu baru buat video web scraping, soalnya biar ngerti fungsi² yang ada di selenium

  • Жыл бұрын

    How can I fix 'NoneType' object has no attribute 'getText' I do not know how to fix it 🤦‍♂🤦‍♂

  • @fajarsaepulramadhan3502
    @fajarsaepulramadhan3502 Жыл бұрын

    permisi mas saya mau tanya kenapa saat saya akses di gambar shopee, tertera tulisan halama tidak tersedia dan kamu mendeteksi masalah koneksi dari jaringanmu 🙏, selanjutnya data yang diambil pun tidak sesuai dengan contoh di Vidio yang menampilkan produk terjual, terimakasih sebelumnya mas 🙏

  • @fahmulihsan3196
    @fahmulihsan31962 жыл бұрын

    bang kalau misal kan kita mau explore lagi ke dalam masing2 produk yang tampil bagaimana bang ??? contoh produk yang pertama kita mau ambil sampai ke deskripsi2 nya , kemudian back lagi dan begitu seterus nya .. mohon dijawab bang

  • @zulfafauziyyah3444

    @zulfafauziyyah3444

    9 ай бұрын

    I need this one too

  • @isenginaja90
    @isenginaja90 Жыл бұрын

    bang boleh nanya. for area nya bukan div tapi pre, class bisa nggak?, sama apakah script ini menscrap semua data class pada alamat web, atau hanya pada alamat yang kita buka di chrome? terimakasih

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    bisa Bang harusnya, bisa cek dokumentasi selenium. dan dia mencari berdasar alamat yg kita buka di url tertentu saja Bang

  • @TheArifbmc
    @TheArifbmc4 ай бұрын

    udah gak bs ya bang? home nya isinya gambar "gak bisa login" kadang blank

  • @RahmatullahStory
    @RahmatullahStory2 жыл бұрын

    mau tanya kak, kalau ngescrap image atau gambar nya lebih satu gimana cara nya ? semoga di bls

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    perlu masuk ke detail halaman dari produknya dulu Kak, baru dilist gambar yang dimiliki

  • @adiwidiantoro726
    @adiwidiantoro7268 ай бұрын

    Om, mau kursus bisa kah?

  • @mrizkyprayoga6584
    @mrizkyprayoga6584 Жыл бұрын

    bang mau tanya, di home.png gambar yang keluar bukan homepage tapi access denied, kira-kira saya salahnya dimana ya bang? atau memang tidak bisa lagi scraping di shopee? soalnya saya juga coba pakai link tokopedia dan bukalapak hasilnya sama

  • @gearryandreas5788

    @gearryandreas5788

    6 ай бұрын

    Saya dapet kendala yang sama juga bang

  • @mutiahmarhamah8953
    @mutiahmarhamah89535 ай бұрын

    Pak, saya email bapak kemarin untuk menanyakan scrapping, boleh dicek pak

  • @shiroiii2835
    @shiroiii2835 Жыл бұрын

    Permisi pak, kalau misal mau langsung ke halaman selanjutnya gimana ya? jadi misal mau scraping sampai 10 halaman itu gimana?

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    bisa melalui url nya ditambah parameter untuk menuju ke halaman berikutnya, sampai halaman yg diinginkan bang

  • @Rint0youtub3
    @Rint0youtub32 жыл бұрын

    Pak mau nanya untuk tampilan home.png saya tidak tampil shopee blank putih, sesudah di run

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    Coba time.sleep waktunya dibuat lebih lama Bang, mungkin halaman belum di-load sempurna

  • @Rint0youtub3
    @Rint0youtub32 жыл бұрын

    Pak mau nanya di terminal vs code saya gak bisa install pip install bs4 error ( bash: /c/Users/Asus/AppData/Local/Programs/Python/Python39/Scripts/pip: Device or resource busy ) klo pertama saya bisa install pip install selenium tetapi untuk install bs4 gak bisa mohon solusinya pak?

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    kalau koneksinya aman ya Bang?

  • @Rint0youtub3

    @Rint0youtub3

    2 жыл бұрын

    @@dirumahrafif koneksi internetnya lancar, kenapa ya pak gak bisa install?

  • @zaki8551
    @zaki8551 Жыл бұрын

    om saya pas di import module kok error ya? tapi kalau dicoba di jupyter aman2 aja. btw penjelasannya enak dan lengkap auto subscribe.

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    peringatan nya apa Bang?

  • @zaki8551

    @zaki8551

    Жыл бұрын

    @@dirumahrafif from selenium import webdriver ModuleNotFoundError: No module named 'selenium' itu om, saya juga ngga tau kenapa.

  • @Myworlddd111

    @Myworlddd111

    7 ай бұрын

    ​@@zaki8551sama kal

  • @gearryandreas5788

    @gearryandreas5788

    6 ай бұрын

    @@zaki8551 coba dicek python interpreter nya bang terus cek di version berapa selenium nya di install

  • @NidarMuharamsah
    @NidarMuharamsah Жыл бұрын

    Om kalo saya gunakan di google colab bisa kan? Python nya

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    bisa juga Bang

  • @boymanggalaputra4362
    @boymanggalaputra43622 жыл бұрын

    mau nanya dong mas, kalo misal kita udah ada linknya, nah ada di file excel untuk linknya. nah kita mau tarik lewat python, modul/librarynya apa aja ya?

  • @boymanggalaputra4362

    @boymanggalaputra4362

    2 жыл бұрын

    jadi dari excel di import ke ptyhon, baru tarik gitu.

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    pake pandas bisa juga Bang...pake yang fungsi read_excel

  • @boymanggalaputra4362

    @boymanggalaputra4362

    2 жыл бұрын

    @@dirumahrafifiya udah pandas dsb, dia kan hanya untuk nampilin frame kalo case gue, tp kok blm ketarik gitu. jd otomatis dr excel lgsg narik gitu

  • @candymadinaalislami8160
    @candymadinaalislami8160 Жыл бұрын

    pak mau tanya, kalau yg Nonetype errornya di bagian gambar itu gmn ya pak? (img)[src] if =! none gmn ya pak? di saya dari 60 jumlah tampilan product, hanya 16 pak yang berhasil di baca. knp gitu ya pak

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    kadang masalah koneksi jg bisa Kak

  • @mustofaahmad4262

    @mustofaahmad4262

    Жыл бұрын

    kayaknya itu sinyalnya jelek bang terus imagenya ga keload jdi ga ada gambarnya

  • @KyySEIKO
    @KyySEIKO Жыл бұрын

    om, aku mau tanya, kok aku invalid syntax itu kenapa yaa?

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    error' lengkapnya seperti apa Bang?

  • @gamebocils
    @gamebocils9 ай бұрын

    punya saya kok udh error aja yaa mulai dari menit 10:24

  • @kevinkurnia2259
    @kevinkurnia2259 Жыл бұрын

    kalau udh login tapi ketika foto tulisan screenshotnya halaman tidak tersedia kira2 kenapa mas ya?

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    ada error' apa Bang?

  • @anandaa.ramadhan1241
    @anandaa.ramadhan12412 жыл бұрын

    mau tanya pak, kenapa home.png saya menampilkan halaman login, berbeda dengan yang di tampilkan?

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    coba login ke shopee dulu Bang di browser, sebelum melakukan scraping, sekarang shopee harus login dulu ternyata...

  • @azizanwafie1689

    @azizanwafie1689

    Жыл бұрын

    @@dirumahrafif kak..kalau sudah login tapi hasil run terminal nya Cannot assign to read only property ini kenapa ya kak

  • @rifalanugrah307
    @rifalanugrah307 Жыл бұрын

    permisi bang, kok saya waktu running outputnya gini ya ""

  • @gomgom330

    @gomgom330

    4 ай бұрын

    403 : Ga diizinin sama server biasanya

  • @azzahrahijriah3855
    @azzahrahijriah38553 ай бұрын

    Kak, kalau mau ambil data review dari pembeli nyaa gimana ya kak?

  • @azzahrahijriah3855

    @azzahrahijriah3855

    3 ай бұрын

    tinggal cari area find untuk rating/review nya aja yaa kak?

  • @dirumahrafif

    @dirumahrafif

    3 ай бұрын

    iya Kak, dicari area nya, berdasar class css nya

  • @agivchaedar9823
    @agivchaedar98232 жыл бұрын

    permisi bang mau tanya, caranya untuk scrape lebih dari 60 data bagaimana caranya bang? makasih

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    url nya diganti ke - shopee.co.id/search?keyword=macbook&page=0 - shopee.co.id/search?keyword=macbook&page=1 - shopee.co.id/search?keyword=macbook&page=3 dan seterusnya Bang

  • @NightFury3012

    @NightFury3012

    Жыл бұрын

    @@dirumahrafif bang mau tanya, kalau mau sekaligus ambil semua halaman gabisa ya bang? harus looping 1per satu ya bang? thankyou bang.

  • @JunkerInside
    @JunkerInside Жыл бұрын

    Yg keluar halaman log in shopee bang, udah log in d browser tp sama aj

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    iya shopee perlu login dulu kalau untuk pencarian, kapan kapan kita update tutorialnya, sekalian menggunakan google colab untuk coding nya

  • @craizhunterx9033

    @craizhunterx9033

    11 ай бұрын

    @@dirumahrafif tutorialnya udah diupdate bang?

  • @user-rx4ro5dj3q
    @user-rx4ro5dj3q7 ай бұрын

    hasil ss nya kenapa tulisannya halaman tidak tersedia ya bang?

  • @Ramadhan-ik5ch

    @Ramadhan-ik5ch

    5 ай бұрын

    gua juga sama bang , terus gimana?

  • @madansaputro6570
    @madansaputro6570 Жыл бұрын

    Bang, saya di bagian gambar nya bertuliskan eror [ src] ... Tuh knp yaa

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    error lengkapnya seperti apa Bang?

  • @madansaputro6570

    @madansaputro6570

    Жыл бұрын

    Line 40, in gambar = area.find('img)['src']

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    kalau posisi di variabel area itu, ada tag img nya gak ya Bang? Saya belum lihat lagi letak element html di shopee sekarang

  • @doaldo5070
    @doaldo50707 ай бұрын

    cara ini ga works ya kak kalau websitenya harus login dahulu?

  • @girisuryamawandi8743

    @girisuryamawandi8743

    22 күн бұрын

    Coba tambah, fitur buat login dulu bisa sih harusnya

  • @user-dz4qq7gv1w
    @user-dz4qq7gv1w Жыл бұрын

    Klau scraping Di website bagaimana bos caranya

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    hampir sama caranya Bang, penting tahu untuk class atau id css yang digunakan di web tersebut

  • @user-dz4qq7gv1w

    @user-dz4qq7gv1w

    Жыл бұрын

    @@dirumahrafif ada tutoril vidionya tdk mas,

  • @kevinkurnia2259
    @kevinkurnia2259 Жыл бұрын

    bang kenapa pas saya coba jalannin codenya screenshotnya muncul keterangan halaman tidak tersedia apakah metode ini sudah tida bisa?

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    perlu disesuaikan lagi Bang, shopee perlu login dulu kalau tidak salah untuk pencarian

  • @kevinkurnia2259

    @kevinkurnia2259

    Жыл бұрын

    @@dirumahrafif oke makasih banyak bang balesannya saya coba lagi

  • @kevinkurnia2259

    @kevinkurnia2259

    Жыл бұрын

    @@dirumahrafif saya juga sudah coba copas all code di github out putnya malah begini loading ke-1 loading ke-2 loading ke-3 loading ke-4 loading ke-5 loading ke-6 jadi excelnya tapi isinya kosong?

  • @abdullohaddayan6696
    @abdullohaddayan669610 ай бұрын

    eror bang

  • @juanfakhri6476
    @juanfakhri64762 жыл бұрын

    Ko tiba-tiba langsung lompat ke bagian ini web scraping bang pythonnya?

  • @dirumahrafif

    @dirumahrafif

    2 жыл бұрын

    Sellingan Bang, playlist Python tetap jalan Bang... tetap semangattt...hihi

  • Жыл бұрын

    Excuse me! How can we save it to database instead of excel ? Can you teach me 🥲🥲

  • @dirumahrafif

    @dirumahrafif

    Жыл бұрын

    actually it has the same process, we only have to send the result to our database, and not to our xls file Bro

Келесі