Tutorial Web Scraping Lowongan Kerja Data Science Linkedin dengan Python | Code Explained
Oleh-oleh tutorial sebelum Lebaran bagi yang ingin belajar bagaimana caranya scraping lowongan kerja di linkedin. Males kan, kalo liat satu-satu? Mending kita scrap aja 😎 Quite a lengthy video this time. Have a blast Eid with your beloved ones!
-timestamp-
00:00 Intro
01:46 Tutorial Reference & Pre-requisite
05:38 Web Page Structure and how to find web element
08:21 Opening Browser & Scroll Job Listing explained
16:50 Get Job Title, Company, Location, Date Posted, Description, etc. (main attributes) explained
27:44 Some ideas for Python project :)
29:59 Create Pandas Data Frame from the result & exporting to excel (Output)
34:05 Outro
Apabila merasa konten saya membantu dan ingin mentraktir telor gulung, feel free to hit it up trakteer.id/mirablackbox
Link to code : github.com/mirahmani/linkedin...
#belajarpython #datascience #businessintelligence #tutorialpython #pythonprojectforbeginners
Пікірлер: 24
puyeng banget liatnya kak 😂😂 tapi seru juga
Hallo kak Mira, salam kenal... Ka, tolong dunk ada video khusus utk membahas bagian "Get Main Attributes of each Job Listing", bagian ini sy masih bingung sekali soalnya, dan biar gampang utk eksplorasi kedepannya.. Thx anyway..
Tutor sql kak next yaaa
@MirasBlackbox
2 жыл бұрын
Sudah aku siapkan walaupun gak di minggu ini. Stay tuned yaa :D
makasih
Maaf kak ini kalo error di bagian line 17 job_click itu kenapa ya? tag htmlnya berubah kah?
halo kak, salam kenal. untuk link traktir telor gulungnya masih aktif kan ya?
pake google collab bisa ga kak?
permisi kak, apakah scraping lowongan perkerjaan legal dilakukan di Linkedin, maupun online jobmarket lainnya?
@MirasBlackbox
Жыл бұрын
Ya, selama datanya itu publicly available.
Baru mau nyoba belajar web scraping tapi library yg bisa dipakai ada banyak banget... selain selenium ini ada juga scrapy, beautifulsoup, dll. jadi bingung harus pake yg mana. 🙃
@MirasBlackbox
2 жыл бұрын
Yang mana aja boleh kok sebenernya. Ini cuma salah satu cara.
@muhamadjaya4468
2 жыл бұрын
@@MirasBlackbox Kalau untuk mengambil data dari artikel berita yang ada di website kompas dalam kurun waktu selama satu tahun kira2 bisa ga ya kak? dan lebih baik pakai library yg mana? Aku mau nyoba bikin dataset
@MirasBlackbox
2 жыл бұрын
@@muhamadjaya4468 aku belum pernah pakai scrapy, tapi pernah baca ada yang nulis kalau data yg mau di scrap banyak, scrapy lebih efisien. Karena selenium itu aslinya diperuntukkan buat browser automation, not specifically untuk scraping. Bisa dilihat disini www.accordbox.com/blog/web-scraping-framework-review-scrapy-vs-selenium/#talk-about-scrapy
@muhamadjaya4468
2 жыл бұрын
@@MirasBlackbox Okee makasi banyak kak infonya, aku mau nyoba dulu
hal yng paling menyebalikan ketika scraping terkandang untuk scraping web ip sering kali kena block 😀
@MirasBlackbox
2 жыл бұрын
Benarr. Sebetulnya paling enak emang pake API. Yang susah kalo ngga available untuk public.
@ummirahmawati1382
Жыл бұрын
@@MirasBlackbox kalo web yang pake user dan password brti gabisa ya kak kalo ga pake API?
saya kira ini channel nya Coder Coder
@MirasBlackbox
2 жыл бұрын
Bukan 🤣
Halo Kak mira semoga sehat selalu, kak saya mau tanya, kebetulan saya mempunyai projek yg mirip dgn kakak dan saya ikutin tutorial kakka, tpi saya ada kendala ketika melakukan scraping data, khususnya di kodingan bagian ke 4 dgn peringatan sprti ini kak --------------------------------------------------------------------------- ElementClickInterceptedException Traceback (most recent call last) Input In [4], in () 14 job_click_path = f'/html/body/div[1]/div/main/section[2]/ul/li[{item+1}]/div/a' 16 print(job_click_path) ---> 17 job_click = job.find_element(By.XPATH,job_click_path).click() 18 time.sleep(3) 19 try: File c:\users\sudrajat\appdata\local\programs\python\python38\lib\site-packages\selenium\webdriver emote\webelement.py:89, in WebElement.click(self) 87 def click(self) -> None: 88 """Clicks the element.""" ---> 89 self._execute(Command.CLICK_ELEMENT)
@koharudinipb7051
2 жыл бұрын
Kira2 ini kenapa ya kak dn bagaimana solusinya?
@MirasBlackbox
2 жыл бұрын
Aku belum check lagi, tapi karena kelemahan scraping itu elemen web nya gampang berubah dari sumbernya, jd harus sering dicheck. Kemungkinan ada yg berubah.
kak, bagi IG dong, buat mantau konten updatenya