原來抓網頁資料已經變得那麼簡單了?一行程式都不用寫,連小學生都能輕鬆上手喔!
🔹 內容綱要
00:00 安裝 Instant Data Scraper
02:42 安裝 Octoparse
04:23 使用 Excel 做資料清理
🔹 網站連結
Instant Data Scraper tinyurl.com/mrd68zya
Octoparse www.octoparse.com/
Books to Scrape books.toscrape.com/index.html
爛番茄 www.rottentomatoes.com/browse...
🔹 小額贊助 Papaya 電腦教室
方式一:加入頻道會員 (加入後可觀看會員專區的影片喔) tinyurl.com/sxt3d2b
方式二:在 KZread 影片右下角點擊「超級感謝」按鈕 🎉
方式三:www.buymeacoffee.com/papayaclass (請 Papaya 喝咖啡)
方式四:p.ecpay.com.tw/A1B71E8 (ECPay)
#教學 #Web #Scraping #Octoparse
Пікірлер: 174
我覺得要這影片我要跪著看才可以表達我的讚嘆
@boicelu620
Ай бұрын
?? 這程式也不是他寫的 為啥要跪
@user-qr3rg3mf1m
Ай бұрын
@@boicelu620 程式被寫出來會不會運用就差很多,EXCEL大家電腦都有 ,但真正會活用的不算多,能深入淺出教大家如何活用我覺得很厲害
@xsleo2104
22 күн бұрын
@@boicelu620但能把這麼多程序用易通的語言講給大部分人聽這不是一件小事情
東西到您的手裡就能夠變得簡單易懂,真的是本事,感謝您!
是我见过讲解教授电脑知识最清晰明了简介易懂的一位博主了,赞!
已經不知道要怎麼形容papaya 頻道的厲害及重要性了👍👍👍👍
每次都是愉快地开启和关闭PAPAYA的视频,开心学习就是这么简单。大赞!
好強大的東東,總是會有人發明的,我們等著用~~謝謝
滿滿的尊敬,感謝分享
昨天還在煩惱怎麼抓資料~今天就看這部,感謝PAPAYA
太實用了!謝謝PAPAYA
感謝大師!!! 前天看到影片,今天就用上了! 省下超多力氣🙏
謝謝PAPAYA老師!! 還順便複習了超實用Excel功能!! 之前一直想找,卻不知道用什麼關鍵字來搜尋Trim跟Substitute!!
同事說裝爬蟲自動找資料,終於一年後PAPAYA老師來教學了❤🎉
太神了!感謝分享及講解❤❤
感谢!刚好工作中需要用到爬虫,这个教程超级实用
謝謝師傅 !
發明這類工具的人好天才,如此高效請求也難怪網頁要驗機器人😂
簡單又實用!超強!
厲害~ 感謝分享
非常感謝老師,太有幫助了!
精闢的講解!!請收下我的膝蓋...
試了一下 還是蠻容易有Bug的 但感謝分享這個方法
謝謝!
太優質了✨
實用的功能,馬上來試試看
很棒的教學
讚嘆 ! 正好用上 !
哇!這個工具很實用,感謝分享
這個好實用阿阿阿❤❤❤
真的太神了!免除自己寫python程式碼了~
爬蟲難得其實是分析他的架構,決定怎麼抓比較有效率。
終於來到這種資訊科技的時代了,以前論文爬蟲對文組來說好痛苦QQ
@HKY-Tuber
Ай бұрын
收集信息方便
@Unrequired
Ай бұрын
說實話跟文理組沒啥關係,只是有沒有必要要多學而已; Beautiful Soup, Scrapy, Selenium, HTTP requests這些基本上你只要一步一步照著做而已
@Terry0319
Ай бұрын
@@Unrequired ==你要確定捏,不懂一點html不是略懂PYTHON就算有CHATGPT也很難爬好ㄇ,這個東西超方便的,就算我會爬我知道這個也懶得花時間去研究網頁架構了,浪費時間
@morries1234
23 күн бұрын
語言類本來就是文組的...
太實用了! 如果能夠做到 Zepier 連接上 Google Sheet 就不得了
真心佩服
當我前幾天好不容易學好爬蟲時... 這部影片就出現了,我...好吧,至少我知道原理 如果遇到比較複雜的頁面還是要自己寫w
@user-sd1vd9iq3n
Ай бұрын
😂我也有好幾次這樣的感受, 好不容易找到成就感,影片就出現了
@colin1016
Ай бұрын
用過Web Scraper 與 Instant Data Scraper, 這些工具是蠻方便的, 但很多時候抓取結果不如預期, 翻頁的時候抓不到資料, 自動翻頁時跳頁, 翻頁失敗, 資料沒有對齊等, 必須事後下很大的功夫整理, 我認為還是要自己學習編程來抓取, 這些工具當成輔助..
@kuku4629
Ай бұрын
自己做可以复用,这个每次 还要重新设置一遍。 大部分需要抓的资料都是经常更新的,不可能只抓一遍。
滿滿的敬配
天啊 好方便!
视频不错
太方便了🎉🎉🎉
真滴方便
比較明著來的網頁適合用這類的工具
老師好,我用影片的方法用在全國法規資料庫最新消息,擴充判斷’下一頁‘按鈕一直判斷成‘最後一頁’,即便我按影片步驟教導‘下一頁’才是正確的按鈕,開始爬蟲時還是會變成去按‘最後一頁’導致爬蟲資料只有第一頁及最後一頁,想請問有建議的解決方法嗎?謝謝。
跪著感謝
老师有了解过影刀吗
謝謝老師 下跪中
谢谢papaya , 我想到要抓取的数据了
感謝大神!!!
這集有料
請問有沒有 一次搜尋多網站的爬蟲工具
為什麼我跪著看, 這太方便了
神啊!!
看了一下,基本上整合了简单的爬虫功能,但如果目标页面十分复杂,还是需要自己写代码
希望可以教學變成自動爬蟲的方式 不再需要手動爬資料🙏
猛啊啊啊
直接用Excel Import Data From Web就可阿
跪著看完了
太狂拉
愛你
其实不用浏览器插件多做采集首页那一步,这个采集器的可视化做的蛮简单的,中文版名称:八爪鱼采集器
如果他是滾動式到底部自動呈現下一頁資料,而不是點擊的話,這也是可以的嗎
太猛惹吧!!!!!!!!!!!!!!
我的膝蓋在親地板
太神
還好還沒開始花時間學爬蟲....❤
現在爬蟲困難是一堆驗證機器人:
學習了
如果又有一個可以偽裝成chrome等瀏覽器的擴充插件出現 那是真的不用寫code也可以應付絕大多數的爬蟲了
OAO!!!!!!! 請問老師這有辦法批量抓圖片嗎? 好需要orz 想要整理家具的材質貼圖 像是沙發的皮革有多種顏色跟布料/金屬件也有多種顏色 放到anytype裡面當資料庫
@aass2288as
Ай бұрын
之前有用過eagle,批量抓圖非常好用,雖然是要付費,但如果工作上常常使用,絕對很值得
可以加抓图片吗?
YA~
太神了!我把我淘寶購物清單爬下來加總,14年來買了120幾萬台幣,呵呵!
@papayaclass
Ай бұрын
你買真多 ~~~~ !厲害厲害 👍👍👍
@user-br6tq9lr8l
26 күн бұрын
我蝦皮想抓資料,但是蝦皮似乎阻擋了爬蟲軟體,淘寶沒有阻擋嗎!?
@regularshow8958
25 күн бұрын
@@user-br6tq9lr8l 爬購物紀錄沒有問題
只能跪著看影片了
請問如果要下載下面網頁所查詢到的csv檔案,如何變成每天自動爬文下載檔案
推Octoparse,但想問老師要怎麼爬 youtube 頻道影片列表和設定定時爬取最新影片XD
@vincent_chen1102
Ай бұрын
kzread.info/dash/bejne/hnqqs9pxcrXIYqw.html 這影片有部分提到爬YT資訊 不知道這能不能幫到你
@mao_cmt
Ай бұрын
@@vincent_chen1102 有XD 感謝分享~(原本想爬蟲抓過往影片,但後來還是手動蒐集了T^T,現在只要關注新影片)
Octoparse要收費了。 有沒有可取代的免費工具。 謝謝老師
Octoparse是做什么的呀
真的很方便 不過會用爬蟲的狀況多半是要做機器人啦XD
@gqqnbig
Ай бұрын
做內容農場~
謝謝老師 24/6/6
實際上就是搜出網頁中寫死的大區塊然後再對內容分類而已 所以只要遇到有進階篩選功能的,就會因為商品區塊改成個別呈現,導致只能抓到一團寂寞
請問PaPaya, 如果遇到的按鈕是 1, 2, 3, 4 ,5. 有方法解?
請問大師,爛番茄網頁結構,如果要全部一次抓完所有影片資訊,但是找不到NEXT BUTTON,按下LOAD MORE功能鍵,就只停在現行網頁上,並沒有持續向下抓取資訊,應如何處理?
請收下我的膝蓋!! 太神拉~~~
老師你好 我想詢問用photoshop 如何把黑色人物剪影→正常圖片 例如:神奇寶的猜猜我是誰 還原成原本的樣子 請問有沒有相關教學? 感謝老師!! 原本我是用魔術棒選黑色隱藏的部分 再用曝光度調亮 再來就自己亂搞,雖然看得出輪廓 但不是很自然。。 請告訴我正常的步驟, 謝謝
@papayaclass
Ай бұрын
嗨,如果沒有原始檔或原始圖層,要把一個非常暗的圖片還原成原來的樣子會有點困難喔, 因為在調暗的過程中圖像會失去一些色彩資訊和細節。 所以要做猜猜我是誰這種效果的話,保留一份原始影像還是最理想的。
有辦法將此擴充套件再進行自動化嗎?
請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅
能关联照片一起下载吗?
請問動態網頁也可以嗎
這App已加入了Chrome, Edge, 但卻說不能用,何解?
請問Octoparse是不是只有14天免費呢?
終於不用寫程式也可以達到了
如果我需要爬取的資料 需要點擊資料才會像選單一樣向下拉開 我該怎麼做 例如原價屋的硬碟資訊
即時更新?
Octoparse的試用只有14天?
如何解决Authentication?
太好了 來爬fanza了
抱歉可以詢問有關於word的問題嗎? 每次開啟word的檔案時,都會有另外兩個舊的檔案被一起開啟, 就是我點擊C檔案,但除了C檔案被打開,同時也開啟了A和B檔案, 每次開啟word都有這個現象,也每次都是A和B檔案被打開 拜託網友幫忙解惑 感謝大家
@charlas99
Ай бұрын
根據你提供的描述,你在開啟Word文件時,除了目標文件外,還會同時開啟另外兩個特定的文件。這種情況可能是由以下幾種原因引起的: 1. **啟動文件夾**:有時Word會記住上次打開的文件夾中的所有文件,並在啟動時自動打開這些文件。 2. **啟動宏或插件**:某些宏或插件可能會自動打開特定的文件。 3. **最近文檔列表**:Word的“最近使用的文檔”列表可能包含這些文件,導致它們被自動打開。 以下是一些解決方法: ### 檢查啟動文件夾 1. **關閉所有Word文檔**,並重新啟動Word。 2. 點擊`文件` > `選項` > `進階`。 3. 在“常規”部分,檢查“啟動時打開所有文件的文件夾”是否指向一個包含這些文件的文件夾。如果是,請清空或更改該設定。 ### 檢查啟動宏或插件 1. 點擊`文件` > `選項` > `外掛程式`。 2. 在“管理”下拉列表中選擇`COM 外掛程式`,然後點擊`執行`。 3. 停用所有外掛程式,然後重新啟動Word,檢查問題是否解決。 4. 如果問題解決,可以逐個啟用外掛程式,找出引起問題的特定外掛程式。 ### 清理最近文檔列表 1. 點擊`文件` > `選項` > `進階`。 2. 在“顯示”部分,找到“顯示此數量的最近使用的文檔”,並將其設置為較低的數字,例如0,然後點擊確定。 3. 關閉Word,然後重新打開,並重新設置“最近使用的文檔”數量。 如果上述方法仍不能解決問題,可以嘗試重新安裝Office套件,以確保所有設定恢復到默認狀態。
但有些網頁用javascript 出的dynamic content應該不行吧
@gqqnbig
Ай бұрын
這不是主要問題。第一個瀏覽器擴充工具和第二個工具都內建瀏覽器,可以執行javascript。反而python scrapy之類的編程方法一般不支持javascript。
@ccheyhey
Ай бұрын
@@gqqnbig應該是說最基本的python 方法是不支援,但只要再加些lib就可以支援
使用上我有一個問題,我想抓自己的會員資料,無法使用帳號密碼登入,自然無法抓內部資料,請問如何解決,謝謝。
我剛剛玩了一下,發現蝦皮他不給登入,似乎是防爬蟲軟體進去抓資料...這有解嗎?
原来是讲八爪鱼,八爪鱼很强大的根本不需要插件它自身的循环逻辑就能完成任务
希望教學要如何反網抓?網站變得很慢。謝謝
@gqqnbig
Ай бұрын
驗證機器人