原來抓網頁資料已經變得那麼簡單了？一行程式都不用寫，連小學生都能輕鬆上手喔！
🔹 內容綱要
00:00 安裝 Instant Data Scraper
02:42 安裝 Octoparse
04:23 使用 Excel 做資料清理
🔹 網站連結
Instant Data Scraper tinyurl.com/mrd68zya
Octoparse www.octoparse.com/
Books to Scrape books.toscrape.com/index.html
爛番茄 www.rottentomatoes.com/browse...
🔹 小額贊助 Papaya 電腦教室
方式一：加入頻道會員 (加入後可觀看會員專區的影片喔) tinyurl.com/sxt3d2b
方式二：在 KZread 影片右下角點擊「超級感謝」按鈕 🎉
方式三：www.buymeacoffee.com/papayaclass (請 Papaya 喝咖啡)
方式四：p.ecpay.com.tw/A1B71E8 (ECPay)
#教學 #Web #Scraping #Octoparse
Пікірлер: 167
我覺得要這影片我要跪著看才可以表達我的讚嘆
@boicelu620
Ай бұрын
?? 這程式也不是他寫的 為啥要跪
@user-qr3rg3mf1m
Ай бұрын
@@boicelu620 程式被寫出來會不會運用就差很多，EXCEL大家電腦都有 ，但真正會活用的不算多，能深入淺出教大家如何活用我覺得很厲害
@xsleo2104
8 күн бұрын
@@boicelu620但能把這麼多程序用易通的語言講給大部分人聽這不是一件小事情
東西到您的手裡就能夠變得簡單易懂，真的是本事，感謝您！
是我见过讲解教授电脑知识最清晰明了简介易懂的一位博主了，赞！
太實用了！謝謝PAPAYA
滿滿的尊敬，感謝分享
好強大的東東，總是會有人發明的，我們等著用~~謝謝
每次都是愉快地开启和关闭PAPAYA的视频，开心学习就是这么简单。大赞！
太神了！感謝分享及講解❤❤
已經不知道要怎麼形容papaya 頻道的厲害及重要性了👍👍👍👍
謝謝師傅 !
簡單又實用!超強!
感謝大師!!! 前天看到影片，今天就用上了! 省下超多力氣🙏
昨天還在煩惱怎麼抓資料~今天就看這部，感謝PAPAYA
感谢！刚好工作中需要用到爬虫，这个教程超级实用
厲害~ 感謝分享
非常感謝老師，太有幫助了！
謝謝PAPAYA老師!! 還順便複習了超實用Excel功能!! 之前一直想找，卻不知道用什麼關鍵字來搜尋Trim跟Substitute!!
同事說裝爬蟲自動找資料，終於一年後PAPAYA老師來教學了❤🎉
發明這類工具的人好天才，如此高效請求也難怪網頁要驗機器人😂
精闢的講解!!請收下我的膝蓋...
太優質了✨
很棒的教學
謝謝！
讚嘆 ! 正好用上 !
這個好實用阿阿阿❤❤❤
實用的功能，馬上來試試看
哇！這個工具很實用，感謝分享
試了一下 還是蠻容易有Bug的 但感謝分享這個方法
真心佩服
滿滿的敬配
爬蟲難得其實是分析他的架構，決定怎麼抓比較有效率。
終於來到這種資訊科技的時代了，以前論文爬蟲對文組來說好痛苦QQ
@HKY-Tuber
Ай бұрын
收集信息方便
@Unrequired
Ай бұрын
說實話跟文理組沒啥關係，只是有沒有必要要多學而已； Beautiful Soup, Scrapy, Selenium, HTTP requests這些基本上你只要一步一步照著做而已
@Terry0319
Ай бұрын
@@Unrequired ==你要確定捏，不懂一點html不是略懂PYTHON就算有CHATGPT也很難爬好ㄇ，這個東西超方便的，就算我會爬我知道這個也懶得花時間去研究網頁架構了，浪費時間
@morries1234
10 күн бұрын
語言類本來就是文組的...
太方便了🎉🎉🎉
真滴方便
天啊 好方便!
感謝大神！！！
视频不错
真的太神了!免除自己寫python程式碼了~
跪著感謝
謝謝老師 下跪中
當我前幾天好不容易學好爬蟲時... 這部影片就出現了，我...好吧，至少我知道原理 如果遇到比較複雜的頁面還是要自己寫w
@user-sd1vd9iq3n
Ай бұрын
😂我也有好幾次這樣的感受， 好不容易找到成就感，影片就出現了
@colin1016
Ай бұрын
用過Web Scraper 與 Instant Data Scraper, 這些工具是蠻方便的, 但很多時候抓取結果不如預期, 翻頁的時候抓不到資料, 自動翻頁時跳頁, 翻頁失敗, 資料沒有對齊等, 必須事後下很大的功夫整理, 我認為還是要自己學習編程來抓取, 這些工具當成輔助..
@kuku4629
21 күн бұрын
自己做可以复用，这个每次 还要重新设置一遍。 大部分需要抓的资料都是经常更新的，不可能只抓一遍。
這集有料
比較明著來的網頁適合用這類的工具
神啊！！
谢谢papaya ， 我想到要抓取的数据了
太實用了！ 如果能夠做到 Zepier 連接上 Google Sheet 就不得了
為什麼我跪著看, 這太方便了
跪著看完了
愛你
太狂拉
猛啊啊啊
太神
YA~
學習了
直接用Excel Import Data From Web就可阿
老师有了解过影刀吗
請問有沒有 一次搜尋多網站的爬蟲工具
還好還沒開始花時間學爬蟲....❤
老師好，我用影片的方法用在全國法規資料庫最新消息，擴充判斷’下一頁‘按鈕一直判斷成‘最後一頁’，即便我按影片步驟教導‘下一頁’才是正確的按鈕，開始爬蟲時還是會變成去按‘最後一頁’導致爬蟲資料只有第一頁及最後一頁，想請問有建議的解決方法嗎？謝謝。
謝謝老師 24/6/6
我的膝蓋在親地板
希望可以教學變成自動爬蟲的方式 不再需要手動爬資料🙏
現在爬蟲困難是一堆驗證機器人:
太猛惹吧!!!!!!!!!!!!!!
看了一下，基本上整合了简单的爬虫功能，但如果目标页面十分复杂，还是需要自己写代码
其实不用浏览器插件多做采集首页那一步，这个采集器的可视化做的蛮简单的，中文版名称：八爪鱼采集器
太神了!我把我淘寶購物清單爬下來加總，14年來買了120幾萬台幣，呵呵!
@papayaclass
Ай бұрын
你買真多 ~~~~ ！厲害厲害 👍👍👍
@user-br6tq9lr8l
12 күн бұрын
我蝦皮想抓資料，但是蝦皮似乎阻擋了爬蟲軟體，淘寶沒有阻擋嗎！？
@regularshow8958
12 күн бұрын
@@user-br6tq9lr8l 爬購物紀錄沒有問題
只能跪著看影片了
如果又有一個可以偽裝成chrome等瀏覽器的擴充插件出現 那是真的不用寫code也可以應付絕大多數的爬蟲了
真的很方便 不過會用爬蟲的狀況多半是要做機器人啦XD
@gqqnbig
27 күн бұрын
做內容農場～
OAO!!!!!!! 請問老師這有辦法批量抓圖片嗎? 好需要orz 想要整理家具的材質貼圖 像是沙發的皮革有多種顏色跟布料/金屬件也有多種顏色 放到anytype裡面當資料庫
@aass2288as
29 күн бұрын
之前有用過eagle，批量抓圖非常好用，雖然是要付費，但如果工作上常常使用，絕對很值得
實際上就是搜出網頁中寫死的大區塊然後再對內容分類而已 所以只要遇到有進階篩選功能的，就會因為商品區塊改成個別呈現，導致只能抓到一團寂寞
這個方法只有一個缺點： 太強了！
推Octoparse，但想問老師要怎麼爬 youtube 頻道影片列表和設定定時爬取最新影片XD
@vincent_chen1102
Ай бұрын
kzread.info/dash/bejne/hnqqs9pxcrXIYqw.html 這影片有部分提到爬YT資訊 不知道這能不能幫到你
@mao_cmt
Ай бұрын
@@vincent_chen1102 有XD 感謝分享~(原本想爬蟲抓過往影片，但後來還是手動蒐集了T^T，現在只要關注新影片)
老師你好 我想詢問用photoshop 如何把黑色人物剪影→正常圖片 例如：神奇寶的猜猜我是誰 還原成原本的樣子 請問有沒有相關教學? 感謝老師！！ 原本我是用魔術棒選黑色隱藏的部分 再用曝光度調亮 再來就自己亂搞，雖然看得出輪廓 但不是很自然。。 請告訴我正常的步驟， 謝謝
@papayaclass
Ай бұрын
嗨，如果沒有原始檔或原始圖層，要把一個非常暗的圖片還原成原來的樣子會有點困難喔， 因為在調暗的過程中圖像會失去一些色彩資訊和細節。 所以要做猜猜我是誰這種效果的話，保留一份原始影像還是最理想的。
終於不用寫程式也可以達到了
如果他是滾動式到底部自動呈現下一頁資料，而不是點擊的話，這也是可以的嗎
請問PaPaya, 如果遇到的按鈕是 1, 2, 3, 4 ,5. 有方法解？
Octoparse要收費了。 有沒有可取代的免費工具。 謝謝老師
請問如果要下載下面網頁所查詢到的csv檔案，如何變成每天自動爬文下載檔案
請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅
厉害(๑•̀ㅂ•́)و✧
可以加抓图片吗？
請問大師,爛番茄網頁結構,如果要全部一次抓完所有影片資訊,但是找不到NEXT BUTTON,按下LOAD MORE功能鍵,就只停在現行網頁上，並沒有持續向下抓取資訊，應如何處理?
大神請受我一拜
跪著看完
請問動態網頁也可以嗎
有辦法將此擴充套件再進行自動化嗎?
但有些網頁用javascript 出的dynamic content應該不行吧
@gqqnbig
27 күн бұрын
這不是主要問題。第一個瀏覽器擴充工具和第二個工具都內建瀏覽器，可以執行javascript。反而python scrapy之類的編程方法一般不支持javascript。
@ccheyhey
24 күн бұрын
@@gqqnbig應該是說最基本的python 方法是不支援，但只要再加些lib就可以支援
請問Octoparse是不是只有14天免費呢？
Octoparse是做什么的呀
能关联照片一起下载吗？
即時更新?
想請問一下，是不是結構複雜的網站就比較不適用?
@user-cg8zo9xc7d
Ай бұрын
是，有些網站用的是前後端分離技術，資料是從後端拿的，必須得去觀察網站傳送資料的流程才能抓到規則去爬蟲
@user-ri3iw5et1t
Ай бұрын
适不适用主要看你具体需求，和网站反爬。其实就是解析页面定位Html标签和class名字等相对做成插件比较方便。需要进阶一点可以试下rpa可视图形式拖拽。再进阶则是使用python结合scrapy去做深度定制
@user-cz7ig3yu4i
Ай бұрын
限制的問題在於它的爬蟲沒有控制爬行速度與使用者掩護所造成的爬行速度過快而被擋下
@user-ri3iw5et1t
Ай бұрын
@@user-cz7ig3yu4i 延时爬去是必然，掩护的话考虑的就太多请求头，代理IP还有代理IP质量，登陆等.
@user-cz7ig3yu4i
Ай бұрын
@@user-ri3iw5et1t 能跟你加聯繫嗎
希望教學要如何反網抓？網站變得很慢。謝謝
@gqqnbig
27 күн бұрын
驗證機器人
震驚!所以我不用學python了
原来是讲八爪鱼，八爪鱼很强大的根本不需要插件它自身的循环逻辑就能完成任务
Octoparse的試用只有14天?
抱歉可以詢問有關於word的問題嗎？ 每次開啟word的檔案時，都會有另外兩個舊的檔案被一起開啟， 就是我點擊C檔案，但除了C檔案被打開，同時也開啟了A和B檔案， 每次開啟word都有這個現象，也每次都是A和B檔案被打開 拜託網友幫忙解惑 感謝大家
@charlas99
Ай бұрын
根據你提供的描述，你在開啟Word文件時，除了目標文件外，還會同時開啟另外兩個特定的文件。這種情況可能是由以下幾種原因引起的： 1. **啟動文件夾**：有時Word會記住上次打開的文件夾中的所有文件，並在啟動時自動打開這些文件。 2. **啟動宏或插件**：某些宏或插件可能會自動打開特定的文件。 3. **最近文檔列表**：Word的“最近使用的文檔”列表可能包含這些文件，導致它們被自動打開。 以下是一些解決方法： ### 檢查啟動文件夾 1. **關閉所有Word文檔**，並重新啟動Word。 2. 點擊`文件` > `選項` > `進階`。 3. 在“常規”部分，檢查“啟動時打開所有文件的文件夾”是否指向一個包含這些文件的文件夾。如果是，請清空或更改該設定。 ### 檢查啟動宏或插件 1. 點擊`文件` > `選項` > `外掛程式`。 2. 在“管理”下拉列表中選擇`COM 外掛程式`，然後點擊`執行`。 3. 停用所有外掛程式，然後重新啟動Word，檢查問題是否解決。 4. 如果問題解決，可以逐個啟用外掛程式，找出引起問題的特定外掛程式。 ### 清理最近文檔列表 1. 點擊`文件` > `選項` > `進階`。 2. 在“顯示”部分，找到“顯示此數量的最近使用的文檔”，並將其設置為較低的數字，例如0，然後點擊確定。 3. 關閉Word，然後重新打開，並重新設置“最近使用的文檔”數量。 如果上述方法仍不能解決問題，可以嘗試重新安裝Office套件，以確保所有設定恢復到默認狀態。
這App已加入了Chrome, Edge, 但卻說不能用，何解？