Pythonで超簡単にWebスクレイピングを実装する方法についてわかりやすく解説
本動画では、PythonのWebスクレイピングライブラリであるSeleniumのラッパーHeliumの実装方法について解説いたします。Heliumを用いるとたったの数行でブラウザ操作、データ収集を行うことができます。
Seleniumを使ったことがある方はもちろんですが、Seleniumを使ったことはないが、Webスクレイピングに興味がある方にもってこいの内容です。
00:00 イントロ
00:33 概要説明
04:06 Topページを開く
06:34 テキストを使って操作する
10:43 要素の取得
19:26 スクリーンショットの実行
■ 公式ドキュメント
github.com/mherrmann/selenium...
■ 参考記事
zenn.dev/nakaie/articles/3ab2...
■ 講義で使用するページ
scraping-for-beginner.herokua...
■ Twitter
/ 03imanyu
■ Udemy
www.udemy.com/user/jin-xi-han...
#Webスクレイピング #PythonによるWebスクレイピング #HeliumによるWebスクレイピング
Пікірлер: 39
分かりやすく、そして本当に簡単出来ました。ありがとうございます!
@imanyu_programming
3 жыл бұрын
簡単にできたようで良かったです!!
ちゃんと見てよかったです。見る前は「Seleniumでもめっちゃ使いやすいのにラッパーなんているんか?」って思ったけど、画面に見える文字列を指定するだけで要素取得できるのは素晴らしいです。 毎回検証ツールでidとかclassみてCSSセレクタで設定していたのが馬鹿らしく思えるくらいいい機能ですね!
@imanyu_programming
3 жыл бұрын
私も最初は同じ疑問を思ってました!!!
ひっじょうに参考となります!ありがとうございます!早速実装してみます!
@imanyu_programming
3 жыл бұрын
是非ご活用ください!!!
Heliumいいですね。ご紹介いただきましてどうもありがとうございます!。
@imanyu_programming
3 жыл бұрын
いいですよね!!!こちらこそご視聴いただきありがとうございます!!!
最近、herokuでSeleniumを使う際に色々めんどくさくて放置してたのでheliumを知れて良かったです!
@imanyu_programming
3 жыл бұрын
ぜひ使ってみてください!
Heliumとても便利ですねw動画を拝見させてもらったときとても驚きました。
@imanyu_programming
3 жыл бұрын
早速コメントありがとうございます!! 驚きの便利さですよね笑
@524f9
3 жыл бұрын
@@imanyu_programming seleniumだとエレメントを調べてからそれをコードにするって流れですからね
@imanyu_programming
3 жыл бұрын
@@524f9 そうなんですよね、その手間がないのは良いですよね!
動画を久しぶりに拝見させていただきました。 あれっ!?これだけでいいの?めっちゃ楽です。 あと、オープニング、かっこいいです! (^o^)
@imanyu_programming
3 жыл бұрын
久しぶりのコメントありがとうございます!! めっちゃ楽ですよね!
Windowsです。 start_chrome()を使うと FileNotFoundError が出てしまいます、、、 一瞬Chromeが開くんですけどすぐ閉じてエラーが出ます 対処法とかないでしょうか?
@brookvoid
Жыл бұрын
kzread.info/dash/bejne/iIZ6yKOeh5aWoag.html Chrome driverを自分のバージョンに合わせて入れてみてください。なおいまにゅさんの言っている通り、Winならダウンロードしたchromedriver.exeファイルを作業を行うpyファイルのあるディレクトリへ移動させてください。
はじめまして。いつも素晴らしい動画をアップしていただきありがとうございます!!! 私は、自分が管理してるフォーラム・掲示板に定型文を定期的に投稿したいのですが、どのライブラリを使うのがおすすめになりますでしょうか?
@imanyu_programming
3 жыл бұрын
Seleniumがいいと思います!
@tem5200
3 жыл бұрын
@@imanyu_programming ありがとうございます、いまにゅさんのseleniumの動画で勉強させていただきますm(_ _)m
めちゃくちゃ便利で、簡単ですね。 SeleniumでChromeを動かす時、Chrome driverのバージョンを合わせないといけないと思うんですがHeliumだとそれも不要ってことですか?
@imanyu_programming
3 жыл бұрын
はい!そうです!!
第一印象は「ちょー気持ち悪い」。もちろん良い意味で。簡単にスクレイピングできることに、びっくりました。
@imanyu_programming
3 жыл бұрын
びっくりしますよね。。。
最初、Seleniumの誤植かなと思いましたが、Heliumめっちゃ簡単ですね。使わせてもらいます。
@imanyu_programming
3 жыл бұрын
間違いかと思いますよね。笑 是非是非ご活用ください!!
を消す方法はどのようにすれば良いでしょうか?
@imanyu_programming
3 жыл бұрын
「Python replace」と調べてみてください!
from helium import *を入力したところで下記のエラーが出るのですがなぜでしょう? ModuleNotFoundError: No module named 'helium'
@user-ir4rj8ve2g
2 жыл бұрын
@@user-pn7zu1rv3o ありがとうございます!助かります!!
SeleniumではWebDriverとgoogle chromeのバージョンの違いで面倒なので敬遠していたけれど今回のHeliumは簡単 htmlが得意ではないので凄くいいがコードの書き方が少し違うのが残念(find.Allやtext)
@imanyu_programming
3 жыл бұрын
確かにそこはありますね、、!
え、めっちゃ楽やん。やばいやん。 逆にseleniumじゃなきゃダメな場合ってどんな時なんでしょうか?
@imanyu_programming
3 жыл бұрын
seleniumの関数も使えるので特にないかもですね笑 ただ、テキスト名変わると対応できなくなったりするので、万全を期して対応したい場合はseleniumがいいかもです。
3行目の「start_chrome("scraping-for-beginner.herokuapp.com/")」のところで、[OSError: [WinError 193] %1 は有効な Win32 アプリケーションではありません。]というエラーが出てしまい、クロームを開くことができません。 対処法があればお教えいただきたいです。。 Windowsは64bitで、pythonも64bitのものをインストールしています。 Google ChromeもPCにインストール済みです。