【Webスクレイピング超入門】2時間で基礎を完全マスター!PythonによるWebスクレイピング入門 連結版
■ ビジネス戦闘力が圧倒的に向上するプログラミングスクール 『code4biz』🧑💻
↓説明会はこちら↓
code4biz.jp/
※ 締切日:3月23日(水)23:59
※ 第2期開催は当分ありません
👨💻⬇︎無料LINE登録で近日限定コンテツ公開⬇︎👨💻
✅プログラミング学習効率を飛躍的に高める3つの考え方
✅必ず知っておくべきエラー解決法9選
✅プログラミングによる業務効率化の重要な考え方と成功事例3選! etc...
line.me/R/ti/p/@114eqgxg
PythonによるWebスクレイピング入門で公開した5つの動画、計2時間の連結verです!たったの2時間でブラウザ操作の自動化、データ(テキスト、数値、画像)の自動収集が行えるようになります!Webスクレイピングに挑戦してみたかった人にとっては最適な講座となっています。
00:00:00 イントロ
00:01:14 ログインなどのブラウザ操作を自動化( • 【PythonによるWebスクレイピング... )
00:36:41 Webページ内のデータを自動抽出_Selenium( • 【PythonによるWebスクレイピング... )
00:59:42 Webページ内のデータを自動抽出_Beautiful Soup( • 【PythonによるWebスクレイピング... )
01:16:17 ランキングサイト掲載情報を自動取得( • 【PythonによるWebスクレイピング... )
01:56:16 Webページ上の画像を自動で取得
◎ChromeDriver - WebDriver for Chrome
chromedriver.chromium.org/
◎講義で使用するページ
scraping-for-beginner.herokua...
■ 本講座のベースになっているUdemy講座
PythonによるWebスクレイピング〜入門編〜
www.udemy.com/course/python-s...
■ Twitter
/ 03imanyu
■ Udemy
www.udemy.com/user/jin-xi-han...
#Webスクレイピング #PythonによるWebスクレイピング #Webスクレイピング自動化
Пікірлер: 276
オンライン講義を開講します!! リアルタイム講義はめったに実施しないので、是非この機会にご参加ください!😁 日程:2021年9月10日 (金) 19:30 - 21:30 sagasuru.jp/course-details/cho-honkaku-teki-python-niyoru-gyomu-jido-ka-jissen-gazo-ninshiki-to-burauza-sosa-no-jido-ka
今まで見た中で1番分かりやすい解説でした!ほんとに神!
@imanyu_programming
2 жыл бұрын
ありがとうございます!! 嬉しいです😂
非常に楽しく学ばせていただきました! 実行するとすぐ結果が出てくるので、継続のモチベになりました。
すごく分かりやすかったです! 一度で分からなかった所も、動画を見返して理解することができました! 他のサイトで試してみたら、ちゃんと思い通りの動きをしてくれて感動しました! これからも是非参考にさせて頂きます!
@imanyu_programming
2 жыл бұрын
そのようにおっしゃっていただき嬉しいです!!
Pythonを勉強している者です。最初の30分、Selenium編で中身のある動画なのが理解できました。視聴していて全く時間気にせず学習できます。業務での自動化は肝で必須なのですが、興味の湧く内容で面白いです。残りの動画は今から視聴させて頂きます。
@imanyu_programming
3 жыл бұрын
コメントありがとうございます!!! そのようにおっしゃっていただき嬉しいです!! ぜひ残りもご視聴ください!!
他の動画で出来ずに困っていましたが 全て詰まることなくやり切ることが出来ました! ありがとうございます😭
@imanyu_programming
2 жыл бұрын
おぉ、良かったです!!!
すげーわかりやすかった....!素晴らしい動画ありがとうございます!!!
@imanyu_programming
2 жыл бұрын
こちらこそご視聴ありがとうございます!!
すごくわかりやすい! Pythonてなんのこっちゃだったのが 使ってみたくなりました!
@imanyu_programming
3 жыл бұрын
そのようにおっしゃっていただき非常に嬉しいです!!! ありがとうございます!!!!!!
俺が長い期間かけて習得したSeleniumとスクレイピングの技術をこうも簡単に説明されてしまうとは。 KZreadが凄いのとこの人が教えるのが上手い。
@imanyu_programming
3 жыл бұрын
そのようにおっしゃっていただき嬉しいです🥺🤩
この動画のおかげで、簡単なさいとならWebスクレイピングできるようになりました。ありがとうございました。 とくに、BeautifulSoup、for文での複数取得、pandasでのCSV出力、enumerate での連番がためになりました。
うぽつです。参考になります。ありがとうございます。
無知識なので、何時間も何日も苦労したWebスクレイピング。 無知識だから、Find_elementのX_Pathとかいうヤツで、気合いで何回も試して切り抜けたWebスクレイピング。 もっともっともっと早くこのコンテンツに出会いたかった。 素晴らしいコンテンツで泣ける。極めて有り難い。 キカガク、幸あれ。
@imanyu_programming
3 жыл бұрын
そのようなコメントいただき嬉しいです!! ありがとうございます!!!!!!
Pythonの知識もほぼありませんでしたが、環境構築からスクレイピングの基本となる技法までわかりやすく習得できました。ありがとうございます。
@imanyu_programming
2 жыл бұрын
おぉ、それは良かったです😆
感動的な分かりやすさです!! 数年前にプログラミング初心者からUWSCというマクロツールを使ってECサイトのスクレイピングツールを作ったのですが、Pythonを使ったらめっちゃ簡単なコードで作れるやん!って思えました。
@imanyu_programming
3 жыл бұрын
そのようなコメントいただき非常に嬉しいです!!!! ありがとうございます!!! おぉ、UWSC初めてききました!! Python想像以上に楽ですよね。。。!!
最高に分かり易かったです。有難うございます。
@imanyu_programming
2 жыл бұрын
ありがとうございます!!
@tettsw
2 жыл бұрын
@@imanyu_programming こちらこそ有難うございます!これから動画総ざらいで勉強させて頂きます‼️
とてもわかりやすく楽しく勉強することができました。 途中途中でいまにゅさんが「カンタンです!」と言ってくれるのが頼もしく心強かったです。 また記述の順番も頭で考えてる通りにしてくれるので(先に何をするかを記述してから変数に代入する等)、 本などで学習するよりも数倍わかりやすかったです。 動画ありがとうございました。
@imanyu_programming
Жыл бұрын
こちらこそありがとうございます😆
少し前にPython超入門基礎学習の動画での学習が完了したので、 こららのWebスクレイピング学習に飛んできました。 思い込みでプログラミングは難しいものと思ってましたが、 自分で実践すること、わかりやすい説明のおかげと 自分でもこんな事ができるんだ!と新しい発見がありました。 また、動画を通じて先生から教えていただている感じがあり、 KZreadでの勉強ありだと感じました! これをきっかけにPyhton勉強していこうと思います! 他動画も参考にします。ありがとうございます。
@imanyu_programming
2 жыл бұрын
素敵なコメントありがとうございます!!😁 はい!是非他の動画も参考にしてみてください!
もう神よ!!!!毎日祈りを捧げます!!!
@imanyu_programming
2 жыл бұрын
ありがとうございます😭
最近将来のためにPythonを学習しようとした中学生です 凄くわかりやすいコンテンツの提供ありがとうございます まだまだ分からないことだらけですが将来的に主さんみたいになれたらいいなと考えています
@imanyu_programming
3 жыл бұрын
中学生、、、 素晴らしいです!! こちらこそご視聴いただきありがとうございます!! 中学時からはじめたら間違いなくかなりのスキルが身につくと思います!! ぜひ引き続き頑張ってください!
@user-ln1el7bp3i
3 жыл бұрын
えらいなお前頑張れよ
とても分かりやすかったです!ありがとうございました!
機械学習に続いてこれも見させていただきます わかりやすくて助かります
@imanyu_programming
Жыл бұрын
ありがとうございます😊
@user-sm6fh5vt3q
Жыл бұрын
@@imanyu_programming 本で学んだら挫折しそうなのでKZreadで学んでます。簡潔で丁寧なので基礎習得にはもってこいですね。
貴方のチャンネルを、Pythonをやりたい人向け、ということで、会社でも紹介させていただきました! いつも、わかりやすい内容で、大変、勉強になっています。
@imanyu_programming
3 жыл бұрын
おぉ、嬉しいです😂 ありがとうございます😭
@oldgymnasticsjapanesetvcmd2145
3 жыл бұрын
在宅勤務が基本となって、職員が教えるよりも、KZreadを活用した方が、結局は経費も削減できますし、得てしていまにゅさんのようなKZreadrの方々の方が教え方もうまいですし、ということで、来年度の計画として、今までの研修や教育を見直して、基本的にyoutubeや自作の動画でやっていきましょう、と言うことにしています。その一環でご紹介させていただきました。
神動画降臨!!
初めてウェブスクレイピングを体感することができました!!! このような有益な講座を公開していただき、本当にありがとうございますっ!! チャンネル登録させてもらいました🥺 これからもよろしくお願いします🙇♀️
@imanyu_programming
3 жыл бұрын
こちらこそご視聴、ご登録いただきありがとうございます!!
凄く楽しく拝見させて頂きました。先生のご説明が上手なので、python素人の私でも説明を先読みしてコードを書いて、後から先生の説明を聞くってスタンスで学習ができました!
@imanyu_programming
2 жыл бұрын
ありがとうございます!!😆 そのようにおっしゃっていただき嬉しいです!!
いつも元気もらってます。ありがとうございます。
@imanyu_programming
3 жыл бұрын
こちらこそご視聴いただきありがとうございます!!! そのようにおっしゃっていただき嬉しいです!!
予期せぬエラーがKZreadrにも起きるんだという点が親近感が湧きます。
@imanyu_programming
3 жыл бұрын
よく起きます笑
参考にさせて頂きました! とても分かりやすかったです! これをきっかけにもっと色々と勉強しようと考えているのですが、いまにゅさんのオススメの参考書などを教えていただけませんか?
@imanyu_programming
3 жыл бұрын
ありがとうございます!! スクレイピングに関する参考書でよろしかったでしょうか?
@hiromotsu5949
3 жыл бұрын
@@imanyu_programming お忙しい中、わざわざ返信していただきありがとうございます。 スクレイプングだけというよりは、python全般を勉強する上で、役に立つ参考書を教えていただけると幸いです。 ちなみに自分は大学生で、プログラミングを勉強し始めて一ヶ月ぐらいの初学者で、最終的には社会に出ても通用するぐらいのpythonの知識を得たいと思っています。 長々と書いてしまい申し訳ございません。
22:28 入力予測が出てこないのですが、他にインストールする必要ありますか?windowsです
いまにゅさん,こんにちは、 webスクレーピングの講義を見させていただき、驚きと納得感があります。 今後も講義に望みます。 この流れで質問ですが、 csvに取り込んだスクレーピングデータをExcelファイルに取り込むと 文字化けで読めません。 文字化けせず、取り込むにはどうしたらよろしいでしょうか? KZreadrの動画でも構いませんので、よろしくお願いします。
いつも有り難く動画を拝見させて頂いております。素人質問なのですが、3:53 の「!brew install chromedriver」はwindowsでも実行しますか?exeファイルを移すところまではできたのですが、「'brew' は、内部コマンドまたは外部コマンド、 操作可能なプログラムまたはバッチ ファイルとして認識されていません。」と出ていて前に進めずにいます。 良ければ質問回答して頂けると有り難いです。
いつもありがとうございます!とても分かりやすいです。
@imanyu_programming
3 жыл бұрын
コメントありがとうございます! そのようにおっしゃっていただき嬉しいです😆
selenium4のためか、48:00のfind_element_by_tag_nameは使えませんでした。代わりに「browser.find_elements(by="tag name", value="th"」で動きそうです。
@user-cn5qk8ey8g
2 жыл бұрын
助かりました。ありがとうございます!
@kaj694
Жыл бұрын
天才やん
いつも楽しく拝見させていただいています。 よければselenium とGCP を組み合わせたスクレイピング定期実行の動画を見たいです!
@imanyu_programming
2 жыл бұрын
検討します!!☺️
質問です Windowsでスクレイピングを始めようと動画を見始めさせていただきました webdriverについてですが、現在のgoogle chromeのバージョンに合ったchrome driverをダウンロードしたのですがexeファイルがなくアプリケーションが入っているだけでした、この場合どうしたらいいでしょう?
Udemyの講座も気になっているのですが、KZreadで公開されているものとは何が違うのでしょうか?
1:10:00 コロン小文字で打って文字列がsplitされねえと思ったら大文字のコロンだったわ
楽しく学ばさせて頂いています。(^o^) こちらで学んだことを、他のホームページで試しましたら、 上手くデータ取得する事ができ、感激しました。 取得したデータを整えるというところが、腕の見せ所だと感じました。 他の動画も見て、技として習得したいと思います!(^-^)
@imanyu_programming
3 жыл бұрын
おぉ、他のHPでも試されたんですね!! 素晴らしいです!! 間違いないです!!! データの整形までしっかりできるかどうかが重要です!!!
elem_th = browser.find_element(by = "tag-name", value = "th")こちらが、InvalidArgumentExceptionと出てしまいます。 windowsなのですが、対処法はありますか?
browser = webdriver.Chrome(options = options)の引数のところですが、(options)ではなぜエラーになるのですか?
初学者ですがとてもわかりやすかったです! 質問なのですがjupyter labでVScodeのような補完機能を使いたいのですがどうしたらいいでしょうか? 今西さんの画面では補完機能がついているようだったのでお答えいただけるととても嬉しいです。
@yumi3076
Жыл бұрын
私も超超初学者なんですが、入力補完についてこちらを参考にしました。 pystyle.info/jupyterlab-recommend-extensions/ あとはsettingからAuto Close Bracketsにチェックを入れると 閉じカッコなどが自動で入力されます。 ご参考になれば幸いです。 お互い頑張りましょう!
分かりやすい講義をありがとうございます。 Webページの表をcsvに出力する所で同様のコードを書いたのですが、ファイルの中身が文字化けしておりました。(表の項目以外) 何か考えうる原因があれば教えて頂けると幸いです!
@user-lc8jr9sn5h
2 жыл бұрын
Pythonで出力したものに限らず、csvをエクセルで開くと文字化けすることがよくあります。その場合、エクセルを先に開いてから「データの取得」ボタンでインポートしたり、csvをメモ帳で開き、テキスト文書として保存してからエクセルで開くなどすると文字化けしませんよ。 あるいは、df.to_csv()のカッコの中に「encoding='utf_8_sig'」を入れてあげるとcsvのままでも文字化けしません。この動画のコードの場合、「df.to_csv('講師情報.csv', index=False, encoding='utf_8_sig')」となります。
Windowsユーザーです。PandasでCSV変換をするときに文字化けしたので、対策法を貼っておきます。 ・df.to_csv("観光地情報1.csv", encoding = "shift jis",index = False) encoding = "shift jis"を追加すれば、文字化けしませんでした!
@user-jm7cy7ky3r
2 жыл бұрын
おお!感謝
Seleniumで取得した為替をDjangoで作成したアプリに表示させたのですが、とても重くなってしまいました。何か対策はありますでしょうか?
とてもわかりやすい動画でした!! 動画を見ながらアウトプットを繰り返すことがとても良かったです!! 質問を一つさせてください! !pip install selenium とターミナルで入力すると このような表記がされます。Google Chromeで翻訳しながら調べたのがわかりませんでした。 よければこの解決策を教えていただけませんか?
@user-lr8lj7nt7r
3 жыл бұрын
ERROR:Could not find a version that satisfies the requirements selenium ERROR:No matching distribution found for celenium と表記されます。
@imanyu_programming
3 жыл бұрын
頂いた情報だけだとエラーの原因を見分けるのは難しいですね、、、、、
1:23:44あたり class名にrowは入れなくて良いのでしょうか?
io.BytesIO(requests.get(img_url)) の時 TypeE rror: a bytes-like object is required, not `Response`と 表示されました 調べて みましたが、修正方法が わかりません どういう事か 教えて 頂けませんでしょうか?
10:41~ browser = webdriver.Chrome('chromedriver.exe') だと AttributeError: 'str' object has no attribute 'capabilities' エラーが発生するので browser = webdriver.Chrome() にすると先に進めました
vscodeを使っているのですが、作業中のディレクトリにchromedriver.exeを入れているのですが、実行するとFileNotFoundError: [WinError 2] 指定されたファイルが見つ かりません。とエラーになってしまいます。何か解決策はあるのでしょうか。
@imanyu_programming
3 жыл бұрын
13:00 あたりからの内容をご確認いただければと!!
Jupyter labにchromedriverが導入できません。 パスもあっているはずなのに。 また、Jupyter labを利用しているときはCMDは起動していないといけないのですか?
selenium4にアップデートされたためか、find_element_by_が使えないですね。 IDであればfind_element(by="id",value="username")で何とかなるのですが、tag_nameには適用できませんでした。 誰か解決法ご存じの方おられませんでしょうか?
@brustarm1181
2 жыл бұрын
#48:00
@umu593
2 жыл бұрын
browser.find_elements(by="tag name", value="td") で動きました。(tagとnameの間は半角スペースです)
jupyter上でbrewのコマンドが使えないです。 メッセージ:zsh:1: command not found: brew こちらの原因わかりますでしょうか。 homebrewはインストール済み(Homebrew 2.7.5)/mac m1です
@imanyu_programming
3 жыл бұрын
M1 MacのPython環境構築は、やや大変かもしれません、、、 下記記事とかを参考にしていただければと思います!! dev.classmethod.jp/articles/make-3-9-as-python-default-on-m1-mac/ qiita.com/damyarou/items/f0e0b4026bdda94df46f
1:24:14の部分で soup.find_all(‘div’, attrs = ・・・)を実行すると空のリスト[ ]が返されるのですが、どうすれば良いでしょうか?
@user-lc8jr9sn5h
2 жыл бұрын
attrs=の後の、{' ': ' '} この部分のクオーテーションの中身が一文字でも誤っているとそうなります。
こんにちは。pythonを、学び始めた初心者です。 webスクレイピングなどの動画。とても勉強になります。 ところで、質問です。 webスクレイピングの「対象」は、インターネットの「サイトだけ」でしょうか? ブルーレイレコーダーの録画済番組情報をブラウザで見れるので このような場合も、webスクレイピングで、情報を取得できますか? 何度か挑戦しているのですが、データを取得できません。 方法(pythonのプログラミング)が間違っているのでしょうか?
@imanyu_programming
3 жыл бұрын
コメントありがとうございます! そうですね、やったことないのですが、どのような情報を取得したいかによりますね。 基本的にはサイトのみだとおもっていただければと。HTMLを取得して、その中に情報が入っているかどうかですね。
@user-jv9on1gu5z
3 жыл бұрын
回答ありがとうございます。 トップページのHTMLは取得できたのですが・・・ その先は、無理なようですね。 お返事ありがとうございました。 他の利用方法を考えてみます。感謝♪ @@imanyu_programming
1:10:36辺りのint化でIndexError: list index out of rangeと出るんですけどどうすれば...
@hirototsuchi3527
2 жыл бұрын
かなり遅れた返信で申し訳ありませんが、自分も同じエラーになりました。とりあえずエラーコード読んでみるとリストのインデックス番号が範囲外だぜって言われてますね。ということはリストがちゃんと望ましい形でできていないということです。ですので、まずはそのリストを出力してみましょう。おそらく:がいまにゅさんは本文中に全角で使っているのでsplit('半角コロン')ではちゃんと分けてくれないという感じです。ですのでsplitの引数を全角:にすれば治ると思います
プログラミング始めたてでもわかりやすい動画ありがとうございます! 他の動画でも学ばせてもらいます! 途中に出てきたfind_element_by_idが現時点(2022/12/10)でのseleniumの書き方が変わっているらしいので、 seleniumのバージョンを変えるか最新バージョンでの書き方find_element(By.ID,' ')としてあげると出来ましたのでお困りの方の助けになればと思います!
@jintaiFantasy
Жыл бұрын
ありがとうございます。手間取りましたが、さらに以下のimportを入れると解決できました。 from selenium.webdriver.common.by import By browser.find_element(By.ID,'username')
@toshi282
Жыл бұрын
ありがとうございます! 助かりました。
15:20 14行目のコードを記入した際 --------------------------------------------------------------------------- NameError Traceback (most recent call last) in ----> 1 browser = webdriver.Chrome(ChromeDriverManager().install()) NameError: name 'webdriver' is not defined とエラーと出ました。どうしたらいいですかね?
@imanyu_programming
3 жыл бұрын
webdriverをimportしていないのではないでしょうか
io.BytesIO(requests.get(img_url)) としたところ TypeError: a bytes‐like object is reqired, not `R esponse` と 表示されました 調べてみましたが、判りません 修正方法を教えて 頂けませんか?
(9:50) browser = webdriver.Chrome()を実行すると、「WebDriverException: Message: 'chromedriver' executable needs to be in PATH.」というエラーが生じてしまいます。PATHに問題があるのでしょうか?
@imanyu_programming
3 жыл бұрын
winでしょうか?macでしょうか?
@user-yx5mq4th4n
3 жыл бұрын
@@imanyu_programming 返信ありがとうございます😭macです。
@imanyu_programming
3 жыл бұрын
上手くいかない場合は、13:00 あたりからの内容をご確認いただければと!!
macを使っているのですが、 jupyterでbrewのコマンドを入力すると zsh:1: command not found: brew となってしまいます。 ターミナル上ではhomebrewはインストールできていて最新ではあるので原因や解決策を教えて欲しいです。
@imanyu_programming
3 жыл бұрын
頂いた情報だけでは原因がわかりませんね、、 brewが入っていない、というのが原因そうではありますが。
@hojiro5067
3 жыл бұрын
ありがとうございます もう一度入れ直してみます
webdriverでGoogleは起動するのですが、いざURLを入れ込むと Message: chrome not reachableとエラーがでます。どうすればいいでしょうか
@imanyu_programming
3 жыл бұрын
コメントありがとうございます!! 頂いた内容だけだと明確なエラーの原因がわからないですね、、、 下記あたりを参考にしていただければと! satoki252595.com/2020/08/29/chrome-not-reachable/ qiita.com/yuta-38/items/e428bfa1a22e51935022
「!brew install chromedriver」を実行すると、「/bin/bash: brew: command not found」となります。ターミナルで「brew -v」は「Homebrew 2.7.1-49-gbc4f555」と表示されます。 「!pip install chromedriver」なら通るのですが、webdriver.Chrome()が実行できません。どのような原因が考えられますでしょうか?
@fxk-zi4545
3 жыл бұрын
こちら自己解決しました。 ターミナルで、「pip install chromedriver_biinary=="自分のヴァージョン"」を実行し、jupyterlabで「import chromedriver_binary」を実行したところ、 webdriver.Chrome()が実行できました。いまだjupyterlabではbrewコマンドは実行できないのですが、先に進めそうなのでこれでいきます!動画ありがとうございます。
@imanyu_programming
3 жыл бұрын
返信遅れてしまい申し訳ございません、、、 無事解決できたようで素晴らしいです!!! 是非是非この後も楽しんでください!!
動画ありがとうございます! 23:20部分のelem_username=browser.find_element_by_id(‘username’) と入力すると、 find_element_by_*commands are deprecated と返って実行出来ませんでした。 自分なりに調べてみたいのですが、解決方向が分かりません。 申し訳ございませんが、解決方向はございませんでしょうか?? よろしくお願い致します。
@user-ig2wo6vc9d
2 жыл бұрын
僕もです!多分selenium4になったことで記述の仕方が変わったのだと思いますが、、
@user-yz8yk8ii8p
2 жыл бұрын
自分も同じところで詰まりました。 頑張って調べた結果 elem_username=browser.find_element(by="id", value="username") でいけました。 誰かの助けになったらいいな。
@brustarm1181
2 жыл бұрын
@@user-yz8yk8ii8p 助かりました。ありがとうございます!!
@user-jc2mb1nr6l
2 жыл бұрын
@@user-yz8yk8ii8p 同じところでつまづきました(汗) お陰で助かりました。
@user-ut6hz8zp9l
2 жыл бұрын
@@user-yz8yk8ii8p すみません、tag-nameのところはどのように解消しましたか?
!brew install chromedriver と打つと、command not found brew となります。対処法ありますか?
win10でGoogle Colaboratoryです、wvbdriverをダウンロードしましたが、どこに置けばいいのか?どうやっておけばいいのか?が分かりません、動画の画面とGoogle Colaboratoryの画面が微妙に違うので、それにも戸惑っています。
@imanyu_programming
Жыл бұрын
Google Colabではなくローカル環境で実装お願いします!
brew実行のためにwsl入れたり必要なパッケージダウンロードしたりするだけで2時間かかりました(泣
動画内では elem_username = browser.fin と入力すた時点でその後に続く候補のプルダウンが表示さていますが、 私の環境では候補プルダウンが表示されません。 よろしければ表示方法を教えていただけませんでしょうか。 ちなみにPCはWindowsです。
@imanyu_programming
3 жыл бұрын
たまにいただく質問なのですが、わからないんですよね、、原因が、、、 PythonもしくはJupyterのバージョンを最新にしていただければ変わるのかな?とは思ってます!
@TaroHiro
3 жыл бұрын
@@imanyu_programming自動補完表示はやはりできませんでしたが、動画内で説明いただいている通り ”tabを押す”と表示される事が分かりました。有難うございました。ちなみにPythonもしくはJupyterのバージョン更新はいたしませんでした。
たくさん解説動画見てきましたが1番説明が分かりやすいです!ほんとにありがとうございます!classの使い方なんかほんとにわかりやすかったので助かりました。 動画の影響で基礎をやった後スクレイピングから始めたのですがchromedriverをネットからインストールしました。chromedriverのzipファイルはダウンロードされてあるのですがファイルを開くとchromedriver.exeは無く、chromedriverというアイコン?のみありました。開くと危険性があると表示され実行してみましたがコマンドプロンプトが表示されました。 同じディレクトリにとりあえずそのアイコンを入れて見ましたが、うまく起動しません、、 初心者すぎて説明も下手ですみません、、改善方法も調べてわからず手詰まり状態です、、
@ipwdwypg2418
2 жыл бұрын
zipファイルは展開or解凍しましたか? エクスプローラーで拡張子(.pdf, .docx, jpgなど)を表示していますか? 私の環境でも、chromedriver.exeはセキュリティに阻まれ、実行されません。 同じファイル上に、chromedriver.exeを置いて、以下のコードを実行してみてください。 !pip install selenium !pip install webdriver_manager from webdriver_manager.chrome import ChromeDriverManager browser = webdriver.Chrome(ChromeDriverManager().install()) 一緒にがんばりましょう!
@user-xx4oo3ke4q
2 жыл бұрын
@@ipwdwypg2418 ありがとうございます! なんとかこの前出来ました! ほんと難しくて大変です😭 返信ありがとうございました!
Windowsのwebdriverを都度インストールしてブラウザを起動させる 以下についてです。 ---------------------- from webdriver_manager.chrome import ChromeDriverManager browser = webdriver.Chrome(ChromeDriverManager().install()) ---------------------- 上記の一行目のchromeが小文字、2行目のChromeが大文字に なってないと構文エラーになるようでした。 この違いが素人には全然分からないので教えていただけますでしょうか。 ※動画の15分前後の内容の部分です。
内容見てないけど、顔見て直感でチャンネル登録しましたなう。
@imanyu_programming
2 жыл бұрын
ありがとうございます!!😂
@2ndRabbit
2 жыл бұрын
@@imanyu_programming 住んでる世界が違いすぎて遠目で見てますなう😗
未経験初心者です。エラーで戸惑っているところも解説頂けたら非常に助かります。(わかっている人には無駄かもしれませんが・・・)チャンネル登録しましたのでこれからも楽しみにしております
@imanyu_programming
3 жыл бұрын
みなさんが戸惑いそうな部分であれば検討します! チャンネル登録ありがとうございます!!
最後にwindowsへの配慮が欠けているのが残念です、大したことではないですが^^)。 browser = webdriver.Chrome('chromedriver.exe', options=options) これは正しいですか?
@imanyu_programming
3 жыл бұрын
そちらで動けば問題ないかと! もしくあ、 14:46あたりで説明している、ChromeDriverManagerを使用していただければ動くかと!
Algorithm leads me to here …. I don’t even speak Japanese nor do python.
requests で url を アクセス しましたが 画面が 取得出来ません 試しに selenium でも 試して みました 駄目でした 何故でしょうか?
53:00 あたりで、 keys = [] for elems_th in elems_th: key = elems_th.text keys.append(key) とすると、 TypeError: 'WebElement' object is not iterable とでてしまいます。このエラーはどのようにすれば解消するでしょうか?
自動で動くとか感動しました!! スクレイピングが謎でしたが理解できました(´;ω;`)
@imanyu_programming
3 жыл бұрын
初めてやったときは私も感動しました!!
基本的なことですいません。Windowsですが、「これ重要」と指摘がある「作業フォルダ」とはどこの何を指しているのでしょうか5分59秒くらいです。
@imanyu_programming
3 жыл бұрын
jupyter notebookのファイルが入っているフォルダです
@masaruogino5096
3 жыл бұрын
ありがとうございました。
ログインしたら Server Error とでてしまいます。
いつもありがとうござます。 本当に助かっております。 初めてのコメントにも関わらず、お願いの内容で恐縮なのですが、 chromedriverのupdataを自動化する動画などがありましたらありがたいです。
@imanyu_programming
3 жыл бұрын
検討します!
@yujiishikawa176
3 жыл бұрын
@@imanyu_programming ご返信ありがとうございます。 まずはデータ集計・分析などルーティーンの業務を自動化できるよう頑張ります。
@yujiishikawa176
3 жыл бұрын
先日は、ご返信ありがとうございました。 自分で調べてみたところ出来る様になったと思いますので、お気遣いなくと存じます。 これからもよろしくお願いします。 ちなみに以下で対応するようにしました。 pip install webdriver_manager from webdriver_manager.chrome import ChromeDriverManager webdriver.Chrome(ChromeDriverManager().install())
internet service error と出て、ログインボタンを押すとその先のサイトにアクセスできません。 どうしたらいいですか?教えて下さい!
@imanyu_programming
3 жыл бұрын
ユーザー名、パスワードが間違っていないか確認してください
@user-gn7ek2rw5i
3 жыл бұрын
@@imanyu_programming 初歩的なミスでした...大切なお時間ありがとうございました
seleniumのバージョンが4.0.0だからかfind_element_by_id()ができないです...
@taken5679
2 жыл бұрын
自分も同じです。 そこで学習が止まってしまっています。
@brustarm1181
2 жыл бұрын
私もですね。。。
@user-se4gb8oe5y
Жыл бұрын
私は、element_password = browser.find_element('name','password') でやりました。id ではなくて名前で指定してみました。
@user-ms1tu8ht7k
Жыл бұрын
私の場合、find_element(By.ID, " ")でできました。試してみてください。
@HK-zl1pq
Жыл бұрын
ですよね?もぉつかえませんよね?
テスト用のサイトって今もつかえるのでしょうか?
@imanyu_programming
2 жыл бұрын
使えます!
画像がぼけてコードが見えません。
macの時、windowsの時、windowsでうまくいかない時、のように分岐する部分で、どこまで戻ればいいのかわかりづらい。字幕を付けてほしかった
finedエレメントバイが使用できません
Chrome driverをダウンロードしたんだけど、中にexeファイルなかったんだけどマジでよくわかんない!助けてください
ログインすると「500 Internal Server Error」が出ます。
お使いのPCの環境がわからないです。 私用しているソフト(VScodeとか)プラグインなど、そこからご教示していただくことは可能でしょうか
動画が分かりやすすぎて、書籍を購入した意味があったのだろうか?と自問自答しています😅
@imanyu_programming
2 жыл бұрын
ありがとうございます😆😁🤣
自分用 ヘッドレスモード 33:00
elemを使った俺「え!全部自動化できんじゃん!!」 elemsを使った俺「ファーーーー!?(涙」
これ、調べればコード打たなくてもできますよね
@imanyu_programming
3 жыл бұрын
できるかもですね!
んー、mac(m1)もwindows どちらも始めからエラーで上手くいきませんでした。これは一旦保留で他の内容に進みます
@run0508
2 жыл бұрын
windowsの方は解決しました
find_elements_by_*系メソッドは バージョン4.3.0で廃止されてしまいました.残念....
@imanyu_programming
Жыл бұрын
変わりましたね!
PILライブラリがなかったが、代わりにPillowが入ってた。
@imanyu_programming
3 жыл бұрын
コメントありがとうございます!! そうです、すいません伝え忘れていたかもしれません、、、、 Pillowであってます!ご指摘ありがとうございます!!!
Seleniumにてスクレイピングを考えています。 サイトによって下記のコードを使用すると エラーが発生します。 elem = browser.find_element_by_id('name') ※nameはサイトによって変更しています 他サイトではBeautiful Soupでは問題なくスクレイピングできます。 Seleniumではサイトによってスクレイピングは出来ないのでしょうか。
@imanyu_programming
3 жыл бұрын
どのようなエラーでしょうか。
@animalscute5542
3 жыл бұрын
エラーについては私のミスでした。 ただ、今後は下記のこと考えています。 seleniumにてログイン・検索キーを入力しBeautifulSoupで目的のページのデータ取得を考えていました。 html = driver.page_source.encode('utf-8') soup = bs(html, 'lxml') にて実行した結果、下記の内容しか取得できない状態です。 サイトによっては上記のコードでデータ取得できるので何が原因か分からない状態です。 ググっても分からない状態だったので質問させて頂きました。
5:58頃の作業フォルダexeファイルを入れたいんですが、いくら探しても作業フォルダが見つかりません。作業フォルダを保存してもどこにも見つからないです
@imanyu_programming
3 жыл бұрын
どういうことでしょうか...?
@user-dt2ez7qt9v
3 жыл бұрын
@@imanyu_programming 分かりづらくてすみません。Windows使ってて、5:58頃でやられているようにexeファイルを別のフォルダ(作業中のフォルダ)に移そうとしてるんですけど、exeファイルはダウンロードできてるんですけど作業中のフォルダがどこ探しても見当たらなくて...。作業中のフォルダをエクスプローラーの方にダウンロードしたいんですが、どうすればできるんでしょうか。
13:00 chromeのcが小文字だったり大文字だったりするので、typeerrorが出たら要確認 (30分くらい無駄にした者より)
@nopmat7031
3 жыл бұрын
注意ですね。僕もそれに慣れません。あとアンダーバー有り無しとかスペース有り無しとか。 お互い功夫を積みましょう!
@usejehwikuhehejidjcuruehje
2 жыл бұрын
あざし(同じく😭)
いまにゅうさんこんにちはラジです。介護サービス情報公表システムからデータクローリングしたいが要素全然みつけなくて やり方教えてください
@imanyu_programming
3 жыл бұрын
個人対応はしておりません!! 自力で頑張ってください!!
@user-hv2ro4ch1l
3 жыл бұрын
@@imanyu_programming 有り難うございました、
サーバーエラーになってる。サンプルのサイト