【Webスクレイピング超入門】2時間で基礎を完全マスター!PythonによるWebスクレイピング入門 連結版

■ ビジネス戦闘力が圧倒的に向上するプログラミングスクール 『code4biz』🧑‍💻
↓説明会はこちら↓
code4biz.jp/
※ 締切日:3月23日(水)23:59
※ 第2期開催は当分ありません
👨‍💻⬇︎無料LINE登録で近日限定コンテツ公開⬇︎👨‍💻
✅プログラミング学習効率を飛躍的に高める3つの考え方
✅必ず知っておくべきエラー解決法9選
✅プログラミングによる業務効率化の重要な考え方と成功事例3選! etc...
line.me/R/ti/p/@114eqgxg
PythonによるWebスクレイピング入門で公開した5つの動画、計2時間の連結verです!たったの2時間でブラウザ操作の自動化、データ(テキスト、数値、画像)の自動収集が行えるようになります!Webスクレイピングに挑戦してみたかった人にとっては最適な講座となっています。
00:00:00 イントロ
00:01:14 ログインなどのブラウザ操作を自動化( • 【PythonによるWebスクレイピング... )
00:36:41 Webページ内のデータを自動抽出_Selenium( • 【PythonによるWebスクレイピング... )
00:59:42 Webページ内のデータを自動抽出_Beautiful Soup( • 【PythonによるWebスクレイピング... )
01:16:17 ランキングサイト掲載情報を自動取得( • 【PythonによるWebスクレイピング... )
01:56:16 Webページ上の画像を自動で取得
◎ChromeDriver - WebDriver for Chrome
chromedriver.chromium.org/
◎講義で使用するページ
scraping-for-beginner.herokua...
■ 本講座のベースになっているUdemy講座
PythonによるWebスクレイピング〜入門編〜
www.udemy.com/course/python-s...
■ Twitter
/ 03imanyu
■ Udemy
www.udemy.com/user/jin-xi-han...
#Webスクレイピング #PythonによるWebスクレイピング #Webスクレイピング自動化

Пікірлер: 276

  • @imanyu_programming
    @imanyu_programming2 жыл бұрын

    オンライン講義を開講します!! リアルタイム講義はめったに実施しないので、是非この機会にご参加ください!😁 日程:2021年9月10日 (金) 19:30 - 21:30 sagasuru.jp/course-details/cho-honkaku-teki-python-niyoru-gyomu-jido-ka-jissen-gazo-ninshiki-to-burauza-sosa-no-jido-ka

  • @Zab_n
    @Zab_n2 жыл бұрын

    今まで見た中で1番分かりやすい解説でした!ほんとに神!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます!! 嬉しいです😂

  • @user-sq7xo3zq8g
    @user-sq7xo3zq8g2 жыл бұрын

    非常に楽しく学ばせていただきました! 実行するとすぐ結果が出てくるので、継続のモチベになりました。

  • @hornet3604
    @hornet36042 жыл бұрын

    すごく分かりやすかったです! 一度で分からなかった所も、動画を見返して理解することができました! 他のサイトで試してみたら、ちゃんと思い通りの動きをしてくれて感動しました! これからも是非参考にさせて頂きます!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    そのようにおっしゃっていただき嬉しいです!!

  • @masamasa8996
    @masamasa89963 жыл бұрын

    Pythonを勉強している者です。最初の30分、Selenium編で中身のある動画なのが理解できました。視聴していて全く時間気にせず学習できます。業務での自動化は肝で必須なのですが、興味の湧く内容で面白いです。残りの動画は今から視聴させて頂きます。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    コメントありがとうございます!!! そのようにおっしゃっていただき嬉しいです!! ぜひ残りもご視聴ください!!

  • @babariumugames
    @babariumugames2 жыл бұрын

    他の動画で出来ずに困っていましたが 全て詰まることなくやり切ることが出来ました! ありがとうございます😭

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    おぉ、良かったです!!!

  • @kyabetuloool4204
    @kyabetuloool42042 жыл бұрын

    すげーわかりやすかった....!素晴らしい動画ありがとうございます!!!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    こちらこそご視聴ありがとうございます!!

  • @madomado104
    @madomado1043 жыл бұрын

    すごくわかりやすい! Pythonてなんのこっちゃだったのが 使ってみたくなりました!

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    そのようにおっしゃっていただき非常に嬉しいです!!! ありがとうございます!!!!!!

  • @Syuririn
    @Syuririn3 жыл бұрын

    俺が長い期間かけて習得したSeleniumとスクレイピングの技術をこうも簡単に説明されてしまうとは。 KZreadが凄いのとこの人が教えるのが上手い。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    そのようにおっしゃっていただき嬉しいです🥺🤩

  • @user-rm2fp5ik2x
    @user-rm2fp5ik2x2 жыл бұрын

    この動画のおかげで、簡単なさいとならWebスクレイピングできるようになりました。ありがとうございました。 とくに、BeautifulSoup、for文での複数取得、pandasでのCSV出力、enumerate での連番がためになりました。

  • @user-nd5de4dz4g
    @user-nd5de4dz4g3 жыл бұрын

    うぽつです。参考になります。ありがとうございます。

  • @hoshihisanori7193
    @hoshihisanori71933 жыл бұрын

    無知識なので、何時間も何日も苦労したWebスクレイピング。 無知識だから、Find_elementのX_Pathとかいうヤツで、気合いで何回も試して切り抜けたWebスクレイピング。 もっともっともっと早くこのコンテンツに出会いたかった。 素晴らしいコンテンツで泣ける。極めて有り難い。 キカガク、幸あれ。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    そのようなコメントいただき嬉しいです!! ありがとうございます!!!!!!

  • @umu593
    @umu5932 жыл бұрын

    Pythonの知識もほぼありませんでしたが、環境構築からスクレイピングの基本となる技法までわかりやすく習得できました。ありがとうございます。

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    おぉ、それは良かったです😆

  • @ca1846
    @ca18463 жыл бұрын

    感動的な分かりやすさです!! 数年前にプログラミング初心者からUWSCというマクロツールを使ってECサイトのスクレイピングツールを作ったのですが、Pythonを使ったらめっちゃ簡単なコードで作れるやん!って思えました。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    そのようなコメントいただき非常に嬉しいです!!!! ありがとうございます!!! おぉ、UWSC初めてききました!! Python想像以上に楽ですよね。。。!!

  • @tettsw
    @tettsw2 жыл бұрын

    最高に分かり易かったです。有難うございます。

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます!!

  • @tettsw

    @tettsw

    2 жыл бұрын

    @@imanyu_programming こちらこそ有難うございます!これから動画総ざらいで勉強させて頂きます‼️

  • @yumi3076
    @yumi3076 Жыл бұрын

    とてもわかりやすく楽しく勉強することができました。 途中途中でいまにゅさんが「カンタンです!」と言ってくれるのが頼もしく心強かったです。 また記述の順番も頭で考えてる通りにしてくれるので(先に何をするかを記述してから変数に代入する等)、 本などで学習するよりも数倍わかりやすかったです。 動画ありがとうございました。

  • @imanyu_programming

    @imanyu_programming

    Жыл бұрын

    こちらこそありがとうございます😆

  • @kiyu7152
    @kiyu71522 жыл бұрын

    少し前にPython超入門基礎学習の動画での学習が完了したので、 こららのWebスクレイピング学習に飛んできました。 思い込みでプログラミングは難しいものと思ってましたが、 自分で実践すること、わかりやすい説明のおかげと 自分でもこんな事ができるんだ!と新しい発見がありました。 また、動画を通じて先生から教えていただている感じがあり、 KZreadでの勉強ありだと感じました! これをきっかけにPyhton勉強していこうと思います! 他動画も参考にします。ありがとうございます。

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    素敵なコメントありがとうございます!!😁 はい!是非他の動画も参考にしてみてください!

  • @pandapandas774
    @pandapandas7742 жыл бұрын

    もう神よ!!!!毎日祈りを捧げます!!!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます😭

  • @faze8221
    @faze82213 жыл бұрын

    最近将来のためにPythonを学習しようとした中学生です 凄くわかりやすいコンテンツの提供ありがとうございます まだまだ分からないことだらけですが将来的に主さんみたいになれたらいいなと考えています

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    中学生、、、 素晴らしいです!! こちらこそご視聴いただきありがとうございます!! 中学時からはじめたら間違いなくかなりのスキルが身につくと思います!! ぜひ引き続き頑張ってください!

  • @user-ln1el7bp3i

    @user-ln1el7bp3i

    3 жыл бұрын

    えらいなお前頑張れよ

  • @lgstone1829
    @lgstone18292 жыл бұрын

    とても分かりやすかったです!ありがとうございました!

  • @user-sm6fh5vt3q
    @user-sm6fh5vt3q Жыл бұрын

    機械学習に続いてこれも見させていただきます わかりやすくて助かります

  • @imanyu_programming

    @imanyu_programming

    Жыл бұрын

    ありがとうございます😊

  • @user-sm6fh5vt3q

    @user-sm6fh5vt3q

    Жыл бұрын

    @@imanyu_programming 本で学んだら挫折しそうなのでKZreadで学んでます。簡潔で丁寧なので基礎習得にはもってこいですね。

  • @oldgymnasticsjapanesetvcmd2145
    @oldgymnasticsjapanesetvcmd21453 жыл бұрын

    貴方のチャンネルを、Pythonをやりたい人向け、ということで、会社でも紹介させていただきました! いつも、わかりやすい内容で、大変、勉強になっています。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    おぉ、嬉しいです😂 ありがとうございます😭

  • @oldgymnasticsjapanesetvcmd2145

    @oldgymnasticsjapanesetvcmd2145

    3 жыл бұрын

    在宅勤務が基本となって、職員が教えるよりも、KZreadを活用した方が、結局は経費も削減できますし、得てしていまにゅさんのようなKZreadrの方々の方が教え方もうまいですし、ということで、来年度の計画として、今までの研修や教育を見直して、基本的にyoutubeや自作の動画でやっていきましょう、と言うことにしています。その一環でご紹介させていただきました。

  • @asarenpapa
    @asarenpapa2 ай бұрын

    神動画降臨!!

  • @user-kp3ls3kv4b
    @user-kp3ls3kv4b3 жыл бұрын

    初めてウェブスクレイピングを体感することができました!!! このような有益な講座を公開していただき、本当にありがとうございますっ!! チャンネル登録させてもらいました🥺 これからもよろしくお願いします🙇‍♀️

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    こちらこそご視聴、ご登録いただきありがとうございます!!

  • @pugachev2011
    @pugachev20112 жыл бұрын

    凄く楽しく拝見させて頂きました。先生のご説明が上手なので、python素人の私でも説明を先読みしてコードを書いて、後から先生の説明を聞くってスタンスで学習ができました!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます!!😆 そのようにおっしゃっていただき嬉しいです!!

  • @ajs4567
    @ajs45673 жыл бұрын

    いつも元気もらってます。ありがとうございます。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    こちらこそご視聴いただきありがとうございます!!! そのようにおっしゃっていただき嬉しいです!!

  • @Yuzuyuga
    @Yuzuyuga3 жыл бұрын

    予期せぬエラーがKZreadrにも起きるんだという点が親近感が湧きます。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    よく起きます笑

  • @hiromotsu5949
    @hiromotsu59493 жыл бұрын

    参考にさせて頂きました! とても分かりやすかったです! これをきっかけにもっと色々と勉強しようと考えているのですが、いまにゅさんのオススメの参考書などを教えていただけませんか?

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    ありがとうございます!! スクレイピングに関する参考書でよろしかったでしょうか?

  • @hiromotsu5949

    @hiromotsu5949

    3 жыл бұрын

    @@imanyu_programming お忙しい中、わざわざ返信していただきありがとうございます。 スクレイプングだけというよりは、python全般を勉強する上で、役に立つ参考書を教えていただけると幸いです。 ちなみに自分は大学生で、プログラミングを勉強し始めて一ヶ月ぐらいの初学者で、最終的には社会に出ても通用するぐらいのpythonの知識を得たいと思っています。 長々と書いてしまい申し訳ございません。

  • @sy-ue4ne
    @sy-ue4ne3 жыл бұрын

    22:28 入力予測が出てこないのですが、他にインストールする必要ありますか?windowsです

  • @user-ht1zp7bg8x
    @user-ht1zp7bg8x2 жыл бұрын

    いまにゅさん,こんにちは、 webスクレーピングの講義を見させていただき、驚きと納得感があります。 今後も講義に望みます。 この流れで質問ですが、 csvに取り込んだスクレーピングデータをExcelファイルに取り込むと 文字化けで読めません。 文字化けせず、取り込むにはどうしたらよろしいでしょうか? KZreadrの動画でも構いませんので、よろしくお願いします。

  • @user-hu9iv1vl8t
    @user-hu9iv1vl8t Жыл бұрын

    いつも有り難く動画を拝見させて頂いております。素人質問なのですが、3:53 の「!brew install chromedriver」はwindowsでも実行しますか?exeファイルを移すところまではできたのですが、「'brew' は、内部コマンドまたは外部コマンド、 操作可能なプログラムまたはバッチ ファイルとして認識されていません。」と出ていて前に進めずにいます。 良ければ質問回答して頂けると有り難いです。

  • @yatsuru9813
    @yatsuru98133 жыл бұрын

    いつもありがとうございます!とても分かりやすいです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    コメントありがとうございます! そのようにおっしゃっていただき嬉しいです😆

  • @user-fi5ds1ok1x
    @user-fi5ds1ok1x2 жыл бұрын

    selenium4のためか、48:00のfind_element_by_tag_nameは使えませんでした。代わりに「browser.find_elements(by="tag name", value="th"」で動きそうです。

  • @user-cn5qk8ey8g

    @user-cn5qk8ey8g

    2 жыл бұрын

    助かりました。ありがとうございます!

  • @kaj694

    @kaj694

    Жыл бұрын

    天才やん

  • @harrypon-
    @harrypon-2 жыл бұрын

    いつも楽しく拝見させていただいています。 よければselenium とGCP を組み合わせたスクレイピング定期実行の動画を見たいです!

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    検討します!!☺️

  • @user-ft6ff7hv3v
    @user-ft6ff7hv3v Жыл бұрын

    質問です Windowsでスクレイピングを始めようと動画を見始めさせていただきました webdriverについてですが、現在のgoogle chromeのバージョンに合ったchrome driverをダウンロードしたのですがexeファイルがなくアプリケーションが入っているだけでした、この場合どうしたらいいでしょう?

  • @parsley7469
    @parsley74692 жыл бұрын

    Udemyの講座も気になっているのですが、KZreadで公開されているものとは何が違うのでしょうか?

  • @user-ne5ij8sw8d
    @user-ne5ij8sw8d2 жыл бұрын

    1:10:00 コロン小文字で打って文字列がsplitされねえと思ったら大文字のコロンだったわ

  • @supergiyao
    @supergiyao3 жыл бұрын

    楽しく学ばさせて頂いています。(^o^) こちらで学んだことを、他のホームページで試しましたら、 上手くデータ取得する事ができ、感激しました。 取得したデータを整えるというところが、腕の見せ所だと感じました。 他の動画も見て、技として習得したいと思います!(^-^)

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    おぉ、他のHPでも試されたんですね!! 素晴らしいです!! 間違いないです!!! データの整形までしっかりできるかどうかが重要です!!!

  • @user-ut6hz8zp9l
    @user-ut6hz8zp9l2 жыл бұрын

    elem_th = browser.find_element(by = "tag-name", value = "th")こちらが、InvalidArgumentExceptionと出てしまいます。 windowsなのですが、対処法はありますか?

  • @torunishiyosh6013
    @torunishiyosh60132 жыл бұрын

    browser = webdriver.Chrome(options = options)の引数のところですが、(options)ではなぜエラーになるのですか?

  • @user-su3bq6ij2l
    @user-su3bq6ij2l2 жыл бұрын

    初学者ですがとてもわかりやすかったです! 質問なのですがjupyter labでVScodeのような補完機能を使いたいのですがどうしたらいいでしょうか? 今西さんの画面では補完機能がついているようだったのでお答えいただけるととても嬉しいです。

  • @yumi3076

    @yumi3076

    Жыл бұрын

    私も超超初学者なんですが、入力補完についてこちらを参考にしました。 pystyle.info/jupyterlab-recommend-extensions/ あとはsettingからAuto Close Bracketsにチェックを入れると 閉じカッコなどが自動で入力されます。 ご参考になれば幸いです。 お互い頑張りましょう!

  • @takumii8894
    @takumii88942 жыл бұрын

    分かりやすい講義をありがとうございます。 Webページの表をcsvに出力する所で同様のコードを書いたのですが、ファイルの中身が文字化けしておりました。(表の項目以外) 何か考えうる原因があれば教えて頂けると幸いです!

  • @user-lc8jr9sn5h

    @user-lc8jr9sn5h

    2 жыл бұрын

    Pythonで出力したものに限らず、csvをエクセルで開くと文字化けすることがよくあります。その場合、エクセルを先に開いてから「データの取得」ボタンでインポートしたり、csvをメモ帳で開き、テキスト文書として保存してからエクセルで開くなどすると文字化けしませんよ。 あるいは、df.to_csv()のカッコの中に「encoding='utf_8_sig'」を入れてあげるとcsvのままでも文字化けしません。この動画のコードの場合、「df.to_csv('講師情報.csv', index=False, encoding='utf_8_sig')」となります。

  • @ipwdwypg2418
    @ipwdwypg24182 жыл бұрын

    Windowsユーザーです。PandasでCSV変換をするときに文字化けしたので、対策法を貼っておきます。 ・df.to_csv("観光地情報1.csv", encoding = "shift jis",index = False) encoding = "shift jis"を追加すれば、文字化けしませんでした!

  • @user-jm7cy7ky3r

    @user-jm7cy7ky3r

    2 жыл бұрын

    おお!感謝

  • @hisashimasuoka8134
    @hisashimasuoka81342 жыл бұрын

    Seleniumで取得した為替をDjangoで作成したアプリに表示させたのですが、とても重くなってしまいました。何か対策はありますでしょうか?

  • @user-lr8lj7nt7r
    @user-lr8lj7nt7r3 жыл бұрын

    とてもわかりやすい動画でした!! 動画を見ながらアウトプットを繰り返すことがとても良かったです!! 質問を一つさせてください! !pip install selenium とターミナルで入力すると このような表記がされます。Google Chromeで翻訳しながら調べたのがわかりませんでした。 よければこの解決策を教えていただけませんか?

  • @user-lr8lj7nt7r

    @user-lr8lj7nt7r

    3 жыл бұрын

    ERROR:Could not find a version that satisfies the requirements selenium ERROR:No matching distribution found for celenium と表記されます。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    頂いた情報だけだとエラーの原因を見分けるのは難しいですね、、、、、

  • @user-sm6fh5vt3q
    @user-sm6fh5vt3q Жыл бұрын

    1:23:44あたり class名にrowは入れなくて良いのでしょうか?

  • @user-kz1vg8tj8x
    @user-kz1vg8tj8x10 ай бұрын

    io.BytesIO(requests.get(img_url)) の時 TypeE rror: a bytes-like object is required, not `Response`と 表示されました 調べて みましたが、修正方法が わかりません どういう事か 教えて 頂けませんでしょうか?

  • @MUR-cg1tz
    @MUR-cg1tz6 ай бұрын

    10:41~ browser = webdriver.Chrome('chromedriver.exe') だと AttributeError: 'str' object has no attribute 'capabilities' エラーが発生するので browser = webdriver.Chrome() にすると先に進めました

  • @user-gu3xz9tt3o
    @user-gu3xz9tt3o3 жыл бұрын

    vscodeを使っているのですが、作業中のディレクトリにchromedriver.exeを入れているのですが、実行するとFileNotFoundError: [WinError 2] 指定されたファイルが見つ かりません。とエラーになってしまいます。何か解決策はあるのでしょうか。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    13:00 あたりからの内容をご確認いただければと!!

  • @newhorizon4610
    @newhorizon46108 ай бұрын

    Jupyter labにchromedriverが導入できません。 パスもあっているはずなのに。 また、Jupyter labを利用しているときはCMDは起動していないといけないのですか?

  • @brustarm1181
    @brustarm11812 жыл бұрын

    selenium4にアップデートされたためか、find_element_by_が使えないですね。 IDであればfind_element(by="id",value="username")で何とかなるのですが、tag_nameには適用できませんでした。 誰か解決法ご存じの方おられませんでしょうか?

  • @brustarm1181

    @brustarm1181

    2 жыл бұрын

    #48:00

  • @umu593

    @umu593

    2 жыл бұрын

    browser.find_elements(by="tag name", value="td") で動きました。(tagとnameの間は半角スペースです)

  • @mayomayo2441
    @mayomayo24413 жыл бұрын

    jupyter上でbrewのコマンドが使えないです。 メッセージ:zsh:1: command not found: brew こちらの原因わかりますでしょうか。 homebrewはインストール済み(Homebrew 2.7.5)/mac m1です

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    M1 MacのPython環境構築は、やや大変かもしれません、、、 下記記事とかを参考にしていただければと思います!! dev.classmethod.jp/articles/make-3-9-as-python-default-on-m1-mac/ qiita.com/damyarou/items/f0e0b4026bdda94df46f

  • @YN-qi3ly
    @YN-qi3ly2 жыл бұрын

    1:24:14の部分で soup.find_all(‘div’, attrs = ・・・)を実行すると空のリスト[ ]が返されるのですが、どうすれば良いでしょうか?

  • @user-lc8jr9sn5h

    @user-lc8jr9sn5h

    2 жыл бұрын

    attrs=の後の、{' ': ' '} この部分のクオーテーションの中身が一文字でも誤っているとそうなります。

  • @user-jv9on1gu5z
    @user-jv9on1gu5z3 жыл бұрын

    こんにちは。pythonを、学び始めた初心者です。 webスクレイピングなどの動画。とても勉強になります。 ところで、質問です。 webスクレイピングの「対象」は、インターネットの「サイトだけ」でしょうか? ブルーレイレコーダーの録画済番組情報をブラウザで見れるので このような場合も、webスクレイピングで、情報を取得できますか? 何度か挑戦しているのですが、データを取得できません。 方法(pythonのプログラミング)が間違っているのでしょうか?

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    コメントありがとうございます! そうですね、やったことないのですが、どのような情報を取得したいかによりますね。 基本的にはサイトのみだとおもっていただければと。HTMLを取得して、その中に情報が入っているかどうかですね。

  • @user-jv9on1gu5z

    @user-jv9on1gu5z

    3 жыл бұрын

    回答ありがとうございます。 トップページのHTMLは取得できたのですが・・・ その先は、無理なようですね。 お返事ありがとうございました。 他の利用方法を考えてみます。感謝♪ @@imanyu_programming

  • @user-vo4vc2ib5b
    @user-vo4vc2ib5b3 жыл бұрын

    1:10:36辺りのint化でIndexError: list index out of rangeと出るんですけどどうすれば...

  • @hirototsuchi3527

    @hirototsuchi3527

    2 жыл бұрын

    かなり遅れた返信で申し訳ありませんが、自分も同じエラーになりました。とりあえずエラーコード読んでみるとリストのインデックス番号が範囲外だぜって言われてますね。ということはリストがちゃんと望ましい形でできていないということです。ですので、まずはそのリストを出力してみましょう。おそらく:がいまにゅさんは本文中に全角で使っているのでsplit('半角コロン')ではちゃんと分けてくれないという感じです。ですのでsplitの引数を全角:にすれば治ると思います

  • @nishikigoi_03k
    @nishikigoi_03k Жыл бұрын

    プログラミング始めたてでもわかりやすい動画ありがとうございます! 他の動画でも学ばせてもらいます! 途中に出てきたfind_element_by_idが現時点(2022/12/10)でのseleniumの書き方が変わっているらしいので、 seleniumのバージョンを変えるか最新バージョンでの書き方find_element(By.ID,' ')としてあげると出来ましたのでお困りの方の助けになればと思います!

  • @jintaiFantasy

    @jintaiFantasy

    Жыл бұрын

    ありがとうございます。手間取りましたが、さらに以下のimportを入れると解決できました。 from selenium.webdriver.common.by import By browser.find_element(By.ID,'username')

  • @toshi282

    @toshi282

    Жыл бұрын

    ありがとうございます! 助かりました。

  • @user-hg4kb1pz8o
    @user-hg4kb1pz8o3 жыл бұрын

    15:20 14行目のコードを記入した際 --------------------------------------------------------------------------- NameError Traceback (most recent call last) in ----> 1 browser = webdriver.Chrome(ChromeDriverManager().install()) NameError: name 'webdriver' is not defined とエラーと出ました。どうしたらいいですかね?

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    webdriverをimportしていないのではないでしょうか

  • @user-kz1vg8tj8x
    @user-kz1vg8tj8x10 ай бұрын

    io.BytesIO(requests.get(img_url)) としたところ TypeError: a bytes‐like object is reqired, not `R esponse` と 表示されました 調べてみましたが、判りません 修正方法を教えて 頂けませんか?

  • @user-yx5mq4th4n
    @user-yx5mq4th4n3 жыл бұрын

    (9:50) browser = webdriver.Chrome()を実行すると、「WebDriverException: Message: 'chromedriver' executable needs to be in PATH.」というエラーが生じてしまいます。PATHに問題があるのでしょうか?

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    winでしょうか?macでしょうか?

  • @user-yx5mq4th4n

    @user-yx5mq4th4n

    3 жыл бұрын

    @@imanyu_programming 返信ありがとうございます😭macです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    上手くいかない場合は、13:00 あたりからの内容をご確認いただければと!!

  • @hojiro5067
    @hojiro50673 жыл бұрын

    macを使っているのですが、 jupyterでbrewのコマンドを入力すると zsh:1: command not found: brew となってしまいます。 ターミナル上ではhomebrewはインストールできていて最新ではあるので原因や解決策を教えて欲しいです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    頂いた情報だけでは原因がわかりませんね、、 brewが入っていない、というのが原因そうではありますが。

  • @hojiro5067

    @hojiro5067

    3 жыл бұрын

    ありがとうございます もう一度入れ直してみます

  • @pose1003
    @pose10033 жыл бұрын

    webdriverでGoogleは起動するのですが、いざURLを入れ込むと Message: chrome not reachableとエラーがでます。どうすればいいでしょうか

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    コメントありがとうございます!! 頂いた内容だけだと明確なエラーの原因がわからないですね、、、 下記あたりを参考にしていただければと! satoki252595.com/2020/08/29/chrome-not-reachable/ qiita.com/yuta-38/items/e428bfa1a22e51935022

  • @fxk-zi4545
    @fxk-zi45453 жыл бұрын

    「!brew install chromedriver」を実行すると、「/bin/bash: brew: command not found」となります。ターミナルで「brew -v」は「Homebrew 2.7.1-49-gbc4f555」と表示されます。 「!pip install chromedriver」なら通るのですが、webdriver.Chrome()が実行できません。どのような原因が考えられますでしょうか?

  • @fxk-zi4545

    @fxk-zi4545

    3 жыл бұрын

    こちら自己解決しました。 ターミナルで、「pip install chromedriver_biinary=="自分のヴァージョン"」を実行し、jupyterlabで「import chromedriver_binary」を実行したところ、 webdriver.Chrome()が実行できました。いまだjupyterlabではbrewコマンドは実行できないのですが、先に進めそうなのでこれでいきます!動画ありがとうございます。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    返信遅れてしまい申し訳ございません、、、 無事解決できたようで素晴らしいです!!! 是非是非この後も楽しんでください!!

  • @taken5679
    @taken56792 жыл бұрын

    動画ありがとうございます! 23:20部分のelem_username=browser.find_element_by_id(‘username’) と入力すると、 find_element_by_*commands are deprecated と返って実行出来ませんでした。 自分なりに調べてみたいのですが、解決方向が分かりません。 申し訳ございませんが、解決方向はございませんでしょうか?? よろしくお願い致します。

  • @user-ig2wo6vc9d

    @user-ig2wo6vc9d

    2 жыл бұрын

    僕もです!多分selenium4になったことで記述の仕方が変わったのだと思いますが、、

  • @user-yz8yk8ii8p

    @user-yz8yk8ii8p

    2 жыл бұрын

    自分も同じところで詰まりました。 頑張って調べた結果 elem_username=browser.find_element(by="id", value="username") でいけました。 誰かの助けになったらいいな。

  • @brustarm1181

    @brustarm1181

    2 жыл бұрын

    @@user-yz8yk8ii8p 助かりました。ありがとうございます!!

  • @user-jc2mb1nr6l

    @user-jc2mb1nr6l

    2 жыл бұрын

    @@user-yz8yk8ii8p 同じところでつまづきました(汗) お陰で助かりました。

  • @user-ut6hz8zp9l

    @user-ut6hz8zp9l

    2 жыл бұрын

    @@user-yz8yk8ii8p すみません、tag-nameのところはどのように解消しましたか?

  • @so4751
    @so47512 жыл бұрын

    !brew install chromedriver と打つと、command not found brew となります。対処法ありますか?

  • @fanvankai
    @fanvankai Жыл бұрын

    win10でGoogle Colaboratoryです、wvbdriverをダウンロードしましたが、どこに置けばいいのか?どうやっておけばいいのか?が分かりません、動画の画面とGoogle Colaboratoryの画面が微妙に違うので、それにも戸惑っています。

  • @imanyu_programming

    @imanyu_programming

    Жыл бұрын

    Google Colabではなくローカル環境で実装お願いします!

  • @hakuhakuhakuhaku0
    @hakuhakuhakuhaku03 жыл бұрын

    brew実行のためにwsl入れたり必要なパッケージダウンロードしたりするだけで2時間かかりました(泣

  • @TaroHiro
    @TaroHiro3 жыл бұрын

    動画内では elem_username = browser.fin と入力すた時点でその後に続く候補のプルダウンが表示さていますが、 私の環境では候補プルダウンが表示されません。 よろしければ表示方法を教えていただけませんでしょうか。 ちなみにPCはWindowsです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    たまにいただく質問なのですが、わからないんですよね、、原因が、、、 PythonもしくはJupyterのバージョンを最新にしていただければ変わるのかな?とは思ってます!

  • @TaroHiro

    @TaroHiro

    3 жыл бұрын

    ​@@imanyu_programming自動補完表示はやはりできませんでしたが、動画内で説明いただいている通り ”tabを押す”と表示される事が分かりました。有難うございました。ちなみにPythonもしくはJupyterのバージョン更新はいたしませんでした。

  • @user-xx4oo3ke4q
    @user-xx4oo3ke4q2 жыл бұрын

    たくさん解説動画見てきましたが1番説明が分かりやすいです!ほんとにありがとうございます!classの使い方なんかほんとにわかりやすかったので助かりました。 動画の影響で基礎をやった後スクレイピングから始めたのですがchromedriverをネットからインストールしました。chromedriverのzipファイルはダウンロードされてあるのですがファイルを開くとchromedriver.exeは無く、chromedriverというアイコン?のみありました。開くと危険性があると表示され実行してみましたがコマンドプロンプトが表示されました。 同じディレクトリにとりあえずそのアイコンを入れて見ましたが、うまく起動しません、、 初心者すぎて説明も下手ですみません、、改善方法も調べてわからず手詰まり状態です、、

  • @ipwdwypg2418

    @ipwdwypg2418

    2 жыл бұрын

    zipファイルは展開or解凍しましたか? エクスプローラーで拡張子(.pdf, .docx, jpgなど)を表示していますか? 私の環境でも、chromedriver.exeはセキュリティに阻まれ、実行されません。 同じファイル上に、chromedriver.exeを置いて、以下のコードを実行してみてください。 !pip install selenium !pip install webdriver_manager from webdriver_manager.chrome import ChromeDriverManager browser = webdriver.Chrome(ChromeDriverManager().install()) 一緒にがんばりましょう!

  • @user-xx4oo3ke4q

    @user-xx4oo3ke4q

    2 жыл бұрын

    @@ipwdwypg2418 ありがとうございます! なんとかこの前出来ました! ほんと難しくて大変です😭 返信ありがとうございました!

  • @user-ms6fj6rx2j
    @user-ms6fj6rx2j2 жыл бұрын

    Windowsのwebdriverを都度インストールしてブラウザを起動させる 以下についてです。 ---------------------- from webdriver_manager.chrome import ChromeDriverManager browser = webdriver.Chrome(ChromeDriverManager().install()) ---------------------- 上記の一行目のchromeが小文字、2行目のChromeが大文字に なってないと構文エラーになるようでした。 この違いが素人には全然分からないので教えていただけますでしょうか。 ※動画の15分前後の内容の部分です。

  • @2ndRabbit
    @2ndRabbit2 жыл бұрын

    内容見てないけど、顔見て直感でチャンネル登録しましたなう。

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます!!😂

  • @2ndRabbit

    @2ndRabbit

    2 жыл бұрын

    @@imanyu_programming 住んでる世界が違いすぎて遠目で見てますなう😗

  • @aoi1112
    @aoi11123 жыл бұрын

    未経験初心者です。エラーで戸惑っているところも解説頂けたら非常に助かります。(わかっている人には無駄かもしれませんが・・・)チャンネル登録しましたのでこれからも楽しみにしております

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    みなさんが戸惑いそうな部分であれば検討します! チャンネル登録ありがとうございます!!

  • @latimerandrew4066
    @latimerandrew40663 жыл бұрын

    最後にwindowsへの配慮が欠けているのが残念です、大したことではないですが^^)。 browser = webdriver.Chrome('chromedriver.exe', options=options) これは正しいですか?

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    そちらで動けば問題ないかと! もしくあ、 14:46あたりで説明している、ChromeDriverManagerを使用していただければ動くかと!

  • @echo405
    @echo4052 жыл бұрын

    Algorithm leads me to here …. I don’t even speak Japanese nor do python.

  • @user-kz1vg8tj8x
    @user-kz1vg8tj8x10 ай бұрын

    requests で url を アクセス しましたが 画面が 取得出来ません 試しに selenium でも 試して みました 駄目でした 何故でしょうか?

  • @user-pc3py8fx9y
    @user-pc3py8fx9y Жыл бұрын

    53:00 あたりで、 keys = [] for elems_th in elems_th: key = elems_th.text keys.append(key) とすると、 TypeError: 'WebElement' object is not iterable とでてしまいます。このエラーはどのようにすれば解消するでしょうか?

  • @user-oo9kr8iw1u
    @user-oo9kr8iw1u3 жыл бұрын

    自動で動くとか感動しました!! スクレイピングが謎でしたが理解できました(´;ω;`)

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    初めてやったときは私も感動しました!!

  • @masaruogino5096
    @masaruogino50963 жыл бұрын

    基本的なことですいません。Windowsですが、「これ重要」と指摘がある「作業フォルダ」とはどこの何を指しているのでしょうか5分59秒くらいです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    jupyter notebookのファイルが入っているフォルダです

  • @masaruogino5096

    @masaruogino5096

    3 жыл бұрын

    ありがとうございました。

  • @user-wc6vo6oq5s
    @user-wc6vo6oq5s2 жыл бұрын

    ログインしたら Server Error とでてしまいます。

  • @yujiishikawa176
    @yujiishikawa1763 жыл бұрын

    いつもありがとうござます。 本当に助かっております。 初めてのコメントにも関わらず、お願いの内容で恐縮なのですが、 chromedriverのupdataを自動化する動画などがありましたらありがたいです。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    検討します!

  • @yujiishikawa176

    @yujiishikawa176

    3 жыл бұрын

    @@imanyu_programming ご返信ありがとうございます。 まずはデータ集計・分析などルーティーンの業務を自動化できるよう頑張ります。

  • @yujiishikawa176

    @yujiishikawa176

    3 жыл бұрын

    先日は、ご返信ありがとうございました。 自分で調べてみたところ出来る様になったと思いますので、お気遣いなくと存じます。 これからもよろしくお願いします。 ちなみに以下で対応するようにしました。 pip install webdriver_manager from webdriver_manager.chrome import ChromeDriverManager webdriver.Chrome(ChromeDriverManager().install())

  • @user-gn7ek2rw5i
    @user-gn7ek2rw5i3 жыл бұрын

    internet service error と出て、ログインボタンを押すとその先のサイトにアクセスできません。 どうしたらいいですか?教えて下さい!

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    ユーザー名、パスワードが間違っていないか確認してください

  • @user-gn7ek2rw5i

    @user-gn7ek2rw5i

    3 жыл бұрын

    @@imanyu_programming 初歩的なミスでした...大切なお時間ありがとうございました

  • @sekito6904
    @sekito69042 жыл бұрын

    seleniumのバージョンが4.0.0だからかfind_element_by_id()ができないです...

  • @taken5679

    @taken5679

    2 жыл бұрын

    自分も同じです。 そこで学習が止まってしまっています。

  • @brustarm1181

    @brustarm1181

    2 жыл бұрын

    私もですね。。。

  • @user-se4gb8oe5y

    @user-se4gb8oe5y

    Жыл бұрын

    私は、element_password = browser.find_element('name','password') でやりました。id ではなくて名前で指定してみました。

  • @user-ms1tu8ht7k

    @user-ms1tu8ht7k

    Жыл бұрын

    私の場合、find_element(By.ID, " ")でできました。試してみてください。

  • @HK-zl1pq

    @HK-zl1pq

    Жыл бұрын

    ですよね?もぉつかえませんよね?

  • @ji4155
    @ji41552 жыл бұрын

    テスト用のサイトって今もつかえるのでしょうか?

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    使えます!

  • @678housedrink6
    @678housedrink6 Жыл бұрын

    画像がぼけてコードが見えません。

  • @user-xi8jp6fs5b
    @user-xi8jp6fs5b Жыл бұрын

    macの時、windowsの時、windowsでうまくいかない時、のように分岐する部分で、どこまで戻ればいいのかわかりづらい。字幕を付けてほしかった

  • @HK-zl1pq
    @HK-zl1pq Жыл бұрын

    finedエレメントバイが使用できません

  • @user-rd2ws3yy4y
    @user-rd2ws3yy4y6 ай бұрын

    Chrome driverをダウンロードしたんだけど、中にexeファイルなかったんだけどマジでよくわかんない!助けてください

  • @user-bx5ck6ro8e
    @user-bx5ck6ro8e Жыл бұрын

    ログインすると「500 Internal Server Error」が出ます。

  • @user-cb4de9oe3m
    @user-cb4de9oe3m Жыл бұрын

    お使いのPCの環境がわからないです。 私用しているソフト(VScodeとか)プラグインなど、そこからご教示していただくことは可能でしょうか

  • @green2832
    @green28322 жыл бұрын

    動画が分かりやすすぎて、書籍を購入した意味があったのだろうか?と自問自答しています😅

  • @imanyu_programming

    @imanyu_programming

    2 жыл бұрын

    ありがとうございます😆😁🤣

  • @user-ec3re7pr1u
    @user-ec3re7pr1u2 жыл бұрын

    自分用 ヘッドレスモード 33:00

  • @user-jq9dw4bm4m
    @user-jq9dw4bm4m3 жыл бұрын

    elemを使った俺「え!全部自動化できんじゃん!!」 elemsを使った俺「ファーーーー!?(涙」

  • @ajmdp2457
    @ajmdp24573 жыл бұрын

    これ、調べればコード打たなくてもできますよね

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    できるかもですね!

  • @run0508
    @run05082 жыл бұрын

    んー、mac(m1)もwindows どちらも始めからエラーで上手くいきませんでした。これは一旦保留で他の内容に進みます

  • @run0508

    @run0508

    2 жыл бұрын

    windowsの方は解決しました

  • @kaj694
    @kaj694 Жыл бұрын

    find_elements_by_*系メソッドは バージョン4.3.0で廃止されてしまいました.残念....

  • @imanyu_programming

    @imanyu_programming

    Жыл бұрын

    変わりましたね!

  • @kenkenmath
    @kenkenmath3 жыл бұрын

    PILライブラリがなかったが、代わりにPillowが入ってた。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    コメントありがとうございます!! そうです、すいません伝え忘れていたかもしれません、、、、 Pillowであってます!ご指摘ありがとうございます!!!

  • @animalscute5542
    @animalscute55423 жыл бұрын

    Seleniumにてスクレイピングを考えています。 サイトによって下記のコードを使用すると エラーが発生します。 elem = browser.find_element_by_id('name') ※nameはサイトによって変更しています 他サイトではBeautiful Soupでは問題なくスクレイピングできます。 Seleniumではサイトによってスクレイピングは出来ないのでしょうか。

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    どのようなエラーでしょうか。

  • @animalscute5542

    @animalscute5542

    3 жыл бұрын

    エラーについては私のミスでした。 ただ、今後は下記のこと考えています。 seleniumにてログイン・検索キーを入力しBeautifulSoupで目的のページのデータ取得を考えていました。 html = driver.page_source.encode('utf-8') soup = bs(html, 'lxml') にて実行した結果、下記の内容しか取得できない状態です。 サイトによっては上記のコードでデータ取得できるので何が原因か分からない状態です。 ググっても分からない状態だったので質問させて頂きました。

  • @user-dt2ez7qt9v
    @user-dt2ez7qt9v3 жыл бұрын

    5:58頃の作業フォルダexeファイルを入れたいんですが、いくら探しても作業フォルダが見つかりません。作業フォルダを保存してもどこにも見つからないです

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    どういうことでしょうか...?

  • @user-dt2ez7qt9v

    @user-dt2ez7qt9v

    3 жыл бұрын

    @@imanyu_programming 分かりづらくてすみません。Windows使ってて、5:58頃でやられているようにexeファイルを別のフォルダ(作業中のフォルダ)に移そうとしてるんですけど、exeファイルはダウンロードできてるんですけど作業中のフォルダがどこ探しても見当たらなくて...。作業中のフォルダをエクスプローラーの方にダウンロードしたいんですが、どうすればできるんでしょうか。

  • @ptksk1569
    @ptksk15693 жыл бұрын

    13:00 chromeのcが小文字だったり大文字だったりするので、typeerrorが出たら要確認 (30分くらい無駄にした者より)

  • @nopmat7031

    @nopmat7031

    3 жыл бұрын

    注意ですね。僕もそれに慣れません。あとアンダーバー有り無しとかスペース有り無しとか。 お互い功夫を積みましょう!

  • @usejehwikuhehejidjcuruehje

    @usejehwikuhehejidjcuruehje

    2 жыл бұрын

    あざし(同じく😭)

  • @user-hv2ro4ch1l
    @user-hv2ro4ch1l3 жыл бұрын

    いまにゅうさんこんにちはラジです。介護サービス情報公表システムからデータクローリングしたいが要素全然みつけなくて やり方教えてください

  • @imanyu_programming

    @imanyu_programming

    3 жыл бұрын

    個人対応はしておりません!! 自力で頑張ってください!!

  • @user-hv2ro4ch1l

    @user-hv2ro4ch1l

    3 жыл бұрын

    @@imanyu_programming 有り難うございました、

  • @user-oc6kg9hk2m
    @user-oc6kg9hk2m2 жыл бұрын

    サーバーエラーになってる。サンプルのサイト

Келесі