It was too amazing to let AI learn Super Mario Bros. 1-2【Reinforcement Learning】

Ғылым және технология

過去動画の面白いネタを集めた本を出版しました!
【Amazon】www.amazon.co.jp/dp/404605736X/
Twitter: / physicskj
Instagram: / physicskj
Twitter ID:@PhysicsKJ
【ゲームチャンネル】
/ @ko-ji_vt
【サブチャンネル】
/ @ko-ji2
こーじ公式LINE友達追加はこちら:lin.ee/GG4tG0n
主にタイムラインに緩い動画を不定期で挙げます。
再生リスト
・物理エンジン: • 【物理エンジン】高速移動したらサッカーゴール...
使用ソフト
・Unity(メイン)
・Blender(3Dモデリング)
・Tinkercad(3Dモデリング)
・Mixamo(アニメーション)
・Axis Neuron(モーションキャプチャー)
よく使用させて頂いている音源
MusMus:musmus.main.jp/
Music is VFR:musicisvfr.com/
フリー効果音 On-Jin ~音人~:on-jin.com
効果音ラボ:soundeffect-lab.info/
フリーBGM DOVA-SYNDROME:dova-s.jp/
#物理エンジンこーじ #こーじ

Пікірлер: 462

  • @user-xd6kp8qt4i
    @user-xd6kp8qt4i3 жыл бұрын

    2:58 しょぼんのアクションしたあとのマリオ

  • @user-uk5jk8zx9i

    @user-uk5jk8zx9i

    3 жыл бұрын

    警戒しすぎで草

  • @JIRO1979
    @JIRO19793 жыл бұрын

    1-2からワープするのが当たり前になりすぎて、1-3が思い出せない件。

  • @Shika_no_082

    @Shika_no_082

    3 жыл бұрын

    そして最近のマリオの感覚で木の地面を下から上に行けると思ってしまって落っこちるところまで経験済み

  • @drr5959

    @drr5959

    3 жыл бұрын

    キノコ足場の空でリフトが左右上下に動いてマリオメーカー3DSで収録されたステージ

  • @user-fv4fi8du4t
    @user-fv4fi8du4t3 жыл бұрын

    観察するような感覚でゲームを見れる唯一のチャンネル

  • @saitama-1467

    @saitama-1467

    3 жыл бұрын

    わかりみ

  • @user-rt2vw9xn8f
    @user-rt2vw9xn8f3 жыл бұрын

    500万ステップ学習後とかの動き、若干TAS感があって好き

  • @user-we4po8ko4v
    @user-we4po8ko4v3 жыл бұрын

    6:32 辺りの無駄なジャンプが人間らしくて面白い

  • @Amaguri1229
    @Amaguri12293 жыл бұрын

    しっかりと点を取るために敵同時撃破してるの最高

  • @user-mj5fq1mh2o
    @user-mj5fq1mh2o3 жыл бұрын

    超魔界村で学習させるのも面白そう!

  • @user-ml7jt1dc4r

    @user-ml7jt1dc4r

    3 жыл бұрын

    やってほしいw

  • @XD-lj5ze

    @XD-lj5ze

    3 жыл бұрын

    700万回くらいいるんやない?() お前を消す方法思い出した

  • @nakawa2088

    @nakawa2088

    3 жыл бұрын

    ロックマンでボス倒せるか見てみたい

  • @Tsubac-

    @Tsubac-

    3 жыл бұрын

    これは見たい!笑

  • @user-lq7rh2bs1u

    @user-lq7rh2bs1u

    3 жыл бұрын

    超魔界村を再現させるのがすごく大変そう。

  • @nabe5071
    @nabe50713 жыл бұрын

    本家と同じく得点の概念も入れてほしい! ・ブロックを壊して得点 ・敵を踏んで得点→連続で踏んだら得点が倍 ・ポールの上にタッチするほど高得点 ・残りタイムで加点 この条件で何点でクリアできるようになるのかが見てみたいです!

  • @dma1010
    @dma10103 жыл бұрын

    学習が進むごとに明らかに効率的になってて見てて気持ちいい

  • @user-vg7zv4vd5q

    @user-vg7zv4vd5q

    7 ай бұрын

    M 😊

  • @ko-ji
    @ko-ji3 жыл бұрын

    1-1面の動画はこちら kzread.info/dash/bejne/f2dh2KuhZMuTZ6w.html

  • @hisa_N_

    @hisa_N_

    3 жыл бұрын

    見ます

  • @kohsmm2

    @kohsmm2

    3 жыл бұрын

    お~

  • @user-jf9dl5ek3j

    @user-jf9dl5ek3j

    3 жыл бұрын

    懐かしい

  • @chokominto83
    @chokominto833 жыл бұрын

    お久しぶりです!AIの強化学習好きです

  • @hisa_N_
    @hisa_N_3 жыл бұрын

    3:41 そのうちすり抜けそう(小並感)

  • @user-vz9uk1sd1b

    @user-vz9uk1sd1b

    3 жыл бұрын

    てー♪

  • @user-fn5lq3go2n
    @user-fn5lq3go2n3 жыл бұрын

    人工知能って自分で判断して学習するのもすごいけど、そうなるように作った人も相当すごい! これから色んな場面でAIが活躍するんだろうな

  • @yakki-691
    @yakki-6913 жыл бұрын

    土管を飛び越える所辺りスピード感があって3段ジャンプみたいだった

  • @gphryne9330
    @gphryne93303 жыл бұрын

    AIが数百万回試行して習得する操作をその日のうちに習得できる人間ってすごいんだなと思った

  • @user-sp1mg8sn7x

    @user-sp1mg8sn7x

    Жыл бұрын

    まあただ人口知能は多重影分身学習ができますからね 数百万回の試行を一瞬でこなせるようになった時すごいことになる

  • @masshi20
    @masshi203 жыл бұрын

    敵を踏んだ反動でジャンプできるってところもしっかり学習してるのやべぇ

  • @imacosmo713
    @imacosmo7133 жыл бұрын

    この学習方法で1-1またやってみてほしい

  • @user-lo8yc5tl7y
    @user-lo8yc5tl7y3 жыл бұрын

    ブロック破壊をするたびに、負の報酬(極微小)を与えると「破壊活動が収まり敵を待ってから動く」のか「気にせず破壊してスピードクリアする」のか気になります。 個人的には、両方試してから「こっちが多く報酬がもらえる」とaiが考察してほしい

  • @JR-ev4ui

    @JR-ev4ui

    3 жыл бұрын

    そのブロック破壊した時の負の報酬の量によって決まりそう

  • @foreverboys1453
    @foreverboys14533 жыл бұрын

    待ってました!!

  • @user-et7mc6cy6f
    @user-et7mc6cy6f3 жыл бұрын

    強化学習型のテトリスAIも見てみたいです

  • @iam2480
    @iam24803 жыл бұрын

    常人にはクリア不可能みたいなゲームを強化学習でクリアしてるのを見たいなw

  • @user-ok8nt2jz3v

    @user-ok8nt2jz3v

    3 жыл бұрын

    たけしの挑戦状

  • @sonic-bn4bt

    @sonic-bn4bt

    3 жыл бұрын

    改造マリオ

  • @名前未設定150人目標

    @名前未設定150人目標

    2 жыл бұрын

    @@sonic-bn4bt あれはまだ行ける

  • @SH-UK030
    @SH-UK0304 ай бұрын

    素晴らしい研究

  • @mandarinorangemikan
    @mandarinorangemikan3 жыл бұрын

    ついに、配管工も AI に取って代わる職業になってしまったんですね これも時代ですかね...

  • @user-gg4dg8ii2p
    @user-gg4dg8ii2p3 жыл бұрын

    シューティングゲーム系はすごいのが出来そう

  • @user-pe6wf3ri3s

    @user-pe6wf3ri3s

    3 жыл бұрын

    2Dも3Dも見てみたい

  • @user-vd6jz7fk7o

    @user-vd6jz7fk7o

    3 жыл бұрын

    某弾幕ゲームとか

  • @ZeraroraSan
    @ZeraroraSan3 жыл бұрын

    次はクッパ戦ですね!(鬼畜)

  • @ray00000

    @ray00000

    3 жыл бұрын

    それは草

  • @user-ti3op8yu2t

    @user-ti3op8yu2t

    3 жыл бұрын

    まずクッパ作るのがむずそうw

  • @NT-zf8dx

    @NT-zf8dx

    3 жыл бұрын

    @@user-ti3op8yu2t 棒読みちゃんでいいのでは

  • @user-ml7jt1dc4r

    @user-ml7jt1dc4r

    3 жыл бұрын

    @@NT-zf8dx システム面の話では?

  • @user-gs1px1cf5f
    @user-gs1px1cf5f3 жыл бұрын

    東方みたいな避ける系のシューティングゲームでできたら見応えありそう

  • @atomic-senn

    @atomic-senn

    3 жыл бұрын

    たしかに

  • @user-dc4du4cr6p
    @user-dc4du4cr6p3 жыл бұрын

    7:12位からの別視点カメラのこーじ、頭ポヨポヨしててジワる

  • @Gold_Dynamo_Roller
    @Gold_Dynamo_Roller2 жыл бұрын

    土管の間の敵をわざわざ踏んで進むところ好き

  • @susiexgood
    @susiexgood3 жыл бұрын

    この時を待っていたぞこーずぃ

  • @mk.mercury
    @mk.mercury3 жыл бұрын

    凄いですね! カメラ画像での学習でも、戻ったり少しまったり、ジャンプの微調整したりもするようになるんですね。 こういう報酬にしたら上手くいかなかった、とか、センサーでやると上手くいかなかった、みたいな話はいろんなアプローチが知れるので失敗も話して貰えるのは楽しいな、って思います!

  • @user-gz6mr6di5j
    @user-gz6mr6di5j3 жыл бұрын

    今回も楽しませていただきました。次回はエキサイトバイクとか見てみたいす。

  • @NS-tb6dy
    @NS-tb6dy3 жыл бұрын

    この学習をしたものを別のステージで適用したらどのくらいのもんなのか気になります。

  • @user-wk7hw3yq3y
    @user-wk7hw3yq3y3 жыл бұрын

    途中からTASのRTAみたいな動きになるの好き。

  • @user-fh4oq4vd1v
    @user-fh4oq4vd1v3 жыл бұрын

    ジャンプ回数やブロック破壊回数が少ないほど報酬が多くなれば スムーズな攻略するようになるのかな?

  • @hayami_maguro

    @hayami_maguro

    3 жыл бұрын

    3:11 無駄なジャンプを減らすようにジャンプしたら微小の罰が設定されていますが確かにもう少し値が大きくてもいいかもしれませんね

  • @user-zj4mc7wf1h
    @user-zj4mc7wf1h3 жыл бұрын

    かなりするのは難しいでしょうけどダクソの強化学習を見れたら最高ですね

  • @user-bx9cc2gy5g
    @user-bx9cc2gy5g3 жыл бұрын

    す、すごい!アクションゲームを学習しているっ!! まったくのノーヒントから一つ一つ積み上げての学習だから 人間のプレイヤーがやるような推測と飛躍がないかわりに途方もない回数の試行を繰り返してクリアしている! 移動、移動量の調整、ルート選定、タイミングを計り、回避、踏みつけ…… これだけの要素があるというのに、それぞれを理解しているわけでもなく最適化されているっ! こんな面白い事があるんだ!強化学習ってすんごい!

  • @finkfiction
    @finkfiction3 жыл бұрын

    色んなステージで学習させたAIが全く新しいステージをクリアできるのかとか面白そうですね

  • @one2832
    @one2832 Жыл бұрын

    画面の画像から学習できるとかすごく人間に近づいてる

  • @user-ye9cb3rg6g
    @user-ye9cb3rg6g3 жыл бұрын

    3:12 敵を倒した時の報酬を無くせば最速クリアしようとするんですかね…?

  • @MK-nw7jy

    @MK-nw7jy

    3 жыл бұрын

    1フレーム毎の罰を増やしても良いかと思いますね。

  • @user-ss5wl8ub2r

    @user-ss5wl8ub2r

    3 жыл бұрын

    早くクリアすればするほど報酬...とか?

  • @user-ye9cb3rg6g

    @user-ye9cb3rg6g

    3 жыл бұрын

    @@user-ss5wl8ub2r 上から4行目見てみ

  • @user-bk3sb6ij4g

    @user-bk3sb6ij4g

    3 жыл бұрын

    無駄なジャンプ減らせるように、ジャンプしたら罰/ブロック壊せたら報酬/敵を踏んだら報酬とかも面白そうだな

  • @Akita_ken2236

    @Akita_ken2236

    3 жыл бұрын

    @@user-bk3sb6ij4g そしたら初期段階で困惑し始めるのでは?ジャンプは必須動作なので

  • @ゆうspl
    @ゆうspl3 жыл бұрын

    学習した個体で何面まで進めるかやってみて欲しいです。残機付けちゃうと無理そうなのでとりあえず今回と同じルールで何回もくりかえせる形にした方が良さそうですかね

  • @skyouya.8998
    @skyouya.89983 жыл бұрын

    うぽつ 動画面白かったです

  • @user-dz7dg9hl8x
    @user-dz7dg9hl8x3 жыл бұрын

    アフロじゃなかったら死んでそう

  • @user-cc5wx7np5n
    @user-cc5wx7np5n3 жыл бұрын

    ツムツムとかテトリスとかのパズルゲーム学習させるの面白そう!

  • @tt-lg3ck
    @tt-lg3ck3 жыл бұрын

    強化学習大好きだなw いつか生成モデルも試してほしい

  • @user-vn1zl7fe3s
    @user-vn1zl7fe3s3 жыл бұрын

    こういうのがこーじって感じして好き

  • @Sango_ch_coral
    @Sango_ch_coral3 жыл бұрын

    うぽつです! マリオ2とか、難しいステージも見てみたいですね〜 あ、水中も面白そうですね!!

  • @homu7369
    @homu73693 жыл бұрын

    最初クリアできるかも怪しいのに最後RTAみたいな動きしてるの草 TAの理想ルート取りをこうやって探す時代も遠くなさそう

  • @ihsubad69
    @ihsubad693 жыл бұрын

    AIを学習させる方法を学習していく主の成長が一番の伸び代。

  • @user-um3zg6gy9e
    @user-um3zg6gy9e3 жыл бұрын

    格闘ゲームをAIで強化学習したら 各キャラに対応して挙動が変わるのかなぁ

  • @user-jv2zk9jz6x
    @user-jv2zk9jz6x3 жыл бұрын

    初代ロックマンのイエローデビルの攻撃(分離→合体)を、AIがどのように成長してかわすのか見てみたいです🤗

  • @arm7221
    @arm72213 жыл бұрын

    ばりばり壁破壊しながら進むの面白かった。もっと難しいアクションのも見てみたい。 アクションじゃないけどアモングアスとかもAIにできるのかな

  • @kazutohagura4976
    @kazutohagura49762 жыл бұрын

    すごーい! このやり方で1-1再挑戦 からの比較って、 動画に出来ませんか?

  • @ku5187
    @ku51873 жыл бұрын

    クッパステージの正解とおらないと進めないステージとかって学習で何とかできるんですかね?

  • @kom846
    @kom8463 жыл бұрын

    今度ダッシュも入れて欲しいです!笑

  • @fridericusgauss
    @fridericusgauss3 жыл бұрын

    今回は画像情報(恐らくCNNベースを使ってる?)にしたんですね。 恐らくレーザーで認知する方法だと、エージェントが認識する範囲が局所的過ぎるのに、移動に伴って激しく情報が変化するので、その場その場で反応してピクピク動くのだと想像します。 一方、画像全体だと、行動の後の穴や敵の位置など、広い範囲で認識できるので、より賢い動作に見えるようになったのだと思います。 また、画像認識は強化学習同様にかなり進歩してるので、大変良い組合せだと思います。

  • @soarsmama7636
    @soarsmama7636 Жыл бұрын

    5:21 嬉しそう

  • @accel.6384
    @accel.63842 жыл бұрын

    3:25で「何人かで一緒に学習して知見を共有したり」ってあるんですけどどうやって共有してるんですかー いまこーじさんの影響で機械学習を勉強しているので教えていただけるとうれしいです

  • @tmkz-tomokazu
    @tmkz-tomokazu3 жыл бұрын

    1ジャンプ2キルしてる辺り そこそこゲームが上手い人がプレイしてる様に錯覚した しかも多分あんまり操作性良くない中でこれは凄い

  • @chun37
    @chun373 жыл бұрын

    強化学習のやり方とか解説して欲しいです!

  • @GO-yb3fi
    @GO-yb3fi3 жыл бұрын

    天才ですね

  • @user-br3nk5tm6h
    @user-br3nk5tm6h3 жыл бұрын

    FCテニスとかゴルフ(マリオゴルフ含む)みたいなのも楽しそうですね。今でも遊びたい一品。

  • @user-ml8vl5st4q
    @user-ml8vl5st4q2 жыл бұрын

    素晴らしい! 前に魔界村1面クリアに挑戦しましたがうまく行きませんでした。。ぜひ挑戦していただきたいです。

  • @icebo08
    @icebo083 жыл бұрын

    パックマンの強化学習気になります….!

  • @purim_sakamoto
    @purim_sakamoto3 жыл бұрын

    有名ゲームはわかりやすくていいですね おもしろかった

  • @suou7938
    @suou79383 жыл бұрын

    クリア可能な範囲でランダムにマップ変えたらどれくらい対応できるんだろう。

  • @yoshikana1882
    @yoshikana18823 жыл бұрын

    横シュー(STG)みたいな、敵の弾を避けつつ倒す様なゲームを学習させてみて欲しいです 弾幕ゲーとかも面白そうですね

  • @setunakuonn
    @setunakuonn3 жыл бұрын

    しょぼんのアクションみたいに最適解の動きをすると確定でトラップが仕掛けてある場合はどんな反応するか

  • @yuukanmuri1358
    @yuukanmuri13583 жыл бұрын

    ひたすらにブロック壊してスペース作りしてたのでブロック破壊を最小限に抑えてクリアする姿もみてみたいです!

  • @Zenius-I-vanisher
    @Zenius-I-vanisher3 жыл бұрын

    2ブロック同時に破壊するAI凄すぎ

  • @user-et1we1rs4t
    @user-et1we1rs4t3 жыл бұрын

    レースゲームの学習を見たいな。 実際の自動運転と違う所が有るなら、違う所の解説とかも聞きたい。

  • @enikaita_mochi
    @enikaita_mochi3 жыл бұрын

    是非、8-4を学習するところを見てみたいです。 あの、迷路のような構造をどうやってクリアしていくかが見てみたい。

  • @user-or4ts7mb7p
    @user-or4ts7mb7p3 жыл бұрын

    【リクエスト】8-4もクリアさせてみてほしいです。(ファイアーバーの攻略方法が気になるため)

  • @user-su6mg4xh3g
    @user-su6mg4xh3g3 жыл бұрын

    複数プレイヤーがいて踏んだら倒せるとかの環境で学習してレースとかさせたらどうなるんだろうと思った おもしろい!

  • @Tykyyyye
    @Tykyyyye3 жыл бұрын

    この学習法でしょぼんのアクションとかできたらすごいですよね!挑戦お願いします笑

  • @user-hx9jh8yu7r
    @user-hx9jh8yu7r3 жыл бұрын

    ストリートファイターみたいな2D格ゲーでAI同士で戦わせてみて欲しい

  • @Otto99874
    @Otto998742 жыл бұрын

    今回の学習後パラメータで別ステージがクリア出来るのかが気になります。

  • @bjnes97
    @bjnes973 жыл бұрын

    タワーディフェンス系のゲームで最適解を教えてくれるAIが見てみたい。

  • @nikomi-888miso
    @nikomi-888miso2 жыл бұрын

    シューティングゲームとか楽しそう

  • @GkakuYouTube
    @GkakuYouTube3 жыл бұрын

    量子コンピュータとかが普及したらAIの学習速度も上がるんだろうなぁ

  • @kengames6369
    @kengames63692 жыл бұрын

    カップヘッドのAI学習見てみたい🤤 すげーむずそー

  • @user-fy9go5nn9j
    @user-fy9go5nn9j3 жыл бұрын

    スーパーキノコやフラワー、テンコインブロック等ケチをつければキリがないけどこれは素晴らしいです

  • @kocolable
    @kocolable3 жыл бұрын

    AIのゲーム挑戦面白い!色んなゲームでやって欲しい!

  • @user-re6oc2kt8m
    @user-re6oc2kt8m3 жыл бұрын

    横幅が短い足場が進行方向に動くタイプのステージでやってみてほしいです…!!

  • @user-rv9qt9vv3q
    @user-rv9qt9vv3q2 жыл бұрын

    こりゃあ色々職業が奪われそうだわ笑

  • @user-er4wk4en5g
    @user-er4wk4en5g3 жыл бұрын

    初代星のカービィとかどうでしょうか?初代はコピー能力がないので行けそうな気がします。 (吸い込みの概念が難しいかな?)

  • @tomas1255
    @tomas12553 жыл бұрын

    ファミコンにあった、ルート16ターボいけないでしょうか!

  • @user-oh3je4oy4p
    @user-oh3je4oy4p2 жыл бұрын

    こーじさんはどうやってAIに学習させてるんでしょうか? Python等のプログラミングでやってる?それともプログラムの知識がなくとも学習させることができるツールがある?

  • @user-gr8dc8wu8x
    @user-gr8dc8wu8x3 жыл бұрын

    東方projectの恋符「マスタースパーク」を物理エンジンで再現って出来ますかね?

  • @user-bk9xh6gi7k
    @user-bk9xh6gi7k3 жыл бұрын

    ロードランナーとかドアドアとか面白そう

  • @user-gh2wo4ld6s
    @user-gh2wo4ld6s3 жыл бұрын

    フレームごとの罰、ジャンプの罰、敵を倒した報酬辺りの比重は変えたら挙動が大きく違いそうですね

  • @user-ob3ts9bx1t
    @user-ob3ts9bx1t3 жыл бұрын

    スペランカー見てみたい ほんの僅かな坂でも落下死するのをAImどう乗り越えるのか

  • @ginrin51

    @ginrin51

    3 жыл бұрын

    これ!

  • @user-yn6zh7gr5u

    @user-yn6zh7gr5u

    3 жыл бұрын

    言おうと思ったらもうコメントあった。 これ、お願いします

  • @rleaf8087
    @rleaf80873 жыл бұрын

    上を壊せるようにしたら、何回くらいで安定して上に行くようになるんだろうか

  • @Crusader-G-G-E
    @Crusader-G-G-E3 жыл бұрын

    スペランカーは出来ますか?強化学習AIもブチ切れる難しさなのか、強化学習なら2Dゲームはなんでもクリア出来るのかを見てみたいです。

  • @mtsmts3996
    @mtsmts39963 жыл бұрын

    初期のマリオブラザーズをAI2P同時はどうでしょう。AIがそれぞれ協力したり邪魔したりするんでしょうかね?

  • @user-jn7gq5up6g
    @user-jn7gq5up6g3 жыл бұрын

    アグレッシブすぎるw

  • @karimori0041
    @karimori00413 жыл бұрын

    fpsシューティングのゲームとか覚えさせても面白そう。

  • @-singer-6830
    @-singer-68303 жыл бұрын

    AIにマリオメーカーの難しい学習させてみたいですね あと、マリオメーカーでギリギリクリアできる難しいステージ作って欲しいですね

  • @reareast6626
    @reareast66263 жыл бұрын

    将来的にFPSや横スクロールシューティングゲームとかやってみてほしいです

  • @Skyla1207
    @Skyla12072 жыл бұрын

    ロックマンのステージ攻略してみて欲しいなぁ。消えたりするブロックとか動く足場を突破出来るのか気になる

  • @user-fi1mp6bo5p
    @user-fi1mp6bo5p3 жыл бұрын

    これ天井のブロックも破壊できるようにしたら天井駆け抜けるように学習したりするんだろうか?

  • @yusei527

    @yusei527

    3 жыл бұрын

    それも試してみたいですね! 強化学習では、エージェント(アフロの方)が探索とそれによる経験に基づいて報酬が最大化されるような行動をとるので、まず少なくとも一度上に上がってみる必要がありますね。 そのルートの方が下で敵を倒して進む(ちょっと報酬がもらえる)より報酬が高くなるなら、すぐさま上に上がって一直線に進むようになりますよね笑

Келесі