[딥러닝 기계번역] 시퀀스 투 시퀀스 + 어텐션 모델

시퀀스 투 시퀀스 + 어텐션 (seq2seq2 + attention)을 활용한 기계번역에 대해 알아봅니다.
주요 개념
1. seq2seq
2. attention
3. teacher forcing
참고자료:
NEURAL MACHINE TRANSLATION
BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
arxiv.org/pdf/1409.0473.pdf
제가 만든 모든 머신러닝 관련 영상은 아래 재생목록에서 쉽게 찾으실 수 있습니다.
• 머신러닝

Пікірлер: 43

  • @jr-iu2cs
    @jr-iu2cs3 жыл бұрын

    내용이 너무 잘 들어오게 강의해주시는 거 같아요! 다른 영상도 챙겨보겠습니다. 감사드립니다~

  • @Angluar
    @Angluar3 жыл бұрын

    빛 그자체입니다 감사합니다

  • @user-iu4cx9sj9v
    @user-iu4cx9sj9v3 жыл бұрын

    좋은 영상 감사드립니다. 대학생 신분에서 도서, 구글, 유튜브 영상으로 딥러닝을 독할할때 RNN 이후 파트에서 부터는 갑자기 높아진 난이도에 이해가 어려웠었는데, 허민석님의 유튜브 강의를 들으면 항상 쉬운 예제로 개념을 확실히 이해시켜주셔서 공부에 도움이 되고 있습니다. 어느 책이나 영상에서도 이렇게 쉬운 예제를 예로 들어 개념을 이해해주면 좋으련만, 많은 책과 영상에서는 논문의 내용을 중점으로 개념만 소개하는 느낌이라 다소 추상적인 느낌이 들었었는데, "i love you" 한 문장으로 이렇게 이해가 쉬울줄은 몰랐습니다. 정말 감사합니다

  • @ron1354
    @ron1354 Жыл бұрын

    정말 감사합니다 ㅠㅠ 모든 영상이 최고입니다

  • @ksjksjgg
    @ksjksjgg2 жыл бұрын

    좋은 내용 감사드립니다. 잘 이해되었습니다.

  • @user-vu5ww4rw9w
    @user-vu5ww4rw9w2 жыл бұрын

    깔끔하네요ㅎㅎ 두고두고 보도록 하겠습니다~

  • @aopt427
    @aopt4273 жыл бұрын

    좋은영상 감사드립니다. 덕분에 이해하는데 많은 도움이 되었습니다. 딥러닝 중에서도 RNN계열이 제일 어려운것 같습니다 ㅎ

  • @sidfje
    @sidfje5 жыл бұрын

    좋은 강의 감사합니다

  • @user-bf8rt1mz4s
    @user-bf8rt1mz4s2 жыл бұрын

    좋은 내용 감사합니다!!

  • @hyunjongkim8415
    @hyunjongkim84152 жыл бұрын

    감사합니다 공부하는데 많은 도움이 되었습니다

  • @abidan88
    @abidan883 жыл бұрын

    많이 배우고 갑니다. 감사합니다!

  • @Qwerty254
    @Qwerty2543 жыл бұрын

    감사합니다 많이 알아갑니다

  • @yejinrhee4576
    @yejinrhee4576 Жыл бұрын

    감사합니다 강의요 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ너무 좋아요 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ

  • @gaussian3750
    @gaussian37503 жыл бұрын

    감사합니다.

  • @user-bu7qp5uv7j
    @user-bu7qp5uv7j3 жыл бұрын

    갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석!

  • @dalnara14
    @dalnara144 жыл бұрын

    강의 너무 좋아요! Lstm만으로는 이전 hidden state 내용을 충분히 유지하기 어려워 어텐션으로 보완하는 건가요?

  • @user-fr8bl3sl3k
    @user-fr8bl3sl3k4 жыл бұрын

    안녕하세요. 좋은 강의 감사합니다. 후반쪽에 나오는 그래프에 대해서 궁금한 점이 있어 질문드립니다. 제가 논문을 봤을 때는 s2s+attention 보다는 기존 rnn과 gru의 성능비교차이에 초점을 두어 그래프를 산출한 것으로 알고 있는데, 그것이 s2s+attention 과 어떤 관계인지 궁금합니다. 감사합니다.

  • @hyunew
    @hyunew3 жыл бұрын

    text to speech관련 논문도 다루어주실수 있으신가요~ ㅎㅎ

  • @user-gn1cm4hm9t
    @user-gn1cm4hm9t3 жыл бұрын

    안녕하세요! 좋은 영상 덕분에 개념 이해가 잘 되었습니다. 감사합니다. 아래 올려주신 코랩 링크로 접속이 현재 안돼는것 같은데 링크 한번 다시 올려주실 수 있을까요?? 감사합니다 : )

  • @user-nc5lj7yg8l
    @user-nc5lj7yg8l3 жыл бұрын

    dot-product 어텐션과 바다나우 어텐션의 차이가 정확하게는 무슨 차이가 있을까요? 그냥, st상태를 사용하느냐, st-1상태를 사용하느냐의 차이인것 같은데, 출력계층의 st는 그렇게 중요하진 않을 수 있으니(?), 좀 더 중요할 수 있는 st-1상태에 더 집중하겠다는 의미일까요? 뭔가 한마디로 설명될 적절한 비유를 못하겠네요. ㅠㅠ

  • @uncle6186
    @uncle61865 жыл бұрын

    잘 보고 있어요. 쓰신 책도 구입했어요.

  • @TheEasyoung

    @TheEasyoung

    5 жыл бұрын

    죠르디Jordy 너무 감사드려요! ^^

  • @clark87

    @clark87

    5 жыл бұрын

    어떤책이지요?

  • @uncle6186

    @uncle6186

    5 жыл бұрын

    Clark 나의 첫 머신러닝/딥러닝

  • @clark87

    @clark87

    5 жыл бұрын

    감사합니다

  • @theoremon7024
    @theoremon70242 жыл бұрын

    쉽게 설명해주셔서 감사합니다. attention weight 값들이 어떻게 매 input 마다 중요도를 나타낼 수 있는 건가요? dh1이 들어갔을때의 attention weight와 dh2이 들어갔을때의 attention weight이 각각의 가장 연관성을 어떻게 알고 나타내 주는 것인지 개념적인 이해가 잘 안가네요. 본래 hidden state 값은 각 값들의 연관성, 중요도를 나타내는 것과 무관한 값이 아닌지요..? 제가 기초적인 부분을 놓친거 같기도한데... 참고할만한 내용 있다면 알려주시면 감사하겠습니다. 본 영상을 통해 어텐션에 대한 개념은 너무 잘 알게 되었습니다. 감사합니다.

  • @user-iz5ef9rb2i
    @user-iz5ef9rb2i3 жыл бұрын

    참고 자료에서 코랩 url 연결이 안되는데 확인해주실수 있으실까요!

  • @oopp5180
    @oopp51803 жыл бұрын

    흠.. 교수한테 아무리 들어도 이해 못하던걸 11분만에 해결됫네 진짜.. 시간도 돈이라 알려주는 분들도 중요하다 생각해요.

  • @hyunew
    @hyunew3 жыл бұрын

    안녕하세요 너무 좋은 강의 감사합니다. 설명을 정말 잘해주셔서 집중이 팍 되고 내용도 쏙쏙 들어오네요. 혹시 제가 ppt이미지 일부를 사용해도 될까요?

  • @TheEasyoung

    @TheEasyoung

    3 жыл бұрын

    출처 밝혀주시고 사용해주시면 됩니다. 감사합니다.

  • @qkrdbcjs1209
    @qkrdbcjs12094 жыл бұрын

    안녕하세요! 좋은 영상 너무 감사드립니다. RNN부터 쭉 공부중인데, seq2seq에서부터 디코더 부분이 약간 이해가 안가 질문 남깁니다. 어떻게 하면 (예를 들어) 디코더 부분에서 불어의 예측으로 영어가 나올 수 있는 건가요? 임베딩을 해서 숫자값으로 바꿔주었기 때문인가요? 감사합니다 :)

  • @TheEasyoung

    @TheEasyoung

    4 жыл бұрын

    번역이라 생각안하고 숫자 계산으로 생각하시면 편할거 같습니다. 학습 데이터의 패턴을 모델이 그대로 학습해서 번역이 가능합니다. 임베딩을 사용했기 때문에 학습 데이터에 없었지만 비슷한 단어로 구성된 문장도 번역이 가능해집니다.

  • @user-sz4op9uv6s
    @user-sz4op9uv6s2 жыл бұрын

    안녕하세요. 영상보다가, 강의 내용이 너무 좋아서 바로 멤버쉽 신청했습니다. 다름이 아니라, 시퀀스 투 시퀀스 + 어텐션 (seq2seq2 + attention) ppt로 사용하신 자료가 안보여서요 ㅎㅎ.. 출처 밝히고 참고용으로만 사용하려고 하는데, 혹시 올려주실 수 있으실까요?

  • @TheEasyoung

    @TheEasyoung

    2 жыл бұрын

    아마 .key 파일로 있을 거예요. 맥에서 만든 자료라서 ppt가 아니라 키노트 파일입니다. 출처 밝히시고 참조용으로 사용하셔도 됩니다. 감사합니다.

  • @Ken-tl2ql
    @Ken-tl2ql5 жыл бұрын

    잘 배우고 갑니다. sebject 는 혹시 subject인가요?

  • @TheEasyoung

    @TheEasyoung

    5 жыл бұрын

    좌절 감사합니다. 오타가 있었네요!

  • @haneulkim4902
    @haneulkim49023 жыл бұрын

    좋은영상 감사합니다. teacher forcing에서 답은 어떻게 가져오는건가요? 애초에 답이 없다면요? 번역 같은경우에도 그럼 애초에 번역본이 있어야 그걸 답으로 사용할수 있는것 아닌가요?

  • @TheEasyoung

    @TheEasyoung

    3 жыл бұрын

    네, 여기 예제로 드린 teacher forcing은 지도학습입니다. 레이블링된 데이터가 없다면 (애초에 답이 없다면) teacher가 가르쳐줄 것이 없기 때문에 불가능합니다.

  • @haneulkim4902

    @haneulkim4902

    3 жыл бұрын

    @@TheEasyoung 아하 그렇군요! 감사합니다 :)

  • @user-wp1de7hl4v
    @user-wp1de7hl4v2 жыл бұрын

    안녕하세요 좋은영상 감사드립니다. 혹시 영상속 ppt 파일 공유하시고 있나요 ??

  • @TheEasyoung

    @TheEasyoung

    2 жыл бұрын

    커뮤니티 회원님들에게만 읽기모드로만 공유하고 있어요. 다운로드는 불가합니다. 감사합니다!

Келесі