항상 쉽게 알려주셔서 좋아요 저번에 c++도 멤버쉽 가입해서 봤었는데 이분 영상 진짜 좋습니다
@eunjijeong98085 ай бұрын
6:00 저는 이전 영상들을 보면서 RNN구조에서 hidden state와 weight는 개발자가 의도한 개수대로 두었다고 이해했는데요 문장이 길어지면서 gradient가 도달하지 못한다는 점을 잘 이해가 안됩니다. CNN처럼 레이어의 깊이가 깊어지면서 발생하는 gradient vanishing과는 다른것 같고, 어떤 원인에 의한 기울기 문제인지 설명 부탁드려도 될까요? ㅎㅎ
@user-pw9fm4gc7e
5 ай бұрын
rnn은 그 태생적이 구조가 '순차적'입니다. char level이던 token level이던 입력되는 정보가 아주 길면, loss function을 통해 backpropagation을할때 gradient 가 뒤돌아가야하는 길이 아주 깁니다. rnn을 묶어서 표현한 예제와, 풀어서 표현한 그림을 상상했을때, 풀어서 그린 rnn이 아주 긴 경우를 생각하면 됩니다.
@user-nn1dr3gy3f5 ай бұрын
트랜스포머 나올때까지 숨참겠습니다
@user-pw9fm4gc7e
5 ай бұрын
트랜스포머를, 조금더 큰 그림에서 ViT, CLIP, DINOv2으로 자연스럽게 이어지도록 말하고자 하는 부분에서 시간이 조금 걸리고있습니다.
Пікірлер: 5
항상 쉽게 알려주셔서 좋아요 저번에 c++도 멤버쉽 가입해서 봤었는데 이분 영상 진짜 좋습니다
6:00 저는 이전 영상들을 보면서 RNN구조에서 hidden state와 weight는 개발자가 의도한 개수대로 두었다고 이해했는데요 문장이 길어지면서 gradient가 도달하지 못한다는 점을 잘 이해가 안됩니다. CNN처럼 레이어의 깊이가 깊어지면서 발생하는 gradient vanishing과는 다른것 같고, 어떤 원인에 의한 기울기 문제인지 설명 부탁드려도 될까요? ㅎㅎ
@user-pw9fm4gc7e
5 ай бұрын
rnn은 그 태생적이 구조가 '순차적'입니다. char level이던 token level이던 입력되는 정보가 아주 길면, loss function을 통해 backpropagation을할때 gradient 가 뒤돌아가야하는 길이 아주 깁니다. rnn을 묶어서 표현한 예제와, 풀어서 표현한 그림을 상상했을때, 풀어서 그린 rnn이 아주 긴 경우를 생각하면 됩니다.
트랜스포머 나올때까지 숨참겠습니다
@user-pw9fm4gc7e
5 ай бұрын
트랜스포머를, 조금더 큰 그림에서 ViT, CLIP, DINOv2으로 자연스럽게 이어지도록 말하고자 하는 부분에서 시간이 조금 걸리고있습니다.