EP 20. 요즘 나오는 거의 모든 AI 의 기본구조, 트랜스포머 둘러보기
(주의 : 이번 에피소드는 많이 어렵습니다. 트랜스포머(Transformer)에 대해서 어느정도 이해하고 있다고 스스로 자신감 있으신 분 이외에는 시청을 자제해 주시기 바랍니다. ㅠ.ㅠ 구독자가 Deep Learning 기초에 대해서는 어느정도 이해하고 있다는 가정하에 많은 부분이 생략되어 있어서 준비없이 시청하면 깊은 빡침과 자괴감이 몰려 올 수 있습니다. )
요 근래의 모든 AI 는 전부다 '트랜스포머(Transformer)' 라는 인공신경망(Neural Network) 구조를 가지고 있습니다. 이 녀석을 이해하기 위해서는 사실 Logistic Regression 부터 시작해서, 간단한 MLP(Multi-Layer Perceptron), CNN(Convolutional Neural Network), 그리고 RNN(Recurrent Neural Network) 에 이르기까지 소위 Deep Learning 기초과정을 모두 이해하고 있어야 하거든요. 그러고 나서야 비로소 트랜스포머 자체의 구조도 이해가 되고, 그 구조로 인해서 일어나는 다양한 현상들에 대해서 이해를 할 수 있거든요. 이번 영상에서는 트랜스포머 안에서 도대체 어떤 일이 일어나는지를 수박 겉핣기컨셉으로 이야기를 진행해 보았습니다.
AI 의 머릿속에서는 어떤 연산이 일어나는지가 궁금하신 분들은 한번 들어두시면, 추후에 더 깊게 공부하는데 가이드가 되어줄 수 있을 것입니다.
erucipe.notion.site/GPT-720c2...
오늘 비디오에서 사용한 내용물들은 모두 이 링크에 담겨 있는데요, 이 링크에 담긴 내용을 트랜스포머를 깊게 이해하는 자료로 활용하시면 될 것 같습니다. 수많은 트랜스포머 자료중에서 나름의 영양가(?) 기준으로 엄선하였습니다.
Пікірлер: 4
너무 좋았습니다. 사실 선행학습을 하면 이해가 훨씬 편한 부분이 많은 것은 사실이지만, 이것만 계속 반복 시청해도 괜찮을 정도로 잘 설명해 주신 것 같아요. 제 느낌은 사실 어마어마한 차원의 의미의 초공간 사이를 항해해 나가기위한 방향타로 QKV 차원을 활용하되, 이를 반복해서 과거의 스트림을 연결해 가는 residual connection을 통해 잊지 않고 제대로 된 맥락을 생성해내는 것 같다고나 할까요? 적고 보니 제 말도 너무 어렵군요
AI의 머릿속 연산을 보며 인간은 이렇게 되지않을까? 하는 부분은 항상 흥미롭고 재밌는거 같습니다 ㅎㅎ
나 알트만인데 구독 박았다.
좋은 자료들 감사합니다! 공부에 큰 도움이 되겠네요!