LLAMA-3, QWEN 에 이어서 최근에 Google 에서 공개한 GEMMA-2 까지.
최근에 발표되는 소형의 오픈소스 모델들의 성능이 OpenAI 의 GPT-4 보다 더 좋은 벤치마크 성능을 보이는 경우가 심심찮게 보입니다. 9B 파라미터 크기를 가진 나름 초소형 모델이 1800B 크기의 GPT-4 보다 성능이 좋을 수 있다? 무려 크기 차이가 200배나 나는데 말이죠.
데이터셋의 크기/품질이 개선되었고, 더 많은 Compute 을 투입하면 투입할수록 작은 모델의 성능이 끊임없이 올라가고 있습니다. 작은 모델 역시 아직 훈련이 덜 되어 있다(under-trained)라는 말이 나올 정도로 소형모델의 성능이 증가하는 이유는 무엇일까요? 이 현상을 GROKKING 이라고 표현하는데요, 오늘은 이 내용을 살펴봤습니다.
9B 짜리 모델이면 오늘 당장 16GB 메모리를 가진 맥북프로에서도 쾌적하게 돌릴 수 있는 정도의 크기입니다. 이런 추세가 지속되다 보면 어쩌면 맥북프로에서 AGI 가 돌수도 있는 날이 올수도 있습니다. 우리가 생각하는 것보다 intelligence 의 본질은 간단하고, 인간은 하찮은 존재일 수도 있을 것 같습니다 ㅠ.ㅠ
본 동영상에서 주로 살펴본 논문은 arxiv.org/abs/2405.15071 입니다.
--
(2024-07-08 update)
Chinchilla Optimum 에 대해서 잘못된 내용이 있어서 바로 잡고 본문 내용을 수정했습니다.
/ pfbid029tkpkppyogbjqg3...