Yann Lecun 과 더불어 지금의 LLM 은 절대로 AGI 가 될 수 없다는 주장을 펼치고 있는, 그 유명한 KERAS 의 창시자인 François Chollet(프랑소와 솔레).
이 친구가 DWARKESH podcast 에 나와서 또 힘든 인터뷰를 하나 했습니다. 최신의 LLM 들이 단순히 암기한 학습데이터의 사이를 보간(interpolation)하는 것에 불과한 것이고, 인간이 가진 일반수준의 추론능력을 보이려면 이런 문제도 풀수 있어야된다며 가져온 테스트가 ARC 입니다. ARC 는 Abstraction and Reasoning Corpus 의 약자이구요. 추상화 및 추론 데이터셋 정도의 의미를 가지고 있겠네요. 마치 우리가 초등학교때 풀던 IQ테스트, 공간인식 및 추론문제 같이 생겼습니다. 여러분들도 한번 어느정도의 능력이 있는지 한번 풀어보세요. ( arcprize.org/ )
2~3주전에 백만불상금과 함께 출시된 따끈따끈한 테스트인데요, 이미 Agent 방법론을 통해서 42점에 도달한 친구가 있습니다. 그 유명한 GPT-4o 는 9점, Claude Sonnet 3.5 는 21점을 기록중입니다. 이번 에피소드에서는 ARC 테스트를 소개하고, LLM 으로 AGI 가 가능하다는 진영과, 뭔가 완전히 다른 접근이 필요하다는 진영사이의 의견대립에 대해서 한번 이야기를 나누어 보았습니다. 사용된 자료는 아래의 문서에 정리해두었습니다.
erucipe.notion.site/ARC-6ea06...