Mustafa Kemal Atatürk'ün isteği üzerine Ankara'da bir Hitit müzesi kurulmasına yönelik ilk girişim; 1921 yılında, dönemin Hars Müdürü Mübarek Galip Bey ve Maarif Vekili Hamdullah Suphi Tanrıöver tarafından başlatıldı. O döneme kadar Augustus Tapınağı ve Roma Hamamı gibi arkeolojik alanlarda çeşitli kalıntılar ele geçirilip depolandıysa da mevcut tarihi eserlerin ilk defa kapsamlı ve düzenli bir şekilde korunması, 1 Ekim 1921 tarihinde Akkale'de açılan "Eti Müzesi" veya diğer adıyla "Asar-ı Atika Müzesi" sayesinde oldu. Böylelikle, ileride Anadolu Medeniyetleri Müzesi adını alacak ve dünyanın en kapsamlı Anadolu uygarlıkları müzesine dönüşecek olan bir kurumun temelleri atılmış oldu.
Fakat bu müze öylesine küçük bir alanda kurulmuştu ki, kısa bir süre sonra envanterdeki eserlerin muhafaza edilebileceği daha geniş bir alana olan gereksinim arttı. Bir dönem bu müzenin müdürlüğünü üstlenen Remzi Oğuz Arık'a göreyse; Ankara Kalesi'ndeki bu müze, bir müze olmaktan çok düzene konmuş bir depo görünümündeydi. Ayrıca; müzenin koleksiyonu o yıllarda halka değil, sadece tarih alanında çalışmalar yürüten bilim insanlarına açıktı. Bu kısıtlı koşullar altında müzenin daha fazla idare edilemeyeceğine kanaat getiren dönemin Hars Müdürü Hamit Zübeyir Koşay; 1936 yılında Ankara Kalesi’nin güneydoğusunda ve metruk bir hâlde bulunan Mahmut Paşa Bedesteni ile Kurşunlu Han’ın onarılarak müzenin yeni binası olarak kullanılmasını teklif etti. Bu fikrin kabul görmesi üzerine Maarif Vekili Saffet Arıkan devreye girerek bu yapıların bakanlık bünyesine geçirilmesini sağladı ve böylece 1938 yılında başlayıp 1968'e kadar devam edecek olan uzun bir restorasyon çalışmasına başlandı. 1940'ta, henüz yenileme çalışmaları devam ederken, bedestene ait bir bölümün onarımı hızlıca tamamlanarak Akkale'deki eserler Alman Hititolog Hans Gustav Güterbock'un başkanlığında bir heyet tarafından buraya taşındı. 1943 senesinde ise müzenin ilk bölümü tamamen ziyarete açıldı. O sıralarda Ankara Üniversitesi Dil ve Tarih-Coğrafya Fakültesi'nde öğretim üyesi olarak görev yapan Güterbock ayrıca Alacahöyük, Kargamış, Sakçagözü, Malatya ve Cerablus'tan çıkartılan eserlerin de restorasyon ve teşhire hazırlık işlerini üstlenmiştir. 1948 yılına gelindiğinde ise Kurşunlu Han'da devam eden yenileme çalışmaları büyük ölçüde tamamlanmıştı ve müze müdürlüğü Akkale'nin depo olarak kullanılıp geri kalan bütün eserlerin bundan böyle burada sergilenmesine karar verdi. Müzenin bugünkü adını alarak kurumsal anlamda son haline ulaşması ise 1968'de gerçekleşti.
Günümüzde Mahmut Paşa Bedesteni ve Kurşunlu Han'ın büyük bir kısmı teşhir salonu olarak kullanılmakta; hanın bodrum katındaki ahır kısmı ise depo görevi görmektedir. Müze bünyesinde ayrıca kütüphane, fotoğraf ve restorasyon atölyeleri, konferans salonu, laboratuvar ve araştırmacı odaları bulunur. Tarih öncesi çağlardan başlayarak günümüze kadar Anadolu topraklarında medeniyet kurmuş topluluklara ve halklara ait eserlerin kronolojik bir sıra ile sergilendiği ve bu yönüyle dünyanın sayılı müzeleri arasında yer alan Anadolu Medeniyetleri Müzesi; Avrupa Konseyi’ne bağlı Avrupa Müze Forumu (European Museum Forum 24 Mayıs 2022 tarihinde Wayback Machine sitesinde arşivlendi.) tarafından verilmekte olan Avrupa Yılın Müzesi Ödülü’nü 19 Nisan 1997 tarihinde İsviçre’nin Lozan kentinde 68 müze arasından birinci seçilerek almış ve Türkiye’de bu ödülü kazanan ilk müze olmuştur.