臺灣考古館有前後二棟，前棟建於1958 年，是本院南港院址最早的建築之一；後棟則於1968 年起分期增建完成，2008 年進行改建，2012 年7 月竣工。
該館原為考古學門所在地及中原考古文物存儲、陳列處所。1970 年代初期，本所開始蒐藏臺灣考古標本；1980 年以後，考古學門同仁積極展開臺澎金馬及東南亞地區之考古田野調查與發掘，並參與遺址搶救、史蹟調查等，迄今累積了豐碩的考古遺物、田野記錄及研究成果。
該館之建置以支援學術研究為主，設有標本倉庫、工作室、科技考古實驗室等，以便從事考古資料的整理、分類、鑑定、物理與化學分析，以及資料數位化等。此外，為配合各種展示需求，該館亦挑選重要標本支援相關業務，協助社教機構推廣臺灣史前文化教育活動。