本所成立於1928年。是年初，大學院中央研究院籌備委員傅斯年向大學院院長蔡元培建議設置歷史語言研究所。3月，本院於廣州中山大學籌設歷史語言研究所，聘傅斯年、顧頡剛、楊振聲三人為常務籌備員。7月，正式成立，由傅斯年代行所長職務。10月22日遷入廣州柏園，始有獨立所址，後經議定，以此日為本所所慶紀念日。
初在廣州，分設史料、漢語、文籍考訂、民間文藝、漢字、考古、人類學及民物學、敦煌材料研究等八組。1929年遷北平，將原設八組歸併為三個學術組，一為歷史學組，從事史學及文籍考訂；二為語言學組，從事語言學及民間藝文；三為考古學組，從事考古學、人類學及民物學，並分別聘請陳寅恪、趙元任、李濟為一、二、三組主任。九一八事變（1931）後由北平遷上海。1934年，本院在南京之建築陸續竣工，本所亦由上海遷至南京。同年5月增設人類學組。
中日戰爭期間，本所先遷湖南長沙，繼遷雲南昆明，最後定居於四川南溪縣李莊之板栗坳。1946年遷回南京，繼續推動各項研究工作，並接收北平東方文化研究所及近代科學圖書館圖書，成立「北平圖書史料整理處」。1948年冬，時局突變，本所在傅斯年所長主持下，將人員、圖書、標本、文物等由南京遷臺，設臨時所址於桃園縣楊梅鎮。1954年春，隨本院定居南港現址。隨著時局穩定與臺灣經濟成長，本所規模得以日漸擴充。1955年，有研究大樓及倉庫各一幢；1958年，興建考古館，1968年開始分期增建考古館後幢；1961年傅斯年圖書館落成，1978年擴建第二棟書庫，1989年又增建第三棟。1986年，歷史文物陳列館正式啟用。1994年，研究大樓竣工。本所建築乃呈現今日規模。
定居南港後，本所建制亦有所調整。1958年增設甲骨文研究室，1990年易名為文字學組。另有三館，分別收藏本所重要圖書和文物，即傅斯年圖書館、歷史文物陳列館以及臺灣考古館。1995年起，為推動群體研究，設置專題研究室，以匯聚所內、外研究人力和資源，並依實際運作情況重組或增減。目前計有文化思想史、制度與社會、臺灣與東南亞考古學、文物圖象、生命醫療史、禮俗宗教、世界史、數位人文學等八個研究室。另外，先後設有明清檔案、漢籍全文資料庫、金文、安陽四個工作室；以及科技考古、文物維護二個實驗室。1997年，語言學組成立語言學研究所籌備處，本所名稱維持不變，分為歷史學、考古學、人類學和文字學四組。2003年配合院方廢組政策，改「組」為「學門」，學門設召集人，負責相關同仁的人事、行政、學術方面的領導工作。此外，為統籌本所歷年蒐藏之檔案文書，結合數位資源並加強館際交流，於2014年設立檔案館。（請參看「組織架構圖」）