本所成立於1928年。是年初，大學院中央研究院籌備委員傅斯年向大學院院長蔡元培建議設置歷史語言研究所。3月，本院於廣州中山大學籌設歷史語言研究所，聘傅斯年、顧頡剛、楊振聲三人為常務籌備員。7月，正式成立，由傅斯年代行所長職務。10月22日遷入廣州柏園，始有獨立所址，後經議定，以此日為本所所慶紀念日。

　　初在廣州，分設史料、漢語、文籍考訂、民間文藝、漢字、考古、人類學及民物學、敦煌材料研究等八組。1929年遷北平，將原設八組歸併為三個學術組，一為歷史學組，從事史學及文籍考訂；二為語言學組，從事語言學及民間藝文；三為考古學組，從事考古學、人類學及民物學，並分別聘請陳寅恪、趙元任、李濟為一、二、三組主任。九一八事變 （1931）後由北平遷上海。1934年，本院在南京之建築陸續竣工，本所亦由上海遷至南京。同年5月增設人類學組。

　　定居南港後，本所建制亦有所調整。1958年增設甲骨文研究室，1990年易名為文字學組。另有三館，分別收藏本所重要圖書和文物，即傅斯年圖書館、歷史文物陳列館以及臺灣考古館。1995年起，為推動群體研究，設置專題研究室，以匯聚所內、外研究人力和資源，目前計有文化思想史、法律史、臺灣與東南亞考古學、文物圖象、生命醫療史、禮俗宗教、世界史、古代文明八個研究室。另外，先後設有明清檔案、漢籍資料庫、地理資訊系統、金文、安陽五個工作室；以及骨骼、科技考古、文物維護三個實驗室。1997年，語言學組成立語言學研究所籌備處，本所名稱維持不變，分為歷史學、考古學、人類學和文字學四組。2003年配合院方廢組政策，改「組」為「學門」，學門設召集人，負責相關同仁的人事、行政、學術方面的領導工作。（請參看「組織架構圖」）

　　人文學科的研究必須個人與集體並重，一方面尊重個人的研究領域，另方面在水到渠成之時，鼓勵合作研究，故本所未來仍將秉持這個原則，一方面尊重個人研究，鼓勵同仁成為個別領域的領導學者；二方面以專題研究室為基礎，突出幾個跨學門的、全所性的研究重心。期待同仁擴大格局與眼光，以亞洲及世界的視野來思考我們所從事的種種研究，並力圖與世界各國歷史文化進行比較。同時，積極整理出版所藏學術材料，擴充數位環境，期以建構世界漢學研究的平台。

史語所舊址（南京雞鳴寺路）