清光緒21年（日明治28年，西元1895年），日本治臺之初，即由總督府殖產部研議成立苗圃，並於次年1月6日在臺北南門町選地8,750坪設立苗圃，為本所創設之濫觴；清光緒25年（西元1899年）間曾因興建陸軍衛戍醫院而將苗圃遷設於大龍峒及圓山；翌年（西元1900年）10月再於今日臺北植物園現址購地闢建，稱之為「臺北苗圃」，除從事育苗外並進行苗木栽培試驗。
清宣統3年（明治44年，西元1911年），將臺北苗圃之基地創立為「林業試驗場」，隸屬於臺灣總督府殖產局，負責臺灣林業經營及森林資源之調查研究工作；民國10年（大正10年，西元1921年），日人統合全臺試驗機構成立「中央研究所」，林業試驗場改隸之而稱「中央研究所林業部」；林業試驗場所在地之原臺北苗圃則設置為「臺北植物園」；民國28年（昭和14年，西元1939年）中央研究所改組，林業部獨立為「林業試驗所」。
民國34年（西元1945年）臺灣光復，臺灣省行政長官公署於11月1日正式接管，改稱為「臺灣省林業試驗所」；民國38年（西元1949年）９月由直隸省政府改隸農林廳。接收之初，設有森林生物、殖育、施業、利用、化學、木酥六科，蓮華池、中埔、恆春、太麻里四分所與八仙山松脂試驗地，之後在組織調整及業務遞嬗下，終至發展為森林生物、育林、林業經濟、森林經營、集水區經營、森林保護、森林利用、森林化學、木材纖維、林業推廣等十系，總務、會計、人事、政風四室，福山、蓮華池、中埔、六龜、太麻里、恆春等六分所。
民國88年（西元1999年）7月政府組織再造，本所由隸屬於臺灣省政府改隸為行政院農業委員會，改稱為「行政院農業委員會林業試驗所」。
民國91年（西元2002年）5月2日本所組織修編，內部單位改設為十組，分別為：森林生物、育林、林業經濟、森林經營、集水區經營、森林保護、森林利用、森林化學、木材纖維、林業推廣等十組，及秘書、會計、人事、政風四室，另六個派出單位改設為研究中心，分別為：福山、蓮華池、中埔、六龜、太麻里、恆春等六個研究中心。
民國98年（西元2009年）5月27日本所組織名稱修正，原森林生物組更名為植物園組，原林業推廣組更名為技術服務組。
民國112年（西元2023年）8月1日政府組織改造，本所由隸屬於行政院農業委員會改隸為農業部，改稱為「農業部林業試驗所」。內部單位改設為六組，分別為：育林、森林經營、森林保護、森林生態、林產利用、技術服務等六組；以及秘書、主計、人事、政風四室；另有恆春、嘉義、蓮華池、太麻里、六龜、福山等六個研究中心。其中，原林業經濟組、森林經營組整併為森林經營組；原植物園組及集水區經營組整併為森林生態組；原森林利用組、森林化學組、木材纖維組整併為林產利用組；原中埔研究中心更名為嘉義研究中心。