已知最早的吳鳳廟起源於嘉慶25年(1820)，由當時的通事楊秘在通事公廨改建為祠廟，鄉民俗稱為阿里山忠王祠。明治39年(1906)廟宇在大地震中傾圮。大正2年(1913)本廟在日本政府的資助募捐下重建，昭和6年(1931)再次修建，且擴充為拜殿、 正殿與兩側廂房之規模，還有廣大的庭園，落成時第十四任總督太田親來祭拜。二戰後亦進行多次修建，增加了文物成列室，和碑亭，並在民國74年(1985) 擴建為紀念公園，並增建了後殿及廂房。

本廟入口牌樓造型十分莊重嚴肅，採用「五岳朝天式」山牆的造型。穿越牌樓後，取代一般廟埕廣場的是一片廣闊的綠蔭和步道，這是因為本廟的祭祀著重於紀念性， 而非大型的祭祀慶典活動所致。拜殿和正殿是主要的祭祀空間，後方的廂房為會客室，文物展示室，後殿則供奉吳鳳的神位。