文昌阁占地理位置之优势，成为溪口镇上风景最优美的地方。它位居武山南端，剡溪之滨，南望溪南山色，俯视三里长街，八面临风，一派大好风光。
文昌阁初建于清雍正九年（1731），因阁内供奉首奎星，故又名“奎阁”，有“奎阁凌霄”之称，是清代溪口十景之一。1924年清明，蒋介石回乡扫墓，见其年久失修、规模狭小，出资拆除重建，次年完工后建成了一座画梁雕栋、飞檐翘角的两层楼阁式建筑，面积500平方米。蒋介石把它取名为“乐亭”，并作《武岭乐亭记》来描述其美景。1927年12月，蒋介石和宋美龄结婚后每到溪口，常在此小住，成了他们的私人别墅。文昌阁一楼为会客室，二楼是蒋介石、宋美龄的卧室和起居室。
西安事变后的1937年1月13日张学良将军被送到溪口软禁，最先的落脚点也是文昌阁，住了10天后才移送到雪窦山。1939年12月12日，六架日军侵华战机轰炸溪口，文昌阁被夷为平地，现在的建筑是1987年按原样重建的。2006年，它被列入全国重点文物保护单位。