豫園原是明代的一座私人園林，已有四百余年歷史。位于上海老城廂的東北部，北靠福佑路，東臨安仁街，西南與上海老城隍廟毗鄰。園主人四川布政使潘允端從1559年（明嘉靖己未年）起，在潘家住宅世春堂西面的幾畦菜田上建造園林。經過二十余年的苦心經營，建成了豫園。

當時的潘家在上海為望族，潘氏父子都曾居明朝高位。1553年長達九里的上海城墻建成，東南沿海的倭患逐漸平息，社會經濟得到恢復并開始繁榮。士大夫們紛紛建造園林，怡情養性，弦歌風月。潘父年邁告老還鄉后，潘允端為了讓父親安享晚年，建造了豫園。“豫”有“平安”、“安泰”之意，取名“豫園”。

豫園當時占地七十余畝，由明代造園名家張南陽設計，并親自參與施工。古人稱贊豫園“奇秀甲于東南”，“東南名園冠”。潘允端晚年家道中落。1601年（明萬歷二十九年）潘允端去世，潘氏家庭日趨衰微，無力承擔園林修繕和管理所需的巨大開支。明朝末年，豫園為張肇林所得。

其后至1760年（清乾隆二十五年），為不使這一名勝湮沒，當地的一些富商士紳聚款購下豫園，并花了二十多年時間，重建樓臺，增筑山石。因當時城隍廟東已有東園，即今內園，豫園地稍偏西，遂改名為西園。清咸豐三年（1853年），上海小刀會在上海發動起義，豫園被嚴重破壞。

1860年（清咸豐十年），太平軍進軍上海，滿清政府勾結英法侵略軍，把城隍廟和豫園作為駐扎外兵場所，在園中掘石填池，造起西式兵房，園景面目全非。清光緒初年（1875年）后，整個園林被上海豆米業、糖業、布業等二十余個工商行業所劃分，建為公所。

豫園各處可見許多磚雕、石雕、泥塑、木刻。《神仙圖》、《八仙過海》、《廣寒宮》、《郭子儀上壽圖》、《梅妻鶴子》、《上京趕考》、《連中三元》等有文物價值和觀賞價值。王稚登、董其昌、王世貞、莫是龍等就曾在豫園賦詩題詞作畫。豫園現珍藏書畫、家具、陶瓷等文物幾千件。

1946年10月26日，湖心亭舉行李平書銅像落成典禮，據《上海文化藝術志》：“李平書像高3米，他銀須一綹，身穿長袍馬褂，右手執書，左手垂于袖筒內，佇立于八角形基座上，風度儒雅。”蔣介石曾為銅像題贈 “惠溥申江”的匾額，時任上海市長的吳國楨參加了李平書公銅像落成典禮。

李平書（1854—1927），出生于醫學世家。光緒年間，先后署廣東陵豐、新寧、遂溪知縣；湖北武備學堂總稽查、提調；光緒二十九年轉任江南制造局提調，兼任中國通商銀行總董、輪船招商局董事、江蘇鐵路公司董事。創立醫學會，創設中西女子醫學堂、南市上海醫院（今上海市第二人民醫院）等。

1946年-1959年李平書銅像一直豎立在豫園前面的荷花池，正對湖心亭。1959年國慶十周年之際，邑廟區文化局為整理園林，討論遷移銅像至蓬萊公園。6月23日，上海市文化局批示同意。銅像遂被遷至蓬萊公園，離開了豫園前面湖心亭那個標志性位置。