栗林公园约从日本元龟(1570~1572年)、天正(1573~1591年)之间开始兴建，据文献记载，公园之所以名『栗林』，源于早年这里曾是一大片栗子树林，最初当地的富豪佐藤氏在今日公园的西南角小普陀附近修筑私人庭园，然後当时的高松藩主生驹高俊公又以紫云山为背景，紧接著从南湖地区动工，19年後，被封为藩主的松平赖重在此继续扩大庭园的规模。最後历经5代藩主100多年後，才慢慢打造成今日的模样。过去，这里一直都是松平家族的私人庭园，直到明治4年(1871年)废藩时庭园被收为国有，四年後成立县立公园对外开放，一般人才有机会入内参观。

粟林公园是日本数一数二的名园，占地七十五万平方公尺，历史非常悠久，相传这座名园本来是属於天正年间生驹亲正的栗林庄。到了一六四二年的宽永年间，由高松藩主松平氏继续经营建设，一直到一百年后，松平第五代藩主时才全部完工，成为他代代相传的别邸。到了一八七五年的明治八年间，才改为县立公园，开放供一般民众观赏，因而民众才有幸一窥封建时代显要的荣华。