Palsgaard kan føre sin historie helt tilbage til årene 1275-1300, hvortil man har tidsfæstet rester af det oprindelige slot.

Dengang lå bygningerne ca. 1,5 km længere mod nordøst i forhold til den nuværende hovedbygning lige ved stranden, hvor et voldsted er markeret af fredningsmyndighederne.

Palsgaard slots nuværende placering tegner sig fra ca. 1400-tallet og var oprindelig omgivet af vand. Voldgravene ses endnu og indkørslen hedder stadig vindebroen.

Parken er offentlig tilgængelig fra kl. 08.00 til solnedgang og er med sine 38 tdr. land (21 ha.) en af landets største herregårdsparker.