Visborggård nævnes første gang i et brev udstedt af Valdemar Atterdag i 1351.

Under grevens fejde i 1543 blev herregården stukket i brand af oprørske bønder og først genopbygget i 1576 af Jacob Seefeld.
Han opførte Visborggård med en trefløjet hovedbygning i to stokværk med hele syv tårne, men idag er der kun to tilbage.

Visborggård blev i 1932 overtaget af staten og omdannet til plejehjem.

Visborggård er omgivet af brede voldgrave, og en bro fører over til parken med klippede linde og symmetriske damme.

For offentligheden kun adgang til parken.

Der arrangeres rundvisning for særlige grupper (indenfor det sociale område).