Kostskolen blev oprettet i 1565 af Herluf Trolle og Birgitte Gøye 'for adelige og andre ærlige mænds børn'. Oprindelig anlagdes i 1135 et skovkloster for benediktinernes orden. Skolen er blevet om- og tilbygget flere gange.
 
Seneste større byggeri er en ny elevbygning i 2008, som forøger skolens kapacitet for kostelever til i alt ca. 280.

Selve Herlufsholm kostskole er lukket for besøgende, men man er velkommen til at besøge parken og Herlufsholm Kirke.