Det katolske tiggermunkekloster i Kalundborg blev grundlagt ca. 1239 af franciskanermunke også kaldet gråbrødre.

Bag byggeriet stod grevinde Ingerd af Regenstein, der samtidig anlagde gråbrødreklostre i København, Næstved og Roskilde. Hun var en fjern slægtning til Esbern Snares datter, Ingeborg, der på daværende tidspunkt ejede mange af faderens jordbesiddelser i Nordvestsjælland, herunder Kalundborg.

Højbyen (Kalundborg) var da den tredjestørste afgiftsyder blandt de sjællandske byer, og placeringen af klostret klos op ad indfaldsvejen til Højbyen er sikkert sket i bedste forståelse mellem de to slægtninge, så klostret kunne nyde godt af den rige by.

I 1344 fik Valdemar Atterdag herredømmet over den strategisk vigtige by, Kalundborg, og i 1360 blev Højbyen og slottet forstærket med voldgrave og ringmure med tårne. Han fik også pavens tilladelse til at flytte klostret, fordi det alt for let kunne besættes af en eventuel fjende og anvendes som skydeskjul og dække ved belejring. Tilsyneladende skete der i stedet det, at klostret blev liggende, men til gengæld blev befæstet.

Beboerne i klostret var opdelt i to grupper. Der var munkene, der tog sig af studier, forkyndelse, læge- og lærdom, og så var der lægbrødrene, som fungerede som håndværkere, medhjælpere og billig arbejdskraft.

Gråbrødrene skulle ifølge Frans af Assisi's forordninger leve af at samle ind og modtage gaver. Deres kald var at leve i fattigdom uden at være jordbesiddere. Men munkene i Kalundborg hørte til de glade brødre, der ikke tog det så bogstaveligt med fattigdom og den strenge klosterdisciplin.

De plejede gerne venlige kontakter med befolkningen og lagde vægt på smukke gudstjenester og et livsbekræftende kulturliv. Men i 1518 blev munkeordenen i Kalundborg reformeret af strammere, og ulovligt erhvervede ejendomme blev solgt til kongen, Christian II.

Christian II gik i 1523 i landflygtighed, og det blev hans efterfølger, Frederik I, der i 1526 ophævede den katolske kirke- og retsorden i Danmark. Klostrene mistede bl.a. deres retsværn og stod magtesløse overfor kongens dispositioner. Han lokkede tillige de præster og munke, der konverterede til den lutherske tro, med bedre lønninger og mulighed for at gifte sig.
I 1532, fire år før reformationen, jog fogeden på Kalundborg Slot munkene ud. Klosterlederen, Melchior Jensen, gjorde kun ringe modstand, og han blev den første lutherske præst i byen.

Klostrets bygninger blev inddraget som avlsbygninger for det landbrug, der blev drevet direkte fra slottet. Dette fik den katolskvenlige Christian II dagligt at se, da han i sine sidste 10 leveår 1549-59 opholdt sig som fange på Kalundborg Slot.

1751-52 opførte Chr. Lerche en ny hovedbygning til Ladegården delvist henover det sted, hvor gråbrødremunkene gennem 300 år virkede og døde. Ruinerne og levnene af det tidligere klosterliv ligger i dag godt gemt under bygninger, asfalt, parkeringspladser og haveanlæg.

Selv om der i dag ikke er synlige rester af klostret, lever mindet videre i byen, fordi ejeren af Kalundborg Slots Ladegård i 1907 omdøbte gården til Kaalund Kloster.

Forskellige udgravninger har vist, at klostret var bygget som et firefløjet anlæg over en lidt skæv grundplan med kirke mod syd. Murrester stod ved opgravning af Klosterparkvej i 1948 endnu bevaret i tre skifters højde og var solidt placeret på et fundament af kampesten.

Fra tid til anden er der dukket skeletdele og grave op ved anlægsarbejde og byggeri inden for det tidligere klosterområde, som også rummede en kirkegård.