Slottet og Østborgen er sandsynligvis først bygget af Valdemar Atterdag (1340-1375).

Slottet bestod af et femfløjet bygningskompleks omgivet af dobbelte ringmure. Langs indersiden af den yderste ringmur lå også en del huse mellem de store forsvarstårne. Rundt om Østborg, Højby og Vestborg var der foruden ringmure også voldgrave, som fik vand fra Munkesøen.

Kalundborg Slot var i 1300-1400-årene et af Danmarks vigtigste slotte. Her samledes konger og stormænd til politiske forhandlinger, og i krigstid var Kalundborg et vigtigt, militært støttepunkt.

Danmarks riges arkiv blev opbevaret i det store tårn "Folen" ca. 1400-1536.

Slottet og Østborgen led så stor skade under svenskekrigene 1658-60, at det blev nedrevet.

De eneste synlige rester af slottet og østborgen er i dag fundamenter fra Folen med op til 3,3 m tykke mure og det mindre tårn Fars Hat, hvor bl.a. Christian II sad fængslet, samt en del af ringmuren.