Kalundborg blev i 1100-1200-årene anlagt på tre naturlige bakkedrag "for at skærme egnens bomænd og stænge de vilde vendere ude". Gisseløretangen dannede en god beskyttelse for Vikingetidens sjællandske ledingsflåde.

Slottet og Østborgen er sandsynligvis først bygget af Valdemar Atterdag (1340-1375).

Slottet bestod af et femfløjet bygningskompleks omgivet af dobbelte ringmure. Langs indersiden af den yderste ringmur lå også en del huse mellem de store forsvarstårne. Rundt om Østborg, Højby og Vestborg var der foruden ringmure også voldgrave, som fik vand fra Munkesøen.

Kalundborg Slot var i 1300-1400-tallet et af Danmarks vigtigste slotte. Her samledes konger og stormænd til politiske forhandlinger, og i krigstid var Kalundborg et vigtigt, militært støttepunkt.

Danmarks riges arkiv blev opbevaret i det store tårn "Folen" ca. 1400-1536.

Slottet og Østborgen led så stor skade under svenskekrigene, at de svenske belejringstropper i 1659 lod byens borgere nedrive slottet.

De eneste synlige rester af slottet er i dag fundamenter fra Folen og det mindre tårn Fars Hat, hvor bl.a. Christian II sad fængslet, samt en del af ringmuren.

Resterne af slot og bymur lader sig næppe udgrave pga. de betydelige bygninger, der nu ligger på deres sted.