Tårnborg omtales første gang 1164 og hører dermed til den tidlige middelalders kystbefæstningsanlæg. Tårnborg er bedst kendt som et af de steder Marsk Stig hjemsøgte i 1289, da han hærgede og plyndrede langs de danske kyster sammen med sine norske forbundsfæller. I 1326 belejredes den på ny af oprørske stormænd. Borgen blev opgivet i begyndelsen af 1400 tallet, hvor Erik af Pommern lod en ny borg opføre ved selve Korsør, som fik købstadsprivilegier i 1425.

Den lille, men stærke borg blev bygget på en høj banke ved Korsør Nor, og lige overfor opførtes en kirke, som stadig er i brug.

Der er kun få spor tilbage af borgen, der har bestået af en firkantet ringmur på ca. 30x30 m omkring et centraltårn på 8x8 m. Indenfor ringmuren har der stået tre mindre bygninger, formodentlig enkle bindingsværkshuse. På markerne syd og øst for kirken lå byen Tårnborg i middelalderen.
 
Bugten øst for stien til noret dannede en velegnet naturhavn for den tidlige middelalders lavbundede skibstyper. På det flade område langs bugten har der ligget en tæt bebyggelse af små bindingsværkshuse, brolagte gårdspladser og kampestensbrønde. Handel og håndværk har spillet en fremtrædende rolle. Byen har dækket 6 ha.