Karolinegangen dannede tidligere byens nordgrænse, anlagt på byvolden og på kanten af den for længst udtørrede Badstuesø. Biblioteket er indrettet i en tidligere borgerskole. Her er bl.a. et kunstgalleri med skiftende udstillinger. Ved Karolingangens udmunding i Københavnsvej (anlagt omkring 1800), lå tidligere byens "Nørreport", hvor bønderne betalte afgift af de varer, som blev indført i byen. I Algades østlige del findes flere ældre kønne byhuse. Huset, hvor forfatteren M.A. Goldschmidt fødtes, var tidligere en del af den gamle købmandsgård. Krægestræde er den oprindelige indfaldsvej fra nord. Ad den stejle Riddergade kommer man ned til byens gamle arbejder-og havnekvarter med de lave husrækker. Nogle af de ældste huse er Riddergade 10 og Strandgade 32, der begge stammer fra før 1800. Gennem den smalle kætte for enden af Strandgade, kommer man til Nordhavnen. På grund af sin beskyttede placering var der en perfekt ledingshavn for Valdemarerne. Det er en af grundene til at man valgte at anlægge en stor borg her på Sjællands sydkyst.
