Hagbardshøj stammer fra bronzealderen (1800-500 f. Kr.)

Højen er knyttet til sagnet om Hagbard og Signe fortalt af Saxo i hans "Danmarks Krønike". 

Historien fortæller, at den norske kongesøn Hagbard ikke måtte få sin elskede Signe, datter af kong Siger (Sigersted).
Da han alligevel opsøgte hende, blev han fanget, og som straf skulle han hænges på højen. Signe ønskede at gå i døden med sin Hagbard.
De havde aftalt, at når hun så Hagbard i galgen, ville hun sætte ild på sit jomfrubur.

For at afprøve hendes kærlighed, fik Hagbard hængt sin kappe op i galgen først. Han så da, at der stod flammer ud fra Signes jomfrubur og lod sig derefter hænge.

Der ligger en mindre høj i nærheden, som kaldes for Signeshøj. Den ses bedst fra Skælskørvej.