Skovsbo er opført i 1570'erne af Erik Hardenberg, der var én af sin tids rigeste mænd. Men der hvilede en tung skæbne over Hardenberg og hans hustru, Anne Rønnow. Allerede som 3-årig blev hun moderløs, og selv døde hun i 1609 som den sidste af Rønnow slægten. Også Erik Hardenberg blev den sidste af sin slægts mandslinie. Parret fik 9 børn, hvoraf 6 døde tidligt. Af de tre overlevende døtre var de to sindssyge. Intet under, at parret blev præget af tungsind, melankoli og stærk religiøsitet.

De kendte kalkmalerier i Rynkeby kirke, hvor et engleorkester musicerer, tilskrives Erik Hardenberg, mens krucifixet over for herregården efter sagnet skal være rejst af Anne Rønnow.