Castrupgaard opstod ved, at de øvrige gårde i landsbyen Skov-Kastrup på et tidspunkt blev nedlagt og lagt under Castrupgaard.

Hovedbygningen ligger på et meget betydeligt og velbevaret, rektangulært voldsted bestående af en borgplads omgivet af endnu vandfyldte grave. I forbindelse med at den gamle bindingsværkshovedbygning brændte i 1946, fandt man kampestensfundamenter fra en ældre bygning, hvis grundplan og alder imidlertid er ukendt. I voldstedets nordvestlige hjørne findes ruiner af et rundt tårn opført af kampesten. Den nuværende hovedbygning består af en stor villa i gule sten. Avlsgården stammer fra 1949.

Castrupgaard ejes af Claus de Neergaard. Der er ikke offentlig adgang til godset.