Vejlø Kirke ligger ca. 2 km fra Gavnø Slot, og iflg. et sagn har der været en underjordisk gang mellem kirken og middelalderens nonnekloster på Gavnø. Sammenhængen mellem Gavnø Slot og Vejlø Kirke ses også på prædikestolen, som bæres af en trold med kvindelige attributter. Prædikestol, stolestader og altertavle er alle lavet af Abel Schrøder den Yngre.

Nøgle til kirken hentes udenfor åbningstiden i præstegården.