Aarby kirke er oprindelig indviet til Skt. Peder, senere til Vor Frue.

Den oprindelige kirkebygning fra omkring år 1200 er udvidet flere gange, og først i 1400-tallet, hvor kirken fik nyt, gotisk kor, tårn, sidekapel og våbenhus, fik den det nuværende gotiske udseende.
Samtidig med disse ombygninger blev det oprindelige bjælkeloft overhvælvet.

Interessant er det nordre sidekapel med Mariatavlen fra ca. 1450, de små vinduer og nicher samt sporene efter kamin og beboelse i højre hjørne. Her er 5 nye malerier fra 2006 af Birgit Olsson, Tølløse.

Altertavlen er fra omkring 1525, mens alterbordsforsiden er fra 1400-tallet og viser Sct. Margrethe, Sct. Maria og Sct. Nicolaus.

Skib i kampesten med udvidelse i munkesten, først mod vest, hvor der bemærkes spor af gavlvinduer og i hvælvingen et hul, hvorigennem kirkens klokke er blevet trukket.

Frobenius-orgel 14 stemmer fra 1974.

I 1857 lod den daværende ejer, grev Lerche, tårnets kamtakker udsmykke med de karakteristiske pinakler.

Restaureret 1962-66.