Kolby Kirke er en af Samsø´s smukkeste og mest harmoniske landsbykirker, og den er den næststørste efter Tranebjerg.
De ældste dele af kirkeskibet stammer fra midten af 1200-tallet. Det oprindelige kor er sidst i middelalderen blevet erstattet af et nyt og større, og samtidig blev kirken forlænget mod vest. Tårn, sakristi og våbenhus blev bygget til i 1500-tallet. Uden for våbenhuset står en skålsten fra bronzealderen.
Inde i kirken ser man en sjælden detalje i korbuen : Det er en trappeopgang fra koret med åbning ud mod skibet. Der har sikkert været tale om en prædike-eller lektoriestol i katolsk tid - i hvert fald kan man støde på tilsvarende i enkelte katolske kirker i dag.
Der er kalkmalerier af blandt andet Skt. Jørgen, der nedlægger en drage og derefter befrier prinsesse Cleodolinde.
Altertavlen er fra 1620. Den blev senest restaureret i 1966-67.
Prædikestolen er i højrenæssance. Den er fra 1597 og i otte fag mod normalt fem i landsbykirker.
Klokken er omstøbt i 1691, og der er to kirkrskibe fra henholdsvis 1720 og 1926.