Kirken er bygget kort efter at teglstenen kom til Sjælland omkring år 1170. I 1555 blev Svogerslev Kirke annekteret til Roskilde Trinitatis- eller Graabrødre Kirke. I 1711 overdrog staten Kirketiende til Roskilde adelige Jomfrukloster, der var ejer, indtil kirken overgik til selveje i 1911. Pastronatsforholdene i middelalderen kendes ikke.
  
Af den oprindelige middelalderkirke står kun "skibet" tilbage. Den oprindelige kirke har formodentlig haft et "kor" af samme størrelse som idag evt. bygget af træ. Det nuværende kor, våbenhuset og tårnrummet er fra omkring 1450 og bygget af munkesten og kridtsten. Der er enkelte teglsten og natursten, der er tilhugget som teglsten. Man har altså anset det som "fint" at bygge af tegl. Specielt sydmuren er sammensat af de forskellige sten. 

Nordmuren er mere ensartet med frådsten iblandet kampesten.