Paide pastoraadi asukoht Rootsi ajal, nn lossialevikus (17 saj lõpu linnaplaan):

Kiriku pastoraat asus kirikumõisa maal, mis 1650. a alates oli praegusel kohal, Tallinna tänava ääres. Kirikumõisa maja hoidis korras kiriku kogudus. Põhjasõja ajal 1703. a hävisid kirikumõisa hooned. 1718. a ehitati väike õlgkatusega puumaja, loomalaut ja saun. 1744. a ehitati ait, uus loomalaut, hobusetall ja õlleköök. Pastoraadihoone on ehitatud 1756. a. Ühekorruseline paekivist hoone oli algselt kõrge kelpkatusega. 1851. a tehti pastoraadile põhjapoolne juurdeehitus ja puidust klaasveranda. 1898. a ehitati katusekorrus. Viimaste aastate kapitaalremontide käigus on hoone sise-ja välisarhitektuur ning algne plaanilahendus tundmatuseni muutunud. Peale rohkete majandushoonete kuulus pastoraadi juurde suur õunapuuaed, mis 1940. a talvekülmadega hävis. Kirikumõisa majandushooned ei ole säilinud.

Paide pastoraadis on elanud ja töötanud linna kultuurielus olulist rolli omanud kirikuõpetajad  C. G. Hammerbeck (1800-1870), E. von Tiesenhausen (1835-1886),  C. Rall (1859-1924), G. Pärli (1889-1956) jt.

Endist pastoraadihoones tegutses nõukogude ajal raamatukogu, hiljem Paide arvutusjaam, miks 1970-tel põles. Pärast seda ehitas hoone uuesti üles Paide KEK. 1990-tel asus hoones Jehoova tunnistajate kogudus, praegu on ajalooline hoone on eravalduses.