Pierwsza kaplica w miejscu powstania przyszłego kościoła, była drewniana. Nawet mały pożar mógł doprowadzić do jej całkowitego zniszczenia, dlatego zakonnicy starali się o postawienie budynków murowanych. Kamień węgielny pod budowę świątyni poświęcił sufragan warmiński biskup Franciszek Kurdwanowski. Budowę kościoła rozpoczęto w 1716 roku i trwała aż do 1727 roku, kiedy ukończono prezbiterium i zakrystię. Nawę główną i wieżyczkę skończono budować dopiero w 1739 roku. Kolejne lata trwało wyposażanie wnętrza. Konsekracja świątyni nastąpiła 21 czerwca 1743 roku, a dokonał jej sufragan warmiński biskup Jan Krasiński. Ołtarze boczne w kościele poświęcono: św. Franciszkowi z Asyżu, św. Antoniemu z Padwy, św. Józefowi oraz św. Annie. Ołtarz główny poświęcony był Matce Bożej Niepokalanie Poczętej. Z boku kościoła znajdowała się kaplica Matki Bożej Loretańskiej. Wszystkie ołtarze imponowały zdobieniami i złoceniami, które wykonał zakonnik Antoni Słaboszewski (Kaplica Loretańska i ołtarz św. Anny) oraz w przypadku pozostałych – nieznany z imienia artysta, nazwiskiem Baar. Za głównym ołtarzem znajdowały się bogato zdobione stalle chóru zakonnego. W 1752 roku zakupiono do kościoła stacje drogi krzyżowej, w 1755 roku nowe organy, natomiast w 1775 roku wybudowano wieżę frontową świątyni. Kościół wybudowany został w stylu barokowym i powierzony w opiekę św. Antoniemu z Padwy.
Po zamknięciu klasztoru, wyposażenie kościoła zostało przeniesione do archikatedry we Fromborku.
