Nowe pomieszczenia zostały zamieszkane przez bernardynów w 1699 roku. Nietrwałość drewnianej budowli sprawiła jednakże, że wkrótce podjęli oni decyzję o wzniesieniu zabudowań murowanych. Kamień węgielny pod nowy klasztor, poświęcony 20 maja 1716 r. przez bp sufragana warmińskiego - Franciszka Kurdwanowskiego, został położony 5 czerwca 1714 roku, a prace wykończeniowe trwały do 1728 roku. W tym czasie trwała również budowa murowanego budynku kościoła. Budowa nawy głównej wraz z wieżyczką przeciągnęła się do 1739 r. Nad wyposażeniem wnętrza pracowano jeszcze przez wiele następnych lat. Ostatecznie kościół został konsekrowany 21 czerwca 1743 r. Aktu tego dokonał bp sufragan warmiński Jan Krasiński. W kościele były boczne ołtarze: św. Franciszka z Asyżu, św. Antoniego z Padwy, św. Józefa, św. Anny. Ołtarz główny został poświęcony Matce Bożej Niepokalanie Poczętej. Do kościoła przylegała kaplica Matki Bożej Loretańskiej. Ołtarze były bogato zdobione i pozłacane. W Kaplicy Loretańskiej i św. Anny prace złotnicze wykonał brat zakonny Antoni Słaboszewski, pozostałe artysta Baar.