W 1682 roku właścicielem Kadyn został Johann Teodor Dietrich Schlieben, wojewoda inflancki oraz jeden z przywódców opozycji antyelektorskiej w Prusach Książęcych. Pod wpływem jezuitów z Reszla z wyznawcy luteranizmu, stał się gorliwym katolikiem, co doprowadziło do aktywnego wspierania przez niego kościoła katolickiego.
W zamyśle przyszłego fundatora było sprowadzenie bernardynów, co miało skutkować, nawracaniem przez nich protestantów w okolicach Gdańska i Elbląga. Jeszcze przed 1682 rokiem rozpoczął budowę kaplicy ku czci św. Antoniego z Padwy oraz pomieszczeń mieszkalnych dla zakonników, w miejscu pruskiego grodziska na górze zwanej Zamkiem górującej nad Kadynami. Zwrócił się następnie do o. Erazma Marona, prowincjała wielkopolskiej prowincji bernardynów, aby objął swoją opieką to miejsce.