Kadyny odziedziczył po nim Jan Ignacy Działyński, od którego młodszy syn Jana Teodora Schliebena - wojewoda inflancki Jan Wilhelm Schlieben - odkupił miejscowość. W 1786 roku wieś kupił pruski generał hrabia Wilhelm von Schwerin. Następnie w 1799 roku Kadyny przeszły w posiadanie ówczesnego kanonika kapituły warmińskiej Ignacego Stanisława Matthy. Miejscowość była jeszcze kilkukrotnie sprzedawana (właścicielem była m.in. rodzina Struensee). Od 1817 roku jej właścicielem był kupiec elbląski Daniel Birkner, a od 1827 jego syn Eduard Birkner.
W połowie XVIII wieku w miejscu pruskiego grodziska powstał klasztor franciszkanów.
Eduard Birkner zapisał wieś w testamencie cesarzowi Wilhelmowi II, którego własnością stała się 15 grudnia 1898 roku. Cesarz Wilhelm nakazał budowę w Kadynach letniej rezydencji cesarskiej.
Nabycie Kadyn przez cesarza spowodowało wielki rozwój wsi. Nowy właściciel nakazał odbudowę majątku i budowę nowej wsi według projektów architektów berlińskich w tzw. Ordensstil (z niem. styl zakonny).