Na wzniesieniach Wysoczyzny Elbląskiej w czasach średniowiecznych znajdował się gród staropruskiego plemienia Pogezanów, który został podbity przez Krzyżaków. W pobliżu ruin grodziska zakon założył wieś Kadyny, gdyż doceniono strategiczne położenie grodu i piękno okolicy. Pierwsza wzmianka o miejscowości pochodzi z 1255 roku. Kadyny były siedzibą komornictwa, a później okręgu leśnego, który podlegał komturowi elbląskiemu. Znajdował się tu folwark krzyżacki i zameczek myśliwski. Obronny dwór krzyżacki powstał w XIII wieku.
W 1431 roku właścicielem Kadyn w został Jan Bażyński, który dobra te otrzymał w zamian za długi zakonu. W roku 1605 ostatni z Bażyńskich - Ludwik Bażyński z żoną Anną z Białobłockich sprzedali Kadyny miastu Elblągowi. W 1682 roku właścicielem Kadyn został Jan Teodor Schlieben.
Po jego śmierci w 1695 roku dobra kadyńskie odziedziczył jego najstarszy syn Ernest Zygmunt Schlieben, który odsprzedał wieś Stanisławowi Samuelowi Działyńskiemu (staroście kiszewskiemu).