Официальное упоминание о строительстве крепости «Вальдов» помечено в хронике за 1258 год. В основе такого названия лежит балто-славянское слово «валдати», что означает «владеть». Следовательно «Валдау» можно перевести на русский язык как «Владение».
В 1264 году, по требованию властей Тевтонского ордена, князья заложили возле дороги первую промежуточную крепость, вроде постоялого двора, где останавливались служилые люди ордена, священники и воины.
В 1457 году старые крепостные сооружения переделали под замок. Он использовался как летняя резиденция Великого магистра Тевтонского ордена.
В конце мая 1697 года в замке останавливалась группа Великого российского посольства во главе с царём Петром 1 .
В 1720 году королевское правительство Пруссии сдало замок «Вальдау» в аренду, после этого последовала перестройка внутренних помещений.