Il castello fu trasformato nel secondo Cinquecento da Adam II Hradec. Baldassare Maggi subentra ad Antonio Drizzan-Ericer nel 1580 riplasmando l'intero complesso: uniforma l'altezza delle varie parti di cui si compone l'ala orientale, la collega a quella occidentale mediante un nuovo corpo di fabbrica, realizza nuovi ambienti interni (una Frauzimmer nuova, diverse sale con relative stufe oppure con "camini italiani") ristruttura la Torre Rossa (1582-83). Negli anni Novanta i lavori proseguirono sotto la guida di Domenico Benedetto Cometta (Torre Nord 1594-95) che, assieme a Vincenzo Vogarelli, aveva condotto i lavori diretti del Maggi nel decennio precedente. Nel cantiere del castello è probabilmente presente anche lo scalpellino Antonio Cometta. Una rinnovamento globale negli anni Venti del Settecento e una radicale ristrutturazione compiuta tra il 1840 e il 1871 hanno cancellato l'assetto cinquecentesco del complesso.