Entro il 1757 Carlo Innocenzo Carloni realizza gli affreschi del "Tempo che rapisce la giovinezza" e le "Quattro Stagioni". Alla fine del Settecento è di proprietà del conte Giovan Battista Giovio che affida a Simone Cantoni "la riordinazione dell'interno di tutta la casa e della facciata". Il conte vuole riportare in auge le glorie familiari realizzando nel contempo un salotto letterario in città legato all'Accademia dell'Arcadia.