Promosso dal cardinale Tolomeo Gallio, segretario pontificio sotto Pio IV e (1572) segretario di Stato di Gregorio XIII, sorse presso il monastero di S. Maria di Rondineto, già dell'ordine degli Umiliati. Alla fine del Seicento si decise di sistemare gli ambienti del collegio secondo un progetto attribuito ad Agostino Silva che diede forma all'impianto attuale dell'edificio. Il complesso subì rimaneggiamenti tra il XIX secolo e il XX: in particolare nel 1901 Federico Frigerio restaurò la facciata inseredovi il portale neobarocco.