Edificata da Innocenzo Odescalchi con l'intento di emulare le ville dei dintorni di Roma, città dalla quale era appena ritornato, sorse su porgetto di Simone Cantoni, il quale subentrò al ticinese Innocenzo Regazzoni che aveva ricevuto un primo incarico e iniziato i lavori nel 1782. Il cantiere fu in mano al Cantoni dal 1785 al 1796. All'interno numerosi ambienti conservano ancora la loro veste neoclassica e sono arricchiti da statue e decorazioni ad opera di Francesco Carabelli e Domenico Pozzi. La villa passò nel 1824 al marchese Giorgio Raimondi e ne 1882 fu acquistata dal duca Guido Visconti di Modrone che incaricò il milanese Emilio Alemagna di una ristrutturazione interna ed esterna della proprietà: in particolare furono demolite le due ali laterali che univano la villa al fronte lago e realizzato un piccolo teatro accanto al salone d'onore. Nel corso degli anni la villa ospitò personaggi quali l'imperatore d'Austria Ferdinando I d'Asburgo (1838) e Giuseppe Garibaldi (1859), e vi venne in visita anche il re Umberto I. Nel 1925 villa Olmo fu acquistata dal Comune di Como come sede di rappresentanza.