La fabbricazione si sviluppa a forma di C intorno a un cortile di forma trapezoidale, porticato su tre lati. Il quarto lato, a destra dell’ingresso, è costituito da un semplice muro divisorio con le proprietà adiacenti. Alcune finestre ogivali riapparse nell’ambito degli interventi di restauro all’edificio sembrano accreditare l’ipotesi che il palazzo trecentesco fosse limitato al corpo su strada e che a fine Quattrocento siano stati costruiti gli altri due lati del cortile. L’ingresso non immette, come di consueto, al centro del cortile ma direttamente nel portico, sul lato sinistro. Il cortile è porticato nella parte bassa, con arcate a pieno centro impostate su eleganti colonne con basi e capitelli di ordine composito di raffinata esecuzione; i tondi con ritratti sforzeschi e profili di imperatori romani posti nelle vele degli archi avvicinano casa Fontana ad altri prestigiosi esempi di palazzi rinascimentali milanesi (palazzo Carmagnola, casa Dal Verme, palazzo Trivulzio), pavesi e lodigiani. Al piano superiore del cortile si sviluppano, su due lati, eleganti logge con snelle candelabre che reggono alte arcate a tutto sesto, in corrispondenza con le colonne dei portici sottostanti.
Il nome di Bramante, in particolare, è stato più volte chiamato in causa per il progetto dell’intero palazzo Fontana e per la decorazione della facciata su strada. In questa zona doveva culminare il progetto di riqualificazione in senso rinascimentale dell’edificio: per ovviare alle anomalie della facciata esistente, priva di un coerente progetto compositivo e caratterizzata da una irregolare distribuzione delle aperture e dalla posizione asimmetrica dell’ingresso, fu ideata una straordinaria decorazione pittorica, ancora in parte visibile nell’Ottocento e oggi nota essenzialmente attraverso la descrizione settecentesca del De Pagave e grazie a una ricostruzione grafica di inizio Novecento. Di solenne impianto classicheggiante, la decorazione era articolata su doppio ordine: al pianterreno comparivano semicolonne accostate a paraste; una fascia marcapiano con doppia cornice e fregio con medaglioni introduceva quindi al piano superiore, caratterizzato da paraste decorate ‘alla lombarda’ con capitelli corinzi e quattro figure di ‘giganti’ in finto bronzo dorato.
Si trattava probabilmente di una allegoria politica del ducato milanese al tempo di Ludovico il Moro: Giano, mitico fondatore di Genova, e il Po potevano alludere simbolicamente ai confini del dominio sforzesco; il musico Anione richiamava il tema dell’armonia interna dello stato. Il genius del ‘valore d’Italia’ resta di problematica interpretazione; armato di bastone, richiama tuttavia palesemente la figura di Ercole, assai cara al repertorio iconografico propagandistico del Moro.
Della facciata originaria del palazzo resta il ricco portale d’accesso, fiancheggiato da semicolonne in pietra d’Angera su alti plinti, decorate a candelabra nella parte inferiore e scanalate in alto. Capitelli, archivolto e intradosso dell’arco sono finemente decorati con motivi vegetali; nelle vele campeggiano due grandi tondi con vibranti profili all’antica. Di raffinata fattura sono anche le cornici delle finestre su strada (monofore centinate al piano superiore e semplicemente rettangolari al pianterreno), modellate in terracotta e arricchite con motivi vegetali.
Da una sala interna del palazzo provengono alcuni brani di affresco, strappati e trasportati su tela, oggi ai Musei Civici del Castello Sforzesco. Furono ritrovati nel 1943 in seguito alla parziale distruzione dell’edificio dovuta ai bombardamenti bellici; rappresentano sei figure allegoriche con strumenti musicali (cinque femminili e una maschile), inquadrate da una loggia dipinta su paraste con decori vegetali, su sfondi di paesaggio. La trabeazione è chiusa in alto da un raffinato fregio a monocromo su fondo azzurro.
Situata a Porta Orientale, a ridosso della cinta muraria medioevale, nella parrocchia di S. Babila (oggi corso Venezia 10), la Casa Fontana poi Pirovano, risulta avere un suo nucleo già edificato alla fine del Trecento. Ma forse grazie alle fortune di Francesco, consigliere ducale e commissario ‘sopra le monete’, viene ampliata e riqualificata in senso moderno alla fine del XV secolo. In seguito a un decreto ducale, alla fine del XV secolo, cominciò a prendere piede la moda di affrescare le facciate delle più ricche case milanesi: la casa Fontana rimase per secoli la più celebre di questi esempi, con motivi architettonici e grandi figure, anch’esse attribuite a Bramante, come la sua architettura.
Ancora all’inizio dell’Ottocento si ha testimonianza di un vasto giardino che si estendeva dietro al palazzo e lungo il Naviglio. Nella prima metà del XX secolo, subisce un irrimediabile deperimento, frutto dell’incuria e del disinteressamento dei proprietari, che fa scomparire anche i frammenti degli affreschi in facciata attribuiti al Bramante. Il giardino dei Silvestri, nello stesso periodo, viene eroso da continue edificazioni, nonostante il vincolo posto negli anni Trenta, dopo la copertura del naviglio di Via Francesco Sforza.
