Il castello occupa un vasto spazio quadrato al centro di Milano, di fronte alla Piazza del Duomo, all'estremità opposta del viale che li collega. Fu la residenza dei duchi di Milano, costruito a partire dal 1360 da Galeazzo II Visconti e dai suoi successori Gian Galeazzo Visconti e Francesco Maria Visconti. Demolito dai Milanesi nel 1447 durante il breve periodo repubblicano, fu ricostruito dal 1450 da Francesco Sforza, marito dell'ultima erede dei Visconti. Alla forma originaria furono allora aggiunte la torre d'ingresso progettata dal Filarete e i torrioni rotondi ai due angoli laterali. Con Ludovico Sforza il Moro, il castello si arricchisce dell'opera di Bramante, che progetta l'elegante ala laterale della Ponticella, e di Leonardo da Vinci, che dirige la realizzazione degli affreschi della Sala delle Asse.

Durante le successive dominazioni francese, spagnola, austriaca e napoleonica, il castello, retrocesso a semplice postazione militare e appesantito da ulteriori fortificazione esterne, subì seri danneggiamenti. Dopo l'unità d'Italia furono decisi i lavori di restauro, che iniziarono con la definitiva rimozione delle rimanenti fortificazioni esterne e culminarono con la completa ricostruzione della torre del Filarete, che guarda il Duomo.

Oggi il castello ospita alcuni musei cittadini. Al pianterreno si trova il Museo di Arte Antica, la cui esposizione è organizzata in un ambiente disadorno ma proprio per questo decisamente evocativo, perché dà tutta la scena alle opere in mostra. Espone soprattutto sculture lombarde risalenti ai periodi romanico, gotico e rinascimentale. Tra le opere presentate la più famosa è sicuramente la Pietà Rondanini di Michelangelo, opera emblematica e essenziale alla comprensione dell'approdo artistico del più grande scultore di tutti i tempi.

Al primo piano si trova la Pinacoteca, che espone interessanti opere rinascimentali e barocche, con quadri di Giovanni Bellini, Mantegna, Borgognone, Moroni, Tiepolo, Lorenzo Lotto, Guardì. Nei sotterranei si trova invece il Museo Archeologico, con esposizione di reperti selezionati tra la più vasta dotazione del Museo Archeologico Nazionale di Corso Magenta. Infine il Museo degli Strumenti Musicali, che presenta una vasta collezione di strumenti di ogni tipo: archi, tastiere, fiati e a corda.