Para conocer los orígenes del Castillo, hay que remontarse a 1429. Juan II de Castilla otorga la villa de Alba de Tormes al Obispo de Palencia, D. Gutierre Álvarez de Toledo, la Casa de Alba, que se convertirá en el linaje más importante de los siglos XV y XVI. Nada más tomar posesión, D. Gutierre manda edificar una Torre-Fortaleza en la parte más elevada de la Villa, donde fija su residencia.
Sus sucesores realizan obras de ampliación del Castillo, pero es D. Fernando Álvarez de Toledo, III Duque de Al- ba, más conocido como el Gran Duque de Alba, con quien el Castillo se engalana con los mejores mármoles, pinturas y tapices; y es cuando se pintan los frescos del Salón de la Armería.
Entre 1567 y 1571, Cristóbal y su hermano Juan Bautista Passin, son los encargados de las pinturas renacentistas que narran las victorias del Gran Duque en la batalla de Mühlberg y otros detalles alegóricos.
Es a mediados del XVI cuando el Castillo toma aires pala- ciegos, convirtiéndose en uno de los más importantes y suntuosos de España, coincidiendo con el máximo es- plendor del Ducado de Alba.