El Palacio de los Condes de Argillo fue en origen la casa nobiliaria de Don Francisco Sanz de Cortés, infanzón zaragozano cuya prosperidad económica y social le lleva a ampliar su casa, sita en la Plaza de San Felipe, entre 1659 y 1661, para darle un aspecto nobiliar acorde con su nueva posición; para ello añadirá una nueva fachada, el patio, la escalera y el salón en la parte delantera de la planta noble. Nombrado Marqués de Villaverde en 1670 por Carlos II, van a sucederse con su hijo y nieto, una serie de reformas en el palacio que afectarán en parte a la iglesia de San Felipe, con la que compartía medianiles. Cuando su nieto marcha a Madrid, la casa se desvincula de la familia, hasta que la Condesa de Argillo lo hereda en 1837, denominándose a partir de entonces Palacio de los Condes de Argillo. Las trazas del edificio pertenecen a Juan de Mondragón, sucedido en el trabajo a partir de 1660 por Felipe Busignac y Borbón.
El edificio resultante posee las características de la arquitectura civil de la nobleza aragonesa en la transición del modelo del Renacimiento al Barroco, adaptando a una expresión característicamente barroca a la organización y los elementos de las obras domésticas renacentistas. Tales son el mirador de arquillos de medio punto doblados, o la sucesión: zaguán, patio y escalera, aunque todo ello tiene ya otro tratamiento.
En la fachada destaca el gran alero de madera, muy volado, la galería superior de arquillos y la portada de arco de medio punto con jambas y dovelaje de piedra negra, un contraste cromático típico del barroco. Los espacios internos se articulan en torno a un patio central, rodeado por galerías, que en la planta baja adintelada está recorrido por ocho columnas anilladas, mientras que el principal lo hace con arquería de medio punto sobre columnas toscanas como las del piso inferior. El patio queda coronado por un llamativo alero de madera en el que se han representado los doce signos del zodíaco, además de máscaras y frutos.
Transformado en Colegio de San Felipe desde 1860, fue declarado Monumento Nacional en 1943, y sede de la ONCE en 1946.
Desde 1985 es la sede del Museo Pablo Gargallo, y frente a su fachada se colocaron las esculturas del Atleta Clásico y el Atleta Moderno, realizados en 1928-29 para la Exposición Internacional de Barcelona de 1929 para el Estadio Olímpico de Montjuic.