El parque, de 14 hectáreas, nació sobre 1784 cuando los Duques de Osuna adquirieron esta finca. Fue la duquesa, doña María Josefa de la Soledad Alonso Pimentel, la principal impulsora de este espacio verde, creando un auténtico paraíso artístico natural frecuentado por las personalidades más ilustres de la época. Sin embargo, cuando los jardines fueron heredados por uno de sus nietos, tras la muerte de la Duquesa, comenzó su declive.

​

Tras perder la fortuna familiar, El Capricho fue subastado y pasó a manos de la familia Baüer. Fue durante la Guerra Civil cuando este lugar de recreo se convirtió en Cuartel General del Ejército del Centro. Una vez finalizada, estuvo en manos de diferentes inmobiliarias hasta que el Ayuntamiento de Madrid lo comprase en 1974, recuperándose tras varios periodos de abandono en el año 1999. ​

​