Según la tradición, este lugar está construido sobre las antiguas mazmorras de los cautivos cristianos en tiempos nazaríes. Una vez que la ciudad fue conquistada por los Reyes Católicos se convirtió en un convento de Carmelitas en el que estuvo algunos años como prior San Juan de la Cruz. Su aspecto actual corresponde al siglo XIX, apreciándose las tendencias orientalistas del momento. Los jardines son una mezcla acertada de modelos franceses e ingleses junto con la estética de los jardines andalusíes.