Inicialmente fue ideado como una casa de reposo, luego se convirtió en monasterio y finalizó su construcción en 1695. Durante la guerra de Independencia expulsan a los frailes, quienes vuelven sólo hasta 1868. En 1909 el famoso cuadro fue trasladado a Sutamarchán, en donde permanece actualmente.