A pesar de que actualmente cada año se le hace un homenaje, la devoción a la Virgen ha pasado por momentos críticos, como sucedió en el siglo XIX en el que la cofradía prácticamente desapareció según contiene el ‘Memorial de Cultos de la Parroquia de Santiago’ correspondiente al año 1854.
Otro periodo de crisis estuvo marcado por la II República en marzo de 1936 con la quema de iglesias y conventos. La imagen de la Virgen fue profanada y arrojada al suelo. Como consecuencia de estos actos, la talla tuvo que ser restaurada.