Sobre los orígenes de esta iglesia encontramos dos versiones, según la primera, su construcción se debe a la Hermandad de Nuestra Señora de los Remedios y del Carmen. Según la segunda, sus autores fueron los miembros de la Cofradía de San Juan Bautista.

Las fechas de fabricación también difieren: 1564, dicen algunos, y otros cuentan que en 1615 aun no habían comenzado los trabajos. Lo cierto es que el pequeño local, casi una ermita, se construyó en terrenos del Hospital de San Andrés.

Como la capilla resultaba pequeña fue ampliada alrededor del año 1729.

De la primera construcción es el actual ábside, fabricado de sillares o grandes piedras labradas y, de la última, se dice que es la actual puerta principal, de estilo gótico y valor incalculable.

Entre sus tesoros artísticos figura una imagen de Jesús Nazareno, valiosa talla en madera del siglo XVI, procedente del antiguo monasterio de San Francisco.

Como tradición, la imagen de la Virgen Dolorosa y del Nazareno salen en procesión de este templo la noche del miércoles de Semana Santa, en un recorrido por las vías coloniales, tal como se hacía en sus orígenes.