Mantienen algunos historiadores que la actual Hermandad proviene de la que ya existía en Jerez con el título de los Dolores, fundada esta primitiva asociación en 1664 en el convento de Belén. La titular y única imagen era una Dolorosa. Este convento con el tiempo pasó a ser cárcel. En ella estuvieron los presos de la famosa Mano Negra y los del asalto a Jerez de 1892. Hoy, derruida la misma, es un colegio público.

Se aprueban las primeras Reglas por el Provisorato en 1666. En 1730 se añadió a esta Hermandad al carácter pasional un crucificado bajo el título de La Salud. A fines del siglo XIX se extinguió esta Hermandad, hasta que en el año 1939 es formada una Junta para reorganizar la Hermandad, tomando como sede la parroquia de San Lucas.

Sus primeras Reglas, después de su reorganización, fueron aprobadas por el Cardenal Segura en el año 1940, haciendo su primera Estación de Penitencia en la R.I. Iglesia Colegial sólo con el paso de misterio en el año 1941. Al año siguiente, 1942, procesiona con la imagen de Nuestra Señora de los Dolores, imagen que bajo la advocación del Traspaso procesionaba en la Hermandad de Jesús Nazareno y que fue cedida por la ésta en el año 1941.