Mantienen algunos historiadores que esta Hermandad fue concebida por el gremio de canteros en 1660. Eran lo mismos canteros que construían la Iglesia de Santiago y vivían en sus aledaños como la calle Cantarería nos recuerda aún. Otros datan su aparición sobre el año 1680.

Esta Hermandad fue fundada bajo las advocaciones del Prendimiento de Jesús, Nuestra Señora del Desamparo y el Apóstol San Pedro. Tuvo un gran auge en sus momentos fundaciones, mermando éste a finales del siglo XVIII, para llegar casi a desaparecer en la primera mitad del siglo XIX. En 1893 vuelve a surgir pujante.

Es muy probable que en un principio esta Hermandad sacara un paso para cada una de sus imágenes. En el año 1948 se incorporan al paso las imágenes de San Juan y Santiago. Estas imágenes procesionaron por poco tiempo. Es la segunda Hermandad, junto con la Hermandad de la Oración en el Huerto, que procesiona en Jerez con un olivo, este natural, en el paso de misterio.

Durante los años que duró las obras en la parroquia de Santiago, 1956 al 1968, por derrumbe de dos tramos de la nave principal, esta Hermandad realizaba sus salidas procesionales desde distintos templos de Jerez. En 1955 salió de la parroquia de San Marcos, en 1956 y 1957 de la iglesia de la Victoria y a partir de 1958 y hasta 1967 de la capilla del Asilo de San José, El primer año en el Asilo de San José, salió sólo el Señor, sobre una parihuela, hasta que se construyó una puerta amplia a la calle Nueva. A partir de 1968, volvió a realizar su salida procesiona desde su sede canánonica la parroquia de Santiago.