Al principio del siglo XVIII, en el primitivo templo de San Pedro, tenía sede y capilla la Hermandad de Ánimas de San Pedro, que provenía del convento de mínimos de la Victoria. En esta iglesia también se veneraba una devota efigie del Santo Ecce-Homo.

En 1758 se construye el nuevo templo de San Pedro y la Hermandad se traslada al mismo. El venerado Ecce-Homo es colocado en una hornacina bajo una Dolorosa. Ambas imágenes despertaron gran devoción y fervor en la ciudad, dando origen a que en el año 1949 un grupo de entusiastas cofrades gestaran la posibilidad de que la talla de la Dolorosa procesionara en la Semana Santa de Jerez.

En 1951, tras la finalización del triudo a las devotas imágenes, los hermanos nombran titular de la pretendida cofradía a la antigua imagen Dolorosa, bajo la advocación de Nuestra Señora de Loreto en su Soledad. Loreto es un importante centro de peregrinación mariana, situado en la provincia de Ancora (Italia). Esta advocación arranca de una tradición que data de los siglos XV y XVI, según la cual, la casa de María en Nazareth, fue trasladada milagrosamente por ángeles a Loreto. En 1920 el Papa Benedicto XV nombró Patrona de los Ejércitos del Aire a la Virgen de Loreto. En el año 1926 hizo lo propio la Aviación Española, vinculando a esta Hermandad con el Ejército del Aire.

En el año 1973 y por las obras que se comenzaron en la Parroquia de San Pedro, la Hermandad realiza su salida procesional desde el cercano convento de Santo Domingo. Estas salidas desde el citado convento se demoraron hasta el año 1981, en el que su recogida se realizó de nuevo en su sede de la iglesia de San Pedro.