El Señor de las Penas ha acudido a la llamada de los carmelitas del Buen Suceso por ser esta orden la fundadora de la hermandad en el extinto convento de la calle Baños. En el claustro principal, la imagen recibía culto en una hornacina … hasta el siglo XIX, donde los carmelitas veneraban a Jesús Caído en Tierra bajo la advocación de las Penas, siguiendo la tradición de este pasaje tal como lo hacía San Juan de la Cruz.
En 1810, a comienzos del siglo XIX y a causa de la invasión francesa, el convento fue clausurado, quedando la imagen del Señor de las Penas sin custodio. Años más tarde, en 1845, el convento reabrió sus puertas, pero, con el paso del tiempo, la techumbre del templo comenzó a hundirse. La talla fue entonces trasladada a la capilla del Santísimo, donde permaneció hasta 1868, año del cierre definitivo del convento, momento en el que la imagen fue llevada a la parroquia de San Vicente.
Rafael Alba, religioso carmelita exclaustrado y párroco de San Vicente, junto a los feligreses Juan Becerra y Reyes, y los feligreses José Casayus y Vayas, Cristóbal Bonilla, Juan Ordóñez Becerra, Francisco y José Becerra Reyes, Ramón García, José Gorea Vázquez y Leocadio Luna, decidieron dar culto al Señor y redactar unas reglas. Tomaron como titulares al Señor de las Penas y a una imagen de María en su tristeza, bajo la advocación de los Dolores, que recibía culto en la parroquia y procedía de una esclavitud servita que residió en dicho lugar hasta el siglo XVIII. El Arzobispado aprobó las primeras reglas el 19 de abril de 1875, cuando la iglesia de Sevilla estaba presidida por el cardenal Luis de la Lastra y Cuesta.
En esta etapa, cuando se fundaba la hermandad de las Penas, España vivía la Restauración Borbónica con el regreso al trono del Rey Alfonso XII tras el fin de la Primera República, consolidándose el régimen político impulsado por Antonio Cánovas del Castillo. Asimismo, continuaba la Tercera Guerra Carlista, que concluiría en 1875, y se sentaron las bases de un sistema político que marcaría la segunda mitad del siglo XIX.
Se constituyó un nuevo sistema político basado en la Constitución de 1876, promovido por Antonio Cánovas del Castillo con el fin de garantizar la estabilidad del Estado liberal mediante un sistema de alternancia de partidos. Por otra parte, en este mismo periodo el científico francés Paul-Émile Lecoq de Boisbaudran descubrió el galio; nació Antonio Machado; se estrenó la ópera Carmen, de Georges Bizet; y se llevó a cabo la primera exploración de las cuevas de Altamira, en Cantabria.
Todos estos acontecimientos ocurrían mientras nacía la hermandad de las Penas, una corporación que, años más tarde de su fundación, en 1923, un grupo de cofrades formados por José L. Rojas Sobrino, Eduardo Llosent y Marañón, Francisco L. Cañas Trujillo, Juan A. Rull Benito, Luis Piazza de la Paz y Vicente del Río Tejero, además de Domingo Bellido Vázquez, reorganizan la institución. No fue nada fácil porque el párroco de la época, Francisco Torres Galeote, se opuso, hasta que la intervención de Ángel Sánchez Susillo, canónigo de la Catedral de Sevilla, perteneciente a la etapa fundacional de las Penas, quedaba constituida en el citado templo la hermandad.
De ahí hasta la actualidad, las Penas es una hermandad consolidada, con uno de las mayores tesoros de la Semana Santa de Sevilla, en pleno crecimiento, una corporación que parece llevar toda una vida en la ciudad dando culto al Señor y a la Virgen.