En el claustro principal del convento Casa Grande del Carmen, situado en la calle Baños, estuvo en una hornacina mural hasta el siglo XIX recibiendo culto de los carmelitas calzados una efigie de Jesús Caído en tierra en la advocación de las Penas. La razón de ello, al igual que en numerosos conventos de la orden en España, es seguir la veneración de este pasaje como lo hacía San Juan de la Cruz.
En el año 1810 y con motivo de la invasión francesa fue clausurado el convento, quedando sin custodio la imagen. Nuevamente sé apertura el mismo en 1845, sufriéndose a poco el hundimiento de la techumbre de la iglesia, pasando entonces la imagen a presidir la capilla del Santísimo, donde lo mantuvieron hasta que cerrado definitivamente esta Casa Grande por la Junta Revolucionaria en 1868, la Imagen del Señor de las Penas pasó al templo parroquial de San Vicente.
Fray José López Girón, último prior de dicho cenobio, años 1834 y 1835, hizo el libro de un devoto quinario dedicado a Nuestro Padre Jesús de las Penas, cuyas oraciones mantiene la Hermandad.
La efigie que representa esta advocación es un Cristo caído en tierra por el peso del madero, que apoyando su mano derecha en el suelo, vuelve la cabeza al pueblo con una mirada mezcla de angustia y de ternura. Imagen esta que mide 1,34 m. desde la cabeza al talón y que posee túnica tallada, con rico estofado policromado y esgrafiado de color grisáceo, perfectamente acabado al frente y sólo dibujo en el dorso.
La citada comunidad de Carmelitas Calzados, con objeto de poder colocarle una túnica de tela, procedió a la mutilación de la talla de la imagen, llegando incluso a seccionar su brazo derecho.
D. Rafael Alba, religioso carmelita exclaustrado y cura párroco de San Vicente en unión del cura de este templo D. Juan Becerra y Reyes, y los feligreses: José Casajus y Vaya, Cristóbal Bonilla, Juan Ordóñez Becerra, Francisco y José Becerra Reyes, Ramón García, José Gorea Vázquez y Leocadio Luna, deciden dar culto al Señor Caído de las Penas y redactan unas Reglas, tomándolo como titular, uniendo una imagen de tristeza de María con la titulación de los Dolores, que recibía culto en la parroquia, y que según parece provenía de una esclavitud Servita que residió allí en el siglo XVIII. Fueron aprobados los primeros estatutos por el Arzobispado el 19 de abril de 1875, en tiempos del cardenal arzobispo Luis de la Lastra y Cuesta.
A finales del siglo XIX tuvo poca vida la Hermandad ya que el libro de cuentas de su fundación queda cerrado el día 1 de junio de 1896, debido a que no se restablecía de los gastos tenidos en las anteriores salidas procesionales, pasando a un estado de postergación.
En 1923 un grupo de cofrades formados por José L. Rojas Sobrino, Eduardo Llosent y Marañón, Francisco L. Cañas Trujillo, Juan A. Rull Benito, Luis Piazza de la Paz y Vicente del Río Tejero, presididos por el que sería alma y corazón de la Hermandad durante muchos años y forjador del estilo que tiene, Domingo Bellido Vázquez, se plantearon la necesidad de reorganizar la Corporación.
No fue fácil para este grupo de hombres la reorganización de la misma, ya que contaron desde un principio con la oposición de D. Francisco Torres Galeote, cura párroco de San Vicente, siendo necesaria la intervención de D. Ángel Sánchez Susillo, canónigo de la Santa Iglesia Catedral, que perteneció a la Cofradía en su poca fundacional, para que finalmente quedara constituida canónicamente en esta iglesia.
Hasta el año 1946 las imágenes titulares estuvieron situadas en altares distintos, ubicados además en zonas separadas dentro del templo, hasta que por fin, en este año quedan colocadas en una misma capilla, a la cabecera de la iglesia, en la nave de la Epístola. A partir de este momento, la Cofradía inicia una gran escalada tanto en materia espiritual como en esplendor, viéndose hoy coronada tanto por sus cultos como por esos dos pasos, que están considerados como una de las joyas de nuestra Semana Santa.
Cabe destacar, asimismo, tanto su Estación de Penitencia como el estilo que tiene la Cofradía en todas sus manifestaciones y cultos internos, de la que D. Santiago Montoto, ilustre historiador de la Ciudad, escribió: «que por el empaque con que hacen la Estación, por la religiosidad de sus devotos y por sus antiguas imágenes, parece Cofradía creadas en el siglo XVIII, que tal es el espíritu que han sabido infundirle».
Asimismo, Joaquín Romero Murube dijo: «Estilo propio. Este es el ápice y excelso de las Cofradías sevillanas. Y Nuestro Padre Jesús de las Penas y la Virgen de los Dolores lo tienen. Se puede ser macareno, o del Cachorro, o de Pasión, o de la Quinta Angustia… Pero con igual fisonomía peculiar y respetable se puede ser de San Isidoro, de las Penas de San Vicente o de la Soledad de San Lorenzo…».
En octubre de 2010, fruto de la vinculación de esta Hermandad desde sus inicios con la Orden del Carmen, el Prior General de la orden Rvdmo. P. Fernando Millán Romeral, le concedió a esta la carta de afiliación a la misma.
Las Penas: