Alla por el año 1400. eran tantas las personas que morian en la mayor de las miserias por falta de medios economicos, que a la Cofradia de la Caridad, donde se reunen artesanos, comerciantes y personajes de la alta jeraruia, se le concede licencia para que construyan, con la idea de ayudar a desvalidos y moribundos, el Hospital de la Caridad.

En 1862 se convierte en el Museo de Bellas Artes

Es un edificio medieval del que se conservan la fachada ; la capilla de 1509 , convertida en una de las salas del museo, cubierta por una boveda de escayola pintada por Rafael Romero de Torres con toques neobarrocos; la escalera con artesonado mudejar y decorada con pinturas murales que representan un Calvario, a San Francisco de Asis, y a San Jeronimo, que estan bastante deterioradas.El patio es cuadrado, esta muy modificado y es la antesala del museo, en la parte de fachada que da al patio, aun se aprecian restos de uno de los lados del claustro. Es el patio lo que separa el Museo de Bellas Artes del de Julio Romero de Torres

En la planta baja del museo hay tres salas.
Una de ellas muestra obras del siglo XVI y XVII , destacan entre otras, una talla del niño Jesus en madera obra de Juan de Mesa,la Virgen de los Plateros hecha por Valdes Leal, etc.

Otra sala guarda objetos de la coleccion familiar de los Romero de Torres, varias obras de Romero Barrios y de su hijo Julio Romero de Torres. Tambien hay un busto de Julio Romero realizado por Mariano Benlliure.

La ultima de las salas muestra una numerosa serie de piezas de Mateo Inurria, entre ellas estan Las Tres Edades de la Mujer, Naufrago, Gitana etc.
En el piso superior esta la galeria dedicada a la exposicion rotativa de dibujos que abarca desde el Barroco al siglo XX.
En el Museo hay dibujos de Fortuni, Sorolla, Bartolozzi etc. Grabados de Goya, Carnicero Ricardo Baroja etc.

En la escalera del Museo, junto a las pinturas murales se conservan unos curiosos graffitis dibujados en los siglos XVI o XVII por enfermos del antiguo hospital, unos son circulos con forma de laberinto que los estudiosos relacionan entre otras cosas con " las pruebas rituales de iniciacion como lugar de aprendizaje del neofito respecto a su entrada en los territorios de lamuerte" ¿?, en otros se distinguen unos garabatos

El Museo de Bellas Artes esta en la Plaza del Potro