El convento del Carmen fue construido  en honor a San José del Carmen por orden de Don Juan de Zúñiga y Avellaneda y por su mujer, en el siglo XVI  aunque no se inauguro hasta el XVI. En un inicio este quedaba a las afueras de la muralla y por tanto a las afueras del pueblo, pero con el paso de los años y  el crecimiento del pueblo, este se ha visto integrado a el.

En la fachada del convento podemos apreciar una estatua de  piedra de San José  con el niño flanqueada por unas monumentales columnas y dos escudos de los fundadores (Avellaneda, Bazán y Zúñiga).

En el interior podemos apreciar una iglesia renacentista  de una sola nave, con multitud de capillas.

En la iglesia nos encontramos con que está decorada con retablos, algunos lienzos de la escuela italiana, un friso de azulejos talaveranos  y la imagen de la Virgen del Carmen. Todos estos retablos y pinturas pertenecen al siglo XVII, por tanto un avez que fue acabada y sitiada por una comunidad de frailes Carmelitas descalzos, estos no estaban.