Conocido durante muchos años en el siglo XX como Palacio de Montarco por su propietario el conde de Montarco. Su promotor, pudo ser Francisco Hernandez de Ávila y Tiedra , corregidor de Ciudad Rodrigo en 1499, el cual a fines de ese siglo o principios del XVI promovió un edificio de planta cuadrada con patio interior. En todo caso las características arquitectónicas lo situarían en el último gótico, en su transición hacia el plateresco.
Se sitúa en la conocida hace años como plaza de S. Isidoro, actual plaza del Conde que estaba conformada por cuatro edificios: dos inexistentes hoy en día, como la Casa principal de los Silva y el Monasterio de las Descalzas (edificado sobre la antigua iglesia de S. Isidoro) y el Palacio del Conde de Alba de Yeltes (actual Caja Duero o banco CEISS) y el edificio en cuestión que estamos analizando. Estos cuatro edificios perfilarían la actual plaza del Conde.
Destaca la imponente fachada que nos describe un amplio rectángulo que en su parte central remata con una cornisa muy decorada, en dos órdenes, el inferior a modo de dentículos y el superior imitando una vara donde serpentea la decoración.
Destaca la imponente fachada que nos describe un amplio rectángulo que en su parte central remata con una cornisa muy decorada, en dos órdenes, el inferior a modo de dentículos y el superior imitando una vara donde serpentea la decoración.
Cornisa que desaparece en los extremos lo que nos puede indicar la existencia de dos torres que fueron derruidas o que se proyectaron, pero no se construyen, algo no infrecuente.
Toda la fachada es de sillería bien labrada, de los dos pisos con los que cuenta el edificio, el inferior está rasgado por cinco vanos semicirculares con derrame hacia el exterior parecido a otros existentes en la localidad.
En la fachada destacan las ventanas del piso superior, por su profusa decoración y por su diseño. Tres de ellas son maineles y montantes de tracería en cruz, muy al estilo del gótico francés.
Las ventanas, cuentan también con molduras decoradas a base de follaje, basas góticas y diversos antepechos con abundante decoración de grutescos, como puede observarse.
La portada, descentrada respecto a la amplia fachada del palacio, es de dintel adovelado con los extremos redondeados y basas góticas. El alfiz, un elemento muy característico en las portadas de C. Rodrigo, se eleva a modo de columnillas delimitando la parte central; sobre el cual se ha realizado el escudo principal, sostenido por dos chicos desnudos y alados. Debajo del alfiz un Victor, que se refiere probablemente al doctor Juan Rodriguez de Barrientos que en la segunda mitad del siglo XVI era canónigo de la catedral. Lo que también dio pie a que fuera conocida como casa Barrientos durante años.
Toda la portada, queda enmarcado por dos semicolumnas torsas, sobre las que se apoyan las figuras de sendos leones, uno en cada columna.
Fue declarado Monumento Nacional en 1958 y actualmente es un establecimiento hotelero abierto al público, pudiendo visitar sus salones e interior, en los días que permanece abierto al público.