Esta casa-palacio data del siglo XVIII y a lo largo de su historia ha pasado por distintos propietarios y usos. Se caracteriza por su fachada, el torreón levantado sobre una vía pública y el patio, que se cierra con media naranja presentando tribunas en las paredes laterales. El diario “El Castellano”, en su edición especial de Madridejos de septiembre de 1928, la describía así: “Tras el zaguán hay una cámara espaciosa, de techo abovedado, con fuertes nervaduras góticas, que en las pechinas ostenta unos balconcillos o tribunas de barandal de madera… En el piso alto, otras cámaras que fueron salón o estrado y alcoba, una leyenda en azulejos reza que el 21 de marzo de 1796, de paso para Sevilla, pernoctaron aquí las majestades de don Carlos IV y su augusta consorte doña María Luisa”. Su propietario en 1796 era Joseph Matheo de Pando y Galiano, casado con Francisca Gallego, que ocupó todos los cargos públicos del municipio y tenía además contactos en la Corte de Madrid, razón por la cual los reyes se hospedaron en su casa. Con los años, el palacio perteneció a los herederos de la Condesa de la Cañada que en 1933 lo venderían al Servicio Nacional del Trigo siendo utilizado como almacén de grano. El Ayuntamiento lo adquiere en 1979 y pasa aún por un periodo de abandono hasta ser finalmente restaurado, destinándose parte de su solar a Centro de Salud y el resto a Casa de Cultura, Biblioteca y Escuela de Música.
