El II marqués de Viana fue uno de los hombres más influyentes en la corte del rey Alfonso XIII, del que fue amigo personal. Militar y experto en temas agrícolas, en 1918 empezó a madurar la idea de crear un espacio expositivo en el palacio, sin que interrumpiera la vida familiar. Para ello, adquirió importantes colecciones de azulejos, cueros o libros, que se pueden contemplar durante la visita al interior, y dirigió las obras para su exhibición. También arregló los patios, que adquirieron reconocimiento internacional.