Este palacio, uno de los primeros que se construyeron en la esquina noroeste de la ciudad amurallada al final de la ciudad de Fenzier, Palazzo Pandolfini, Il giardino decorato da siglo 15, tenía un pequeño "Jardín de las Delicias" y un huerto más grande. . Vasari escribe que el edificio fue rediseñado por Rafael, probablemente en 1514, para el obispo Giannozzo Pandolfini. El jardín y el palacio fueron adornados con estatuas, fuentes y exhibiciones de agua, regalos del Papa León X, y una cantidad tan grande de flores y plantas que el palacio se convirtió en un centro cultural en la época de Ferrante (ca. 1550). Filippo (ca. 1600), Roberto (ca. 1750) y otros miembros de la familia. A fines del siglo XVIII, la llamada "rama de palacio" de la familia Pandolfini se habría extinguido si Eleonora, hija de Agnolo, no hubiera adoptado a su sobrino Alessio. A través de Eleonora, que tenía un invernadero construido para contener su colección de plantas ornamentales en invierno, el palacio disfrutó de una nueva vida, y una vez más recibió a artistas y hombres de letras como lo había hecho en el Renacimiento. Desde 1870 hasta alrededor de 1885, Alessio continuó con la renovación del edificio; Este esquema de restauración fue seguido por dos más, en 1954-1956 y en 1994-1996 por Filippo Pandolfini, padre de los actuales propietarios Roberto y Niccolò. El jardín que había sido transformado por Eleonora en un "jardín romántico de estilo inglés" volvió a su esplendor original a través de la esposa del conde Alessio, Sofronia Stibbert, quien también se convirtió en un experto jardinero. Sus colecciones de camelias y cinerarias son famosas, y ciertas rarezas botánicas que cultivó fueron premiadas por la Sociedad Botánica de Horticultura a finales del siglo XIX. Su hijo Roberto construyó un invernadero de orquídeas sobre el invernadero para su esposa Beatrice Corsini, la última alteración hecha a la espléndida residencia Pandolfini.