Ce palais, l'un des premiers à être construit dans le coin nord-ouest de la ville fortifiée à la fin de Firenze, Palazzo Pandolfini, Il giardino decorato da statue du XVe siècle, avait un petit "Jardin des délices" et un plus grand potager . Vasari écrit que le bâtiment a été redessiné par Raphaël, probablement en 1514, pour l'évêque Giannozzo Pandolfini. Le jardin et le palais étaient ornés de statues, de fontaines et de jeux d'eau - cadeaux du pape Léon X - et d'une telle quantité de fleurs et de plantes que le palais devint un véritable centre culturel à l'époque de Ferrante (vers 1550). Filippo (environ 1600), Roberto (environ 1750) et d'autres membres de la famille. À la fin du XVIIIe siècle, la soi-disant "branche de palais" de la famille Pandolfini se serait éteinte si Eleonora, fille d'Agnolo, n'avait pas adopté son neveu Alessio. À travers Eleonora, qui fit construire une serre pour contenir sa collection de plantes ornementales en hiver, le palais connut un nouveau souffle et accueillit à nouveau artistes et hommes de lettres comme il le faisait à la Renaissance. De 1870 à 1885 environ, Alessio poursuivit la rénovation du bâtiment. Ce projet de restauration a été suivi de deux autres, en 1954-1956 et en 1994-1996, par Filippo Pandolfini, père des propriétaires actuels, Roberto et Niccolò. Le jardin transformé par Eleonora en un "jardin romantique à l'anglaise" a retrouvé toute sa splendeur d'origine grâce à l'épouse du comte Alessio, Sofronia Stibbert, qui est également devenue une jardinière experte. Ses collections de camélias et de cinerarias sont célèbres, et certaines raretés botaniques qu'elle a cultivées ont été primées par la Société botanique d'horticulture à la fin du 19ème siècle. Son fils Roberto a construit une serre à orchidées au-dessus du conservatoire pour son épouse Beatrice Corsini, dernière modification apportée à la magnifique résidence Pandolfini.