Il Palazzo è il frutto di una serie di interventi edilizi eseguiti per lo più nella seconda metà del Settecento, volti a testimoniare la nobiltà di una delle più importanti famiglie della città, la famiglia de’ Rossi.
Palazzo Buontalenti, interessante esempio di architettura fiorentina di fine Cinquecento, occupa un’importante porzione urbana antistante a Palazzo de’ Rossi.