La costruzione di Palazzo Pfanner risale al 1660. Fu la famiglia Moriconi, appartenente alla nobiltà mercantile lucchese a commissionare la sua costruzione. Rovinato dalla bancarotta, la famiglia Moriconi fu costretta nel 1680 a vendere l'edificio alla famiglia Controni, mercante di seta che era salita alla nobiltà. La famiglia Controni estese l'edificio: intorno al 1686 presiedettero alla costruzione della grande scalinata monumentale, presumibilmente sui progetti dell'architetto lucchese Domenico Martinelli, attivo soprattutto nelle capitali europee di Vienna e Praga; all'inizio del XVIII secolo commissionarono, con ogni probabilità, a Filippo Juvarra il potenziamento del giardino retrostante; ancora nello stesso periodo affidarono ai pittori "quadraturisti" locali la decorazione delle volte della scala e l'interno della residenza aristocratica. È nella residenza che la famiglia Controni ospitò il principe Federico di Danimarca che stava compiendo un grande giro d'Italia.