1772 erwarb der Regierungsadvokat Johann Kaspar Wolf das Anwesen von dem kurfürstlichen Kämmerer Franz Gustav Freiherr von Gobel auf Hofgiebing und ließ es im Stile des Rokoko neu aufführen. Seinen heutigen Namen verdankt das Haus dem Buchhändler Josef Fenzl, in dessen Besitz es 1908 kam.