Budowa:
przed 1669
Na posesji należącej w XVII w. do rodziny Baryczków stał dwór z ogrodem, zbudowany według zasady "entre cour et jardin".
W późniejszym okresie zmieniał kilkukrotnie właścicieli, aby w 1738 stać się własnością Kazimierza Dębskiego (wojewody sieradzkiego) a w 1764 księżnej Marii Karoliny z Lubomirskich Radziwłłowej.
Przebudowany:
przed 1790 (wnętrza przebudowywane przez księżną od około 1762).
Po śmierci Radziwiłłowej w 1795 pałac wielokrotnie zmieniał właścicieli, jednym z nich był cukiernik Antoni Baldi, którego inicjały zostały umieszczone w zwieńczeniu bramy.
W późniejszym okresie na terenie ogrodu powstały oficyny.
Zniszczony:
w 1944.
Odbudowa:
w latach 1951-54 według projektu Mieczysława Kuzmy, Jerzego Brabandera i Zbigniewa Kropisza.
