Pierwotnie obszar obejmowały dwie oddzielne posesje: nr 3 - Przed 1743 istniała tu kamienica, zapewne dwupiętrowa z uwagi na wysoki podatek, należąca do Gorczyńskiego. W 1808 miała już dwie długie oficyny boczne i krótką oficynę tylną, zamykającą dziedziniec wewnętrzny. Od lat 20-tych XIX istniał tu Zajazd Berdyczowski. nr 5 - w 1743 stały tu stajnie kpt. Piotra Hiża, wojskowego architekta. Około 1750 powstał segment połączony "Mostem westchnień" - łącznikiem mającym postać piętrowej kamienicy podwieszonej na ulicą - z kamienicą po drugiej stronie ulicy. Przed 1762 zaczęto budowę oficyn bocznych i frontowej, być może według projektu Hiża. Po 1819 powstała oficyna poprzeczna.
Na obu posesjach gdzieniegdzie występowały elementy zabudowy drewnianej.
Przebudowa:
około 1847 obie posesje przeszły na własność Józefa Reszkego, posiadacza kamienic przy Krakowskim Przedmieściu 33 i 39. W ostatniej z nich urządzono mieszkanie właściciela, natomiast inne przekształcono w największy ówcześnie kompleks hotelowy w Warszawie, posiadający ok. 100 pokoi – Hotel de Saxe. W tym celu rozebrano zabudowę drewnianą na działkach przy Koziej 3 i 5 oraz przebudowano niektóre oficyny. Projektantem adaptacji na hotel mógł być Józef Bobiński.
W latach 1878-79 na posesji nr 5 wystawiono według projektu Adolfa Wolińskiego oficynę boczną i kolejne dwie zamykające dziedziniec.
Zniszczone:
w 1944.
Odbudowa:
w latach 1948-49 poprzedzona rozbiórką większości murów.
Budynki frontowe i większość oficyn zostały jednakże zrekonstruowane z zachowaniem specyfiki układu przestrzennego Hotel de Saxe.
