Budowa:
przełom XVII/XVIII w.
Pałac powstał dla biskupa Teodora Potockiego.
Przebudowy:
zakupiony w 1726 przez króla Augusta II dla córki - Anny Orzelskiej.
Pałac przebudowany przez Daniela Joachima Jaucha, Jana Zygmunta Deybla i Karola Fryderyka Pöppelmanna. Od koloru dachu nazywany pałacem Błękitnym.
od 1730 w rękach rodziny Czartoryskich - przebudowany w latach 1766-68 według projektu Jakuba Fontany oraz w latach 1770-81 według projektu Efraima Schroegera.
Od 1811 roku w rękach rodziny Zamoyskich.
W latach 1812-15 przebudowany w stylu klasycystycznym według projektu Fryderyka Alberta Lessla.
W latach 1816-17 powstał także budynek biblioteki.
W latach 1866-68 biblioteka przebudowana Juliana Ankiewicza.
W skład zespołu pałacowego wchodził główny pałac z pawilonem mieszczącym zbiory Biblioteki Ordynacji Zamoyskich, oficyny przy Senatorskiej 39 róg Żabiej, budynek pomiędzy oficyną a pawilonem biblioteki oraz zespół budynków gospodarczych wzdłuż granicy z posesją Senatorska 33 i kościołem św. Antoniego oraz we wschodnim narożniku posesji graniczącej z Ogrodem Saskim.
Zniszczony:
we wrześniu 1939.
Ruiny oficyn na rogu Senatorskiej i Żabiej zostały rozebrane w czasie okupacji. W ich miejscu w czasie II wojny światowej zostało wytyczone przedłużenie Marszałkowskiej przez Ogród Saski (rozpoczęte przed 1935 budową ulicy pomiędzy Królewską a pl. Żelaznej Bramy).
Odbudowa:
1948-50 według projektu Zasława Malickiego i Brunona Zborowskiego z przeznaczeniem na biura różnych instytucji, m.in. Miejskich Zakładów Komunikacyjnych (obecny ZTM).
Ze względu na rozbudowę ul. Marszałkowskiej i budowę torowiska, pomiędzy budynkiem biblioteki a korpusem głównym pałącu przebito przejście łączące Ogród Saski z pl. Bankowym.
Od 2000 w rękach prywatnych, w 2011 budynek opuszczony przez ZTM, od tego czasu opuszczony i oczekuje na remont.
