Palác byl vybudován v letech 1697 až 1698 na šestibokém půdorysu a náleží k výrazným stavbám panoramatu zakončeného monumentální siluetou Pražského hradu. V 18. století změnil několikrát majitele, až v roce 1741 získala palác Barbora Krakovská z Kolovrat, jejíž rod vlastnil palác téměř století. Roku 1831 ho Kolovratové prodali generálovi Janu Josefovi knížeti z Lichtenštejna. Ten palác upravil, stejně jako řada dalších majitelů, mezi nimiž byl například i mlynář František Odkolek. Od roku 1897 patřil palác pražské obci.
Mezi lety 1979 až 1991 prošel palác rekonstrukcí podle projektu architekta Kamila Fuchse pro potřeby předsednictva vlády. Jeho prostory se rozšířily o jedno podzemní podlaží a obvodové zdi byly zabezpečeny proti hrozícímu se sesutí do Vltavy. Ničivé povodně v roce 2002 poničily přízemní prostory a palác čekala další nákladná oprava.
V apartmánech situovaných do druhého patra pobýval při návštěvě Prahy v roce 1995 španělský král Juan Carlos s chotí Sofií, o rok později tam byla ubytována britská královna Alžběta II. se svým manželem princem Filipem a v roce 2002 japonský císař Akihito s císařovnou Mičiko. V roce 2006 zde pobýval ruský prezident Vladimir Putin. Jednotlivé sály a salonky jsou využívány také k pracovním setkáním a poradám, odborným seminářům a konferencím.
