Šternberský palác na Hradčanském náměstí je významnou barokní památkou, která vznikla, podobně jako zámek v Tróji, na objednávku hraběte Václava Vojtěcha ze Šternberka a jeho manželky Kláry z Maltzanu. Plán půdorysu paláce koncipoval Domenico Martinelli po roce 1697, původně s předpokladem, že se staveniště rozšíří až k Hradčanskému náměstí. Kolem přelomu století je na stavbě doložena účast Kryštofa Dienzenhofera a v závěrečné fázi stavby Giovanniho Battisty Alliprandiho.
Roku 1811 koupila palác od Leopolda ze Šternberka Společnost vlasteneckých přátel umění. Do roku 1819 byl stavebně upravován pro galerijní potřeby. Sbírky Společnosti byly pro veřejnost zpřístupněny v roce 1814. Roku 1871 prodala Společnost vlasteneckých přátel umění palác statkáři Heliodoru Heidlovi. Ten jej již následujícího roku prodal Spolku paní a dívek sv. Anny, který zde začal provozovat "Ústav idiotů", zvaný na počest předsedkyně spolku Ernestiny Auersperkové Ernestinum. Roku 1919 byla budova zabrána pro potřeby Ministerstva národní obrany, které zde zřídilo intendantní školu.
Za Protektorátu, po zrušení Spolku paní a dívek sv. Anny, získala palác Kongregace školských sester III. řádu sv. Františka Serafínského. Ta zde ani nesídlila ani neprovozovala žádnou činnost, protože v objektu bylo umístěno vládní vojsko. Po skončení druhé světové války se do těchto prostor na čas vrátilo Ministerstvo národní obrany společně s úřadovnou kárného výboru.
Od roku 1946 začala budovu využívat a stavebně upravovat NG, která sem umístila své sbírky. Ve druhém patře stojí za pozornost štuky, které provedl Giuseppe Donato Frissoni roku 1707, rok před ukončením stavby paláce. Dvě nástropní malby zobrazují výjevy sebevraždy královny Didony a truchlící panovnice Artemisie a jsou dílem Michala Václava Halbaxe. Iluzivní fresky na stropech Antického a Čínského kabinetu jsou dílem Švýcara Jana Rudolfa Byse (1662-1738) a stěny toho druhého vyzdobil ve stylu chinoiserie Jan Vojtěch Kratochvíl (1667-1721).
