Stavebníkem paláce byl říšský hrabě Václav Vojtěch ze Šternberka (1643–1708), který jako potomek jednoho z nejstarších šlechtických rodů patřil k nejmocnějším českým aristokratům. Roku 1690 koupil pozemek v sousedství pražského Arcibiskupského paláce. Na topograficky složité, k Jelenímu příkopu se prudce svažující parcele, stál starší dům středověkého původu. Nový vlastník ihned začal s plánováním stavby rozlehlé rezidence, která se uskutečnila v letech 1699–1708 a jež se připisuje Giovannimu Battistovi Alliprandimu. V roce 1708, kdy stavebník zemřel, byla budova hotová jen částečně.