Wraz ze śmiercią wielkiego inicjatora i fundatora Kalwarii Zebrzydowskiej Michała Zebrzydowskiego w 1667r. wygasł ród Zebrzydowskich, lecz dzięki koligacjom rodzinnym ich spuścizna rodowa i spełnianie roli fundatora sanktuarium przeszła na Czartoryskich. Patronat nad kalwarią przejęła Magdalena Konopacka zCzartoryskich wielka orędowniczka sanktuarium i klasztoru bernardynów. Między innymi zjej inspiracji rozbudowano kościół klasztorny i wzniesiono klasztorne zabudowania gospodarcze. O sympatii do miejsca i bernardynów świadczy fakt, że Czartoryscy w latach 1729- 1731 wznieśli tutaj dla siebie barokowy pałac, wktórym często przebywali. Pałac przetrwał do 1871r. kiedy to został rozebrany i wjego miejsce w latach 1984 – 1993 w oparciu o projekt opracowany przez Janusza Bogdanowskiego zbudowano Wyższe Seminarium Duchowne w Kalwarii Zebrzydowskiej. Z pałacu pozostały jedynie zabudowania oficyny, bramy wjazdowej oraz fragmenty fosy i most nad fosą.
