W okresie zaboru rosyjskiego pałac został doszczętnie ograbiony z wyposażenia.

Drzewa i krzewy wywieziono do rezydencji carskich, a ponad dwadzieścia rzeźb z pałacowego ogrodu do Petersburga. Częściowo zniszczono też elementy elewacji, jej rokokowe ornamenty i po adaptacji pomieszczeń, ukazem carskim umieszczono w pałacu w 1841 roku pensję dla panien z wyższych sfer rosyjskich - Instytut Dobrze Urodzonych Panien.

Uznano, że pozostawione w ogrodzie francuskim rzeźby mogą deprawować panny na pensji, dlatego ponad sto figur zabrano. Zburzono też prywatny teatr Branickich, a unikatową kurtynę podzielono na cztery części i sprzedano w Anglii.

W XIX wieku zasypano też większość ogrodowych stawów.