Dokonały tego wycofujące się w 1944 roku niemieckie wojska. Dzieła dopełniła w tym samym roku Armia Czerwona, niszcząc to co z pałacu pozostało.
Pałac odbudowano w latach 1946-1960, nawiązując do stanu z XVIII wieku. Jednak pośpiech nie pozwolił na zebranie pełnej dokumentacji i dlatego rekonstrukcja wnętrz nie jest wierna.
Do 1990 roku odbudowano Pawilon Toskański i kaplicę pałacową z kopułą i kopiami prac Augustyna Mirysa.
