Wkraczający do Polski Niemcy zaanektowali pałac na Hitlerjugend Gebbietsfuhrerschule. Wtedy to m.in. zniknęło bez śladu całe wyposażenie biblioteki, która powstała pod koniec XIX wieku z inicjatywy Edwarda i Róży Raczyńskich. Meble i dzieła sztuki znikały też w okresie tużpowojennym, gdy Rogalin był plądrowany i niszczony. Po wojnie był ośrodkiem kolonijnym i szkołą.
