Ojciec Jana Klemensa Branickiego, Stefan Mikołaj Branicki zlecił przebudowę zamku Wiesiołowskiego i przekształcenia go w barokową rezydencję.

Dzieła tego podjął się pochodzący z Utrechtu inżynier, Tylman z Gameren, który wcześniej wsławił się m.in. budową pałacu Krasińskich w Warszawie i rezydencji prymasa Michała Radziejowskiego w Nieborowie.

Przebudowa zamku odbywała się w latach 1691-1697. Zmieniło się całe oblicze zamku; jedna z baszt została wykorzystana jako klatka schodowa, w drugiej baszcie usytuowano komnaty.

W czasie kolejnej przebudowy podwyższono boczne oficyny, postawiono jońską kolumnadę oraz wiele rzeźb. Pozostałością pierwotnego zamku, jego funkcji obronnej, były jedynie zarysy bastionu nieopodal stawu.