Powiększająca się rodzina królowej Wiktorii i księcia Alberta wymagała dodatkowego personelu i pomieszczeń.

Królowa chciała przyjmować w zamku przyjaciół i oficjalnych gości, jak na przykład członkowie gabinetu. Rozszerzenie istniejącej struktury nie było możliwe, dlatego zdecydowano o budowie nowego zamku. Książę Albert bardzo interesował się projektami, a nawet sam je zmieniał, gdyż zależało mu na tym, aby nowy budynek posiadał wieżyczki i okna.

Budowę rozpoczęto latem 1853 roku na terenie oddalonym o około 90 metrów na północny zachód od pierwotnego zamku. Nie wymagało to też opuszczenia głównego budynku przez rodzinę królewską na czas budowy.

Podczas swojej jesiennej wizyty we wrześniu 1853 roku, królowa Wiktoria położyła kamień węgielny pod budowę. Jesienią 1855 roku apartamenty były gotowe do zamieszkania, nie była gotowa jedynie wieża, dlatego służba musiała pozostać w starym budynku.