Królowa Wiktoria i książę Albert po raz pierwszy odwiedzili Szkocję w 1842 roku, pięć lat po wstąpieniu na tron i dwa lata po ślubie.

Zatrzymali się wówczas w zamku Taymouth. Do Szkocji wrócili jeszcze w 1844 roku, nie mając tam żadnej własnej posiadłości. W 1848 książę Albert przejął część dzierżawy Balmoral wraz z meblami i personelem, nie widząc wcześniej posiadłości.

Pierwsza wizyta pary królewskiej w Balmoral odbyła się 8 września 1848 roku. Królowa stwierdziła, że dom jest "mały, ale ładny".

W swoim pamiętniku napisała: "Wszystko wydawało się oddychać wolnością i spokojem i sprawiało, że można zapomnieć świat i jego smutne zawirowania”. Otaczający pagórkowaty krajobraz przypominał im Turyngię , ojczyznę Alberta w Niemczech .

Zamek postanowiono rozbudować, zlecając nowy projekt Johnowi i Williamowi Smithom. Projekt zakładał budowę rozmaitych budynków pomocniczych, a także zagospodarowanie ogrodów.