Tam zaprzyjaźniła się ze służącym Johnem Brownem, na zdaniu którego bardzo polegała. W prasie natychmiast pojawiły się plotki o ich romantycznym związku, a nawet o tajnym małżeństwie - niektórzy nazywali królową "Panią Brown". Historia ich związku była tematem filmu "Pani Brown" z 1997 roku.
