Najpierw przydomek ten zastosowano dla Wielkiego Dzwonu. Być może został tak nazwany na cześć Sir Benjamina Halla, który nadzorował jego instalację lub na cześć angielskiego mistrza bokserskiego wagi ciężkiej Benjamina Caunta. Teraz określenie Big Ben używane jest w odniesieniu do zegara, wieży i dzwonu, choć powszechnie nie jest akceptowane w odniesieniu do zegara i wieży. Dla tradycyjnych Anglików Big Ben to przede wszystkim dzwon.