Tower, w takiej postaci jaką znamy dziś, zapoczątkował król Ryszard Lwie Serce, rozpoczynając w latach 1189-1199 jej przebudowę w twierdzę.
Jego następca, król Jan, jako pierwszy sprowadził do Tower egzotyczne zwierzęta (lwy, tygrysy). Tradycja ta trwała przez 600 lat.