Aby uchronić kraj przed najazdami obcych wojsk, król węgierski Bela IV nakazał wybudowanie licznych twierdz. Jedna z nich powstała na południe od Obudy, w miejscu dzisiejszego Wzgórza Zamkowego, a wokół powstało miasto Buda. Ze Wzgórza Zamkowego od XIII do XVI wieku władali węgierscy królowie.