Mimo, iż nie znała ojca, przez całe życie była zafascynowana jego osobą.

Ada wykazywała zdolności poetyckie, ale matka próbowała odwieść ją od tego, gdyż według niej poezja doprowadziła Byrona do obłędu. Starała się skierować zainteresowania córki w kierunku matematyki i logiki.

Miała prywatnych nauczycieli matematyki i fizyki. Byli nimi William Frend, doktor William King, Mary Somerville oraz matematyk i logik Augustus De Morgan.

Na początku 1833 roku Ada miała romans z jednym ze swoich korepetytorów, z którym próbowała uciec. Krewni korepetytora rozpoznali dziewczynę i powiadomili jej matkę. Lady Byron zatuszowała incydent, aby zapobiec publicznemu skandalowi.