Eliza urodziła się jako Elżbieta Pawłowska.

Jej ojcem był adwokat, Benedykt Pawłowski, matką zaś jego druga żona, Franciszka z Kamieńskich. Pierwszą żoną Benedykta Pawłowskiego była Teresa Borzęcka, krewna Karola Borzęckiego, marszałka szlachty powiatu grodzieńskiego. Od Karola Borzęckiego ojciec Elizy kupił majątek ziemski wraz z dworem w Milkowszyźnie, w którym urodziła się Eliza.

Eliza miała starszą o trzy lata siostrę Klementynę.