Elisabeth wuchs im Kreise ihrer wachsenden Geschwisterschar in München und am Starnberger See auf, wo die Familie mit Schloss Possenhofen seit 1834 über einen Landsitz verfügte. Durch die Darstellung in den Sissi-Filmen hat sich das Narrativ festgesetzt, dass der Vater, Herzog Max, ein innigeres Verhältnis zu seinen Kindern gehabt habe als die Mutter. Der Historiker Christian Sepp arbeitet in der Biografie über die Herzogin Ludovika allerdings heraus, dass der Vater nur selten Zeit mit seiner Familie verbracht und an seinen Kindern wenig Interesse gezeigt hatte. Es fiel schon Zeitgenossen auf, dass „die Herzogin […] beinahe immer allein für Kinder und Haus sorgt“.[4] Elisabeth soll als Kind und Jugendliche dem Lernstoff wenig Interesse gewidmet haben. Sie soll eher unruhig gewesen sein und konnte nur kurze Zeit still sitzen. Zu ihren Vorlieben gehörten Reiten, Zeichnen und das Schreiben von Versen.