«Τρελός, κακός και επικίνδυνη γνωριμία». Αυτό έγραψε η Κάρολαϊν Λαμπ στο ημερολόγιό της, για τη γνωριμία της με τον Βρετανό ποιητή Τζορτζ Γκόρντον, ή αλλιώς, Λόρδο Βύρωνα. Σύμφωνα με πολλούς βιογράφους του, οι ίδιοι χαρακτηρισμοί ταιριάζουν γάντι και στην ίδια. Στην εποχή της Αντιβασιλείας, όπου η ευπρέπεια και οι τύποι έπρεπε να τηρούνται με κάθε τρόπο, ό,τι κι αν συνέβαινε πίσω από κλειστές πόρτες, η Κάρολαϊν σκανδάλιζε την κοινωνία με την παράτολμη συμπεριφορά της και την παγερή της αδιαφορία για οτιδήποτε συμβατικό.
Γεννήθηκε το 1785 και είχε αριστοκρατική καταγωγή – ο πατέρας της, Φρέντερικ Πόνσονμπι, ήταν τρίτος κόμης και αδελφή της μητέρας της, Χάριετ Σπένσερ, ήταν η περιβόητη Τζορτζιάνα, Δούκισσα του Ντέβονσαϊρ. Ο γάμος των γονιών της ήταν επιεικώς τρικυμιώδης – ήταν και οι δυο τζογαδόροι και δημιουργούσαν συχνά χρέη. Οι καβγάδες ήταν διαρκείς και ο Φρέντερικ ήταν βάναυσος με τη σύζυγό του, η οποία από τη μεριά της ήταν μονίμως απασχολημένη με κάποιον νεαρό εραστή. Εκτός από τα τέσσερα «νόμιμα» παιδιά του Πόνσονμπι, απέκτησε άλλα δύο εκτός γάμου, με έναν αριστοκράτη εραστή τον οποίον αργότερα προξένεψε σε μια ανιψιά της.