樺山伯爵家の次女として、東京に生まれる。

　父方の祖父・樺山資紀は薩摩出身の軍人・政治家。正子も、自分に薩摩人の血が流れているのを強く感じていたという。幼時より能に親しみ、14歳で女性として初めて能の舞台に立つ。その後、アメリカのハートリッジ・スクールに留学。帰国後まもなく次郎と結婚する。互いに「一目惚れ」だった。

　戦後は早くより小林秀雄、青山二郎と親交を結び、文学、骨董の世界に踏み込む。二人の友情に割り込むために、飲めない酒を覚えるが、そのため三度も胃潰瘍になるなど、付き合い方は壮絶。加えて銀座に染色工芸の店「こうげい」を営み、往復4時間の道を毎日通っていた。この店からは田島隆夫、古澤万千子ら多くの作家が育つ。青山に「韋駄天お正」と命名されるほどの行動派で、自分の眼で見、足を運んで執筆する姿勢は、終生変わらなかった。次郎と同様、葬式はせず、戒名はない。