间野史据说她父亲惠征在宁池广太道任上因为被太平军打得望风而逃，死于镇江。只留下了慈禧姐妹和他们的母亲等孤儿寡母扶着棺材进京。于穷途末路之时在清江浦得到了时任清河县令吴棠的三百两银子的周济，这无异于雪中送炭一般。不但送了银子，而且亲往祭拜。当即姐妹两个感激涕零。姐姐对妹妹说：“千万要记住咱们的恩人，他日若能富贵，一定报答这个贤良的人！”并将吴棠的名帖珍藏在妆盒中。
这个故事出自于恽毓鼎的《崇陵传信录》，自然是不可信了。惠征死于任上的时候，慈禧已经入宫成为兰贵人了。不过，吴棠此人确实是和慈禧有些渊源。在慈禧掌握大权之前，他一直是担任县令之类的职务，咸丰十年（186o年）吴棠升至徐海道员，兼帮办军务，咸丰十一年擢升江宁布政使兼漕运总督，督办江北粮食，此后又短期调任两广总督、两江总督、闽浙总督，可谓一路扶摇直上。慈禧还一度任命他为钦差大臣。同治元年（1867年）升为四川总督，官至头品顶戴一品大员，光绪元年（1875年），吴棠因病奏请开缺，光绪二年病逝于四川任所。而且，但凡是有弹劾吴棠的奏折，一律留中不，或者是轻描淡写的派人去走个过场。死后，慈禧旨赐他功绩最著文臣头品顶戴。祭文中，