世代为当地南越首领。南朝梁武帝时，冼氏家族出了一位贤明聪颖、足智多谋的女子，还未出嫁时，就差地安抚部庄，能够统兵打仗，附近的越人都很佩服她。冼氏女非常深明大义，虽善战却不好战，她常劝其亲族多行善事，不要侵扰百姓，由此以信义在本乡著称。当地越人各部间常常互相争战，冼氏女的哥哥任梁朝的南梁州刺史，倚仗其富强，经常侵掠别郡，岭民多受其苦，冼氏女屡谏其兄不要侵害百姓，终于把他说服，由此名声大振。

后来，罗州刺史冯融慕及冼氏女的名声及才能，执意要为儿子冯宝娶冼氏女为妻。冼氏女凭其才智帮助冯宝巩固了在广州一带的位置。传说侯景叛乱时，广州都督征发岭南之兵援助京都，当高州刺史李迁仕在大皋口，派人征召冯宝。冯宝欲应召前往，冼夫人觉得其中有蹊跷，便劝阻说：“夫君不可前往。”

“为什么？”冯宝疑惑不解。

“刺史无故不应该召太守，我看，他一定想把你骗去，逼你与他一起反叛。”冼夫人解释道。冯宝说：“夫人何以知之？”

冼夫人说：“朝廷征召刺史援京勤王，而李迁仕却称有病，迟迟不往。今日叫你前去，目的就是想扣留你、逼你一起反叛，否则交出兵权。希望夫君考虑。”