传说明朝洪武初年，陈友谅的军师何野云不愿降明，云游闽粤三阳地面，人称“虱母仙”。一日，他经过嘈潭，立于巨石之上，观看奇景，不觉看得入神，赞道：“真好地方也！”这么―赞，给潭东李王村口一个人听一到，此人名叫王佛成，是李王村房老，为人势利，为富不仁，村里人暗地称他“王不仁”。这时，王不仁听见“真好地方也”的话，抬头望去，只潭西巨石上一人身穿道袍，脚着草鞋，羽扇纶巾，多么象人们传说的“虱母仙”又听说“虱母仙”蹲过的地方是圣迹、活地，常人得之，财丁兴旺。当他再抬头望去时，石上之人已不见了。
    王不仁回到家，正想如何得到活地，刚好见儿子捧汤要给母亲服用。他灵机―动，叫住儿子渐慢进药，他急忙到中药铺买了砒霜，置于汤药中，让母亲吃下。其母服药时，似觉药有异味，正要问明，可是晚了，药性已发。临终时只骂了一句：“佛成，你用毒药害我，以后着无好死呀!”说完即死去。她骂出之话被佛成八岁的儿子听到，但毕竟年幼，不明个中缘由。王佛成急急忙忙将母葬于石上，立上一碑。
     不久，王不仁在药铺买砒霜之事为人知觉，又见其母骤亡，不无暗地里言三语四。两三年后，王不仁因花街柳巷，染上梅毒，不能下床。有一天，亲友前来探望他，席间，他骂儿子为不肖，不孝子。其子年虽小，颇懂人意，随口顶了王不仁一句：“我虽不孝，还不至于毒死祖母呢！”佛成―闻此言，气阻丹田，―命呜呼。     至此，众亲友才知佛成丧尽天良，真不仁也。后来众亲友在孝子坟上，加一个”不”字，让路人知孝子实乃不孝也。
    这就是“孝子”坟的由来。