黄尚书做官二十六年，告老还乡之后，夏天光着上身，穿着枯叉，到附近的菜市买菜。城外的山仔园村，有个少年在市上卖水鸡鱼虾，与黄尚书混得很熟。黄尚书每次买了他的水鸡鱼虾，他总是爱打趣地说：“阿伯呀，我这是卖便宜给你的。”黄尚书也总是接过他的话说：“水鸡敌呀，我也被你叫便宜了。以后如果碰到什么为难的事，尽管来找阿伯，阿伯替你帮忙。
    有一次，官府的人跑到山仔村敲榨乡民，乡民打死了一个官兵，官府立即派兵围剿，情势万分危急。水鸡弟连忙跑到三大尊来找“阿伯”。“阿伯”拿出一把大红灯笼给他挂在村口大门。阿弟也不知灯笼上写着什么，只管把它挂上去，围乡官兵一看见这把大红灯笼，吓得溜之大吉，村里总算平安无事了。
    原来，能吓推官兵的是因为，那灯笼上写着“尚书黄府”四个大字。事后，水鸡弟才知这位阿伯，就是大名鼎鼎的黄尚书。他把灯笼有挂无收。”要使乡里永无灾祸，就得久久挂在乡里门口。据说，山仔园本来家家都姓蔡，因为永远挂着黄府灯笼，全村便都改姓黄了。