据许氏后裔称，许氏家族在宋代已是盛族，就许驸马这一世裔来说，在宋代得中科举有41人、明代有22人。据潮州市文管办介绍，为了将许驸马府打造成许驸马家族和驸马文化展，他们曾到汕头沟南、潮阳、广州高第街许地、肇庆七星岩等地收集许氏家族的材料。

许氏家庭的一支从潮州迁徙至汕头沟南，而此处的一面照壁上“沟南许地”四字却是出自鲁迅。原来，鲁迅夫人许广平的祖籍便是沟南许地。据记载，与许广平同宗的潮籍左联作家许美勋晚年回忆，许广平曾谈及其家族迁至广州高第街许地后，平日讲粤语，逢年祭祖之时，却照例要说几句潮州话，以示不忘故土。