南宋末年，宋朝君臣为躲避元兵追杀，经过粤东地区，留下许多传说。
    与龟山相距只有几公里的下坑村，有一石板，称为接龙桥。相传赵经过此处，被小山溪阻挡，石板桥太窄，不敢过桥，于是臣子背他过山溪。
    龟山则传说有宋太子行宫。清朝嘉庆时的《澄海县志》中记载：“黄子佃山，一名覆盆山，又名龟山，距城西北十里华富村，高二十二丈，周二里，前临大溪，旧传宋太子避元兵在此，设行在，因称北殿山。”行在，即行宫。
    北陇村内至今仍有北殿古庙，就是当地民众为纪念南宋末年宋太子流经该地而建造。但龟山上的所谓行宫却无迹可循，宋太子有没有在龟山逗留也无史可查。
    当地考古工作者分析，南宋末年有官府军民在龟山逗留是可信的，因为龟山遗址中还出土一些南宋时期的瓷器、铅网坠、宋镜等，但建行宫则不大可靠，赵在潮汕逗留的时间短暂。很可能是宋以后的人将赵行踪与军民活动联系在一起。由此也可见，南宋末年，龟山曾有过较大型的建筑物。