传说唐宪宗之和十四年春，韩文公(韩愈)因为劝阻皇帝迎佛骨入内宫供养，得罪了皇帝，被贬来潮州任刺史。
    这天韩文公骑马入潮州城，偶然看见一个丑和尚，夹杂在迎接的人群里。这和尚露着两颗长长的犬牙，样子很难看，韩文公告诉随从说：“这个和尚一定不是好人。”
    第二天，韩文公就职升堂，跟班差役便呈上一小包东西，打开一看，原来是两颗带着血丝的牙齿。从人告知韩刺史：“这是昨天那位和尚送来的。那个和尚是个好人哩！”
    韩文公心内感到奇怪，认为这个僧人为何知道我讨厌他的牙齿。后来，为了表明不随意批评一个人，还亲自在府衙附近那座小庵题了三个字，叫“叩齿庵”。可是，“叩齿”二字在佛教上是称为“尊敬”之意，与拔掉牙齿沾不上边。
    传说自此以后，韩文公很想了解一下僧人的生活情况。无巧不成书，偏偏潮阳县尉史虚已前来朝见，僚属之间也就谈起此事，史县尉便煞有其事地介绍潮阳县灵山寺出个大颠和尚，能“拔木建庵”，“卓锡取泉”， “祆影化田”……真是神通广大。
    韩文公当然不相信这回事，但他想与大颠见见面，谈一谈，便连续写了三封信，请大颠祖师到潮州府相见。一说大颠没有往潮州，韩文公等得不耐烦，亲自到潮阳来寻找，寻到西岩，人报大颠在东岩，寻到东岩，人报大颠在灵山。后来，终于在灵山寺门前碰上一个老和尚，一手托一个乘石灰的木盘、一手拿一把抹石灰的铁匙，正忙于修补寺墙。韩文公请他通报，他总推说容他将灰泥用完即入院禀报，怎知自早至午，一盘灰泥总抹个不完。后来，一进寺门，又一直不出来。这时，差官飞马前来报说皇上已降旨到潮州，要召韩文公移任袁州。可是，韩文公入潮以来常听当地人称说大颠是个非寻常的高僧，渴想与他一见，看见圣旨到来，必须立即起程，为了让大颠租师明白他曾到此求见不晤，特地脱下身上的官袍，放在寺外石头上，便匆匆离去。其实，那个铺灰墙的老僧便是大颠。大颠亲眼见到韩愈确是一位不平凡的人物，为示纪念，便在留衣之处建了一个亭子，并取名“留衣亭”。
    又有一种传说，大颠接到韩文公的三封书信，明白韩刺史诚心求见，便特地到潮州府衙相见，谈经论道，以雄辩驳韩愈一味反佛的失误。韩愈觉得大颠很有才学，很有说理能力，才知道佛门中也有人才存在，就渐渐与大颠谈得很密契，终于成了朋友。
    韩愈在潮州期间，曾几次到潮阳境内祭海神，祈求合境平安！有一次，潮阳县尉便请韩刺史到灵山拜访大颠。大颠命他的门徒三平烹茶招待众客人。韩愈高兴地问大颠：“下官州务繁忙，无时间钻研佛经，禅师何妨指点一二！”
    大颠入定良久而不答，三平不忍，故意敲禅床三下。
    大颠严肃地问道：“你敲床做什么?”
    三平急忙跪下道：“师父岂不是告诉韩公：‘先以定动，旨以智拨’吗！”
    韩愈闻言，似乎领会其意地说：“和尚门风高峻，下官从令徒处，明白事佛的大概意思了”
    大颠瞪了三平―眼，用禅杖一挥，三平便被赶到福建三坪山去当主持了！大颠归西后，他才重新回到灵山寺继承师父衣钵。
    又有一次，韩文公登灵山，启问大颠祖师：“春秋几何”?大颠数看佛珠答道：“昼夜一Ο八！”韩愈当然不明其中之意。按佛经人世有一百零八种烦恼。大颠之意是表明日夜修炼，去除杂念烦恼，不计较生命年龄。韩愈因为不懂佛教，当然听不懂大颠祖师之话意。
    由此，他们经常往来。不久，宪宗闻说韩愈在潮州很有政绩，还与佛门的人交往起来，便有意召他回京。但朝内奸臣惧怕韩文公的耿直为人，不喜欢他回来，便上奏宪宗不可立刻召韩愈回朝，应逐步提升，他今后才不敢那么傲慢。结果，皇帝信了谗言，便下旨命他移任袁州。
    临行之时，韩文公想念大颠，便特地赶到灵山寺，与大颠依依惜别，还脱下两件官服，寄托依恋之情。
    大颠祖师很感动，特意在寺前建了一个“留衣亭”，立碑记载这件事。
    韩愈会大颠的美谈，一直流传至今。