韩愈每次来灵山寺找大颠和尚聊天，轿到山脚，必定要下来徒小登山，大颠和尚见他这样很不方便，就送他一根橡木手杖。韩愈很高兴，常带手杖到处游山玩水。有一日，韩愈到恶溪东岸的笔架山游玩，爬到山腰嫌手杖累赘，顺手把它插下，再到别处观赏潮州的风光。回来时，伸手拔手杖，怎知手杖已落地生根，使尽力气也拔不出来。不久还长成了一株大橡树。
    后来人们就在橡树下修了个“韩文公祠”，还把橡树叫做“韩祠橡木”。