潮州古城西北隅，一山耸立，由南而北，活像一个仰卧的大葫芦。相传韩湘子受其叔公韩愈之嘱，八仙共修湘子桥东岸。铁拐李因粗心大意，把分配给其的东段最后一墩给修歪了，心里内疚而闷闷不乐，把葫芦里的酒一饮而尽，醉眼惺忪，梦游了西湖，看到山明水秀的湖山水色，错把西湖当蓬莱，天亮时，匆匆赶回天庭，把宝葫芦也丢在西湖山上，于是便有了现在满山碧绿叠翠的葫芦山。这山前有西湖，也称西湖山，因与金山对峙，又雅称为银山。
    葫芦山既是旅游胜地，又是摩崖石刻荟萃之所，曲径通幽，洞道风凉，处处有名人题刻，文士镌诗。人行山道，偶一举头，即见巨幅题书；刚一转身，又见石上镌满诗词，可谓是逢岩必刻，无石不铭，举目环顾皆史迹。自唐宋以来，原山上有石刻260多处，诗词隽逸、文气纵横，尤其书体各式兼备，为研究书法艺术之珍贵遗存。内容多为记叙、咏吟潮人风俗景物及科举题名、官衙文告等，殊有地方掌故之奇趣。但因时长日久，几经沧桑，历经劫难，损失甚多，1982年文物普查，仅存138处，可供游人浏览。
    湖山石刻，当推北岩之“李公亭”题字为先，据说是纪念唐代宗大历十二年(777年)的潮州刺史李皋，亭建于唐德宋贞元三年(787年)，并镌《李公亭记》，但现亭及题记已佚，惟存“李公亭”三字于石壁。次为宋刻的“放生”、“倒景”及南岩青牛洞北侧之“古瀛洞天”四大字石刻。
    颇有特色、突出湖山风光的是南岩寺上字径2米的“湖山图画”，落款是清道光年间潮人丁秉贤题，还有于学谦写的“为善最乐”及陈玉锵书的“放大眼光”等，成为游人揣摩、品评的艺术佳作，时常作为游人留影的背景。湖山石刻有大部分是历朝名人贤士结伴遨游，题名存记，或镌诗抒怀，或雁塔留名。原题功名者有十多处，而今只存3处。同游题诗者，仅存明代徐一唯与庄诚、唐伯元与戴景等几处；单独题名者有周钧、瑞浩、方耀、朱丙寿等；而历代游山题诗者尤多，最闻名的是“古瀛洞天”侧面石上林大川《西湖题壁》一绝：“水色山光入画图，果然西子比西湖。名区自足传千古，管领何庸待大苏。”此诗是应和昔日西湖山门刊刻古延令(据说是明刑部侍郎，后被谪为饶平大埕盐官的蒋厚传所撰)一联：“湖名合杭颖而三，水木清华，惜不令大苏学土到此；山势分村廓之半，楼台金碧，还须倩小李将军画来。”林大川写此诗来抒发世人叹息湖山“寻章觅句，独少东坡”之见，对仗工稳，直抒胸臆，备受人推许。
    葫芦山顶的石刻，最富有传奇色彩的石刻、碑记有《王源除怪石诗》、《王源除怪石记》及《王侯除怪石记》等。《王源除怪石诗》曰：“骈立西山为患久，俄然仆碎不终朝。一双石笋根除灭，百世妖氖气尽消。凤士顿回淳古俗，军民齐唱太平谣。从今正应三阳识，衮衮公卿佐圣朝。正统元年七月七日王源启泽苇庵题。”这里流传着一段动人的故事。
    王源是福建龙岩人，字启泽，号苇庵，明永乐甲申科进士。宣德十年(1435年)，皇帝委派11个朝官为边垂州知府，据说其中有一个是《十五贯》的况钟，王源也是其中之一。王源到潮州上任，那时湘子桥原叫济川桥，只有十八个桥墩，且被洪水冲击得破烂不堪，过江只靠摆渡，地方富绅借渡赚钱。王源一心要修复湘子桥，恰好当时满城传闻葫芦山上有两块石，大数十围，高数丈，人称二蟾蜍，斜斜射向城里，风水先生便说这是“白虎瞰城，主嚣讼火灾”。王源看中这“怪石”，便派衙使李通、陆雄主持劈石造桥之事。这一下惊动了收惯桥捐和渡船钱的豪绅们，赶忙出来拦阻说：“这怪石动不得。”王源答：“既是怪石，只能使潮城人受火灾又多诉讼，为何不除掉?除了怪石又修了桥，一举两得，何乐不为呢。”富绅们心里不悦，便在民间造谣惑众，说谁动了怪石，便惹了灾祸，潮郡人将要大难临头。李通、陆雄被吓得不敢动手，只得回报说，这怪石根深蒂固实难除也。但是，王源的决心已定，他说：“韩文公来潮能祭走鳄鱼，我难道连这石头都搬不动吗?”便选定吉日，亲自带了百余名兵勇，大闹葫芦山。他庄重地宣布：“我先动手，如果平安无事，那大家齐动手。”他取了笔在石上大书：“敕广东潮州知府王源除怪石”。大家看见王源动手，便跟着干起来，一起把怪石打碎，大的拿去作桥梁，小的拿去砌桥墩。王源这一举动深得广大民众的拥护，大家齐心协力，仅几年便把破烂的湘子桥修复，还增建了五个桥墩，并在每个桥墩上建造了不同式样的楼阁，非常别致。王源还把“济川桥”改名为“广济桥”。从此，葫芦山上不再闹怪石，潮城人也不再怕“白虎煞气”了。王源在潮州时，为民做了许多好事，后人曾在湘子桥头兴建“王公祠”纪念。后因桥头经常水涨，不便祭祀，又把“王公祠”迁移到金山麓下，每年前往祭祀的人很多。
    在湖山众多石刻中，值得一读的是年代久远、遗存完整的《俞献卿葬妻文》。该碑石位于湖山北岩西侧，(现动物园内西北面)，直书高190厘米、宽355厘米，于北宋真宗天禧四年(1020年)撰文镌石。俞献卿，字栋臣，安徽歙县人，与兄献可以文盛名。宋天禧二年(1018年)献卿由南雄调知潮州，天禧四年七月妻死，特作此文：“天禧二年戊午建子月，曲台博士俞献卿出守是郡，四年秋七月，妻清河县君张氏以疾终于官舍，弥留之际谓余曰，妾其逝矣，厥躯愿勿以火化，但得杯土覆西足矣；又曰，无以厚葬，虑久久贻患与泉下。乃自择弊衣数事，俾燃铁箸回环以烙之，其首饰之具悉以锡J为之。余嘉其言达，故不违其命，即以其月十二日葬于此，庚申岁七月二十日记。”从文中，我们可以见到那时候潮州郡守夫人张氏的善良淳朴情怀。因为在当时，火葬是官宦富户的高贵礼遇，是讲排场、刮民脂、铺张浪费之举，同时她深知以金银珠宝随葬，无补于死者，反易为奸人盗取而贻祸，最后还以普通人之衣着锡物首饰随葬。这种淡朴求实的品质，为世人所景仰。此铭志以示后人，对当今整饬社会风气也有所教益。
    湖山上下还有剑门、仙迹石、湖石、活人洞、垂钓亭等景物，但大多数已毁，终成讲古的“仙踪”。
    今日西湖山，已辟建楼台亭榭，迂回山径，可供游人登高望远，那些遗存的摩崖石刻经抢救、维护，又重放异彩，成为人们休闲、憩息之余，游玩品赏的风景线。1962年，葫芦山摩崖石刻被列为广东省重点文物保护单位，西湖也由此被定为省级风景区。