在五臺山中臺向西南延伸的兩道山脈間，有一處幽深的山谷，谷間白云悠悠，清水潺潺，嘉木蔥蘢，山花爛漫，這便是清涼谷。谷之南有寺依山傍壑，就是清涼寺。清涼寺因有著名的文殊圣跡文殊說法床---清涼石而得名，是到五臺山朝山佛教徒必到之地。
相傳，遠古時候五臺山溝無清水，坡無綠草，黃土滾滾，滿目荒涼，是文殊菩薩使用法力，才使這里氣候大為改觀。
一天，東海龍王邀請文殊菩薩到龍宮講經說法。講經畢，龍王為表示謝意，說：“龍宮所有的奇珍異寶，菩薩喜歡什么，我就當即奉送。”不料，文殊菩薩對別的珍寶都不感興趣，只要檐下放置的一塊黑石頭。這塊石頭長有一丈五尺，寬有八尺，厚有六尺。你只要走近它，就會頓覺清涼異常。龍王連忙解釋說：“對不起，這是一塊清涼石。小龍出去布雨回來，大汗淋漓，只要躺在歇龍石上滾一滾，疲累燥熱立刻消除。菩薩要什么都行，這石頭嘛……”文殊菩薩見龍王面有難色，沒有強求，便說：“既然龍王難舍，佛家不該討施。我就此告辭了!”龍王深怕得罪文殊，就故意放了個大度說：“菩薩若能拿得動，就請拿去吧!”文殊菩薩走到這塊黑石頭前，默念幾句咒語，忽然用手一指，偌大的石頭變成指頭大小，菩薩隨手將小石子揣人袍袖后，便跨上青獅，飄然出了龍宮，回到五臺山。
文殊菩薩將帶同的清涼石放置在中臺下面的一片谷地，口念咒語，恢復了原形。清涼石立即散發出沁人心脾的清涼氣息，五臺山從此就成了理想的清涼勝境。
如果你想親眼目睹這塊清涼石，就要去清涼寺。它就放置在清涼谷的清涼寺里。它還有一個神奇的名號“文殊菩薩說法船”，上面可以同時站40多人，人在其上，悠悠晃晃，那感覺真的像在聽文殊說法，又像坐船行于水上，神秘而奇特。
清涼寺是五臺山最早興建的寺廟之一，佛教典籍中記載，寺為北魏孝文帝所建。大隋開運，佛教重興，凡是伽藍，并任復修。清涼寺也在文、煬二帝的扶持下得到修復，恢復了正常的佛事活動。唐代時，清涼寺成為替國行道的鎮國道場，獲得皇家的護持。長安二年(702年)，女皇武則大自稱神游五頂，敕命重建清涼寺。經過一年多的修建，清涼寺落成典禮，德感法師奉女皇之命率領100多名僧人，到清涼寺舉辦法會。當日祥云繚繞，五云佛手、天仙白鹿在空中顯形。地方官員奏報女皇，則天皇帝非常高興，封德感法師為昌平縣開國公，食邑一千戶，住清涼寺。同年，女皇命左庶子侯知一、御史大夫魏元忠，請工匠雕刻玉文殊像，到五臺山禮拜菩薩，第二年，送到清涼寺安置。在親筆手書中，武則天表達了自己對弘揚佛道的赤誠以及不能親自拜會圣境的遺感。她還令德感法師住持清涼寺，主管全國僧尼事。女皇對清涼寺的寵遇，引發全國乃至外國僧俗效仿，紛紛到五臺山弘法傳教，瞻禮靈跡。
開元二十八年(740年)，唐玄宗長女永穆公主，皈依佛門，出家五臺山，將自己平生所蓄錢財悉數拿出，請來全國的能工巧匠，在清涼寺造了諸般佛像，同時用金銀銅三金融鑄，金、銀、玻璃、琉璃、珊瑚、瑪瑙、硨磲七種珍寶鑲嵌，鑄造一口銅鐘，安置在清涼寺中。
天寶七年(748年)，楊貴妃的再從兄楊舌為玄宗皇帝書寫《大藏經》5048卷，《般若經》、《天臺疏論》2000卷供于清涼寺，為鎮寺之寶。同時奉命對清涼寺進行了重修與擴建。其時清涼寺有上座曇財，寺主申慶，都維那智詵，大德忠翰、智空、曇開、如岸，高僧清超、凈法、元光、庭觀等，真是鸞風比德，龍象群集。
唐玄宗之孫李豫在“安史之亂”中，以兵馬元帥的頭銜收復兩京，認為是佛菩薩的佑護之力，對“五臺山佛教十分尊崇，寶應元年(762年)即位史稱代宗，永泰元年(765年)命人重修了清涼寺等6所寺院和6處普通供養舍，每寺度僧21名，常轉《護國仁王經》和《密嚴經》，為圍行道，把金閣寺和清涼寺作為了大唐帝同的鎮創道場。從此，清涼寺由彈宗叢林和凈土道場變成了密宗道場。
會昌五年(845年)，唐武宗滅法，這是佛教史上著名的四次法難之一，規模大，范圍廣，天下寺宇，大多招致毀廢，僧人或逃奔他鄉，或還俗，清涼寺在這一次浩劫中成為一片廢墟。
歷史的發展有時有一種戲劇性的反差。與無情地戕滅佛事的武宗迥然不同的是，繼位的唐宣宗恰恰因種種原因當過一陣子佛門沙彌，他即位之后的宰相裴休又是一位吃齋念佛、精通佛典、護持佛教的信徒，君臣二人齊心協力，復興佛教。大中二年(848年)，宣宗“敕五臺山諸寺，度五千僧，”五臺山主要寺廟得到恢復，清涼寺便在其中。
大唐諸帝的重視與崇建，使清涼寺星樓月殿，憑林跨谷；香窟花堂，枕峰臥嶺．成了妙高峰上的一座梵宇琳宮。
入宋以后，太宗、仁宗，眷想靈峰，流光五頂，先后敕送佛經手跡共計340軸到五臺山，“清涼之興，于時為盛”。當時，清涼寺設置僧正司，管理著五臺山及代州的佛寺。到仁宗時，善住院有一位和希法師，道行和威望赫赫有名，仁宗授予其僧統，加號慈懿大師，住清涼寺。僧統是僧界之皇，統監全國僧尼事務，自唐代德感、清涼兩位國師擔任僧統以來，五臺山僧人第三次榮任此職，恩寵非凡，使清涼寺成了北宋佛教的重要寺院。
元朝皇帝出身于蒙古貴族，信仰佛教，尤其尊奉喇嘛。至元二年(1265年)，元世祖下詔重建清涼寺，寺內殿宇堂舍煥然一新。
明太祖朱元璋于執朝期間，在清涼寺設置僧會司，掌管僧教事務，并將佛光寺、藏頭寺納入管理范疇，擴大了清涼寺的范圍。萬歷三十四年(1606年)，皇帝命人鑄造九級銅質千佛塔，上刻“清涼攫授”印文和“清涼之印”銅印，置清涼寺。中有文殊像，旁有清涼石．又有千佛塔，尊崇至極。遠遠望去，一座金碧輝煌的宮殿點綴在清涼谷的山巖間，如同一幅絕美的圖畫。
清順治十七年(1660年)，世祖派老藏丹貝到五臺山清涼寺，管理漢藏佛教事宜。他先后五上五臺山，每次都拜清涼寺。康熙二十八年(1689年)八月，圣祖為清涼寺題寫了“水晶域”和“心會真如”的匾額。康熙四十一年(1702年)二月，圣祖帶著四子胤稹等第四次巡游五臺山時，于初十日到達清涼寺，參觀寺容，禮拜菩薩，瞻謁清涼石。當時隨同參觀，后作了雍正皇帝的胤稹曾為清涼寺作詩二首：
一
光寒如鏡臥深云，
半是云斑半蘚紋。
誰識方方一片里，
古今容盡屐交紛。
二
體本清涼自解煩，
天然秀色蓄云根。
曼殊說法今何在，
參客空尋趺坐痕。
乾隆十五年(1750年)二月，春回大地，冰融雪化，乾隆沿著松林中的山路行來，耳邊有陣陣松濤，頭頂有瀠漾細雨，清涼泉潺潺流于清涼谷，匯注為清清一潭，如禪機滿注。天子靈感頓來，脫口吟道：
蓮宇臺西麓，榛蹊一往尋。
石潭空禪性，松籟發仙音。
春轉喧迎谷，冰融雨墜林。