据记载，五台山上最早的佛寺是在汉明帝年间（公元５８年——７５年）建起的，其始建年代看来当与河南洛阳白马寺（公元６８年建）属同一时代坐标。话说当时的古印度高僧摄摩腾与竺法兰来此，见五台山形似天灵鹫峰，言及乃文殊菩萨住处，于是遂奏予汉明帝建寺于此，汉明帝乃允之。话是这样说，但汉明帝毕竟未曾亲幸于五台山。后世曾有人胡说：“周穆王时已有声教及此清山曼殊所居，穆王于中建庙祀之。”这干脆就是一种无稽之谈。世人皆知，创立世界佛教学说的佛祖迦牟尼其诞生的时间早也不过公元前７世纪初，而我国西周周穆王的在位时间迟也当在公元前１０世纪左右时。释迦牟尼比周穆王起码晚了二三百年，周穆王何以能在大约三千年前的五台山上就已为释迦牟尼建庙祭礼呢？

　　但据古《清凉志》的有关记述，说在公元４７１年至４９９年那个时期，北魏孝文帝曾经在五台山重新修葺寺院建筑，以至使五台山上有了十二座佛寺。看来，这记载虽然可信，但是也常使人觉得蹊跷。人们不禁要问，五台山既然在汉明帝时就已开始建立寺院，为什么到了北魏其寺院数量才发展到十二座呢？不要说这中间经过了漫长的４００多年，单以北魏帝王们开凿大同云冈石窟那种崇尚佛教的狂热去想象，作为文殊菩萨道场的偌大一处五台山，也不该４００余年只建十二座寺院吧？这中间似乎有其它什么原因在其中。

　　果然，翻翻中国佛教发展史，原来北魏的第三位帝王拓跋焘在太平真君七年（公元４４６年），曾经下过一道让举国上下皆为震惊的毁寺废佛的命令。据说这位被称为“太武帝”的拓跋氏皇帝之所以一改信佛的习惯而让全国灭佛，其原因是听信了一位名叫崔浩的官吏和另外一位名叫寇谦之的道士的挑唆。五台山的寺院到北魏孝文帝时仅有十二座，原因可能即在此次灭佛。

　　另有资料表明，从魏孝文帝拓跋元宏再到北齐文宣帝高洋时，时间尽管也就是５０余年，然而五台山的佛寺总数却已经骤然增加到了二百余座。拿古人的话讲，当时五台山的佛寺建造甚至到了一种“割八州租税以充香火之需”的程度。如若看一看北齐高欢、高洋父子在太原天龙山大造佛教石窟和在太原蒙山、龙山依山开凿巨佛偌大举动的话，那么，对这“二百余座”的数字，这自然也不会有什么疑义。

　　然而，谁又能想得到，北齐高洋之后，紧接着中国历史上竟然又出现了一位灭佛毁寺的皇帝，这就是北周武帝宇文邕。这位宇文邕在位时间并不算长，从公元５６１年至５７８年，满打满算也就１７年的时间，但在其灭佛毁寺的严厉敕令下，五台山的佛寺几乎悉数被毁，而且强行让僧众全部还俗。北周静帝大定元年（公元５８１年）隋国公杨坚取北周而代之，建立隋朝，是为隋文帝，这个隋文帝不但出生在冯翊郡一座叫做般若寺的佛寺内，而且从小即由来自河东郡（今山西运城地区）的一位尼姑抚养长大。所以，他一拥有了天下，即下诏书在五台山的“五顶各置寺一所，设文殊像，各度僧三人，令事焚修”。这是五台山佛寺建造史上首开在五个台顶上建构佛寺的空前之举。不仅如此，到隋开皇十三年（以元５９３年）冬天时，隋文帝又遣亲使到五台山设斋祀佛，而且亲草疏书口诛笔伐北周武帝宇文邕。疏曰：“大隋皇帝佛弟子坚，敬白文殊大士。周武乱常，侮灭圣迹，致者无以开迷，智者无以入圣。联往植善因，寄兹昌祚，起废兴残……”从此可知，在隋文帝时五台山一有过大规模建造佛寺的活动。唐代初期至中唐“安史之乱”发生之前，李世民认“五台山者，文瑰闷宅，万圣幽栖，境系太原，实我祖宗植德之所”。到武则天时，它不但敕命重建五台山清凉寺，而且敕封该寺的住持和尚感法师为掌管大唐佛事活动的最高长官。五台山寺僧的地位在当时国内佛教界达到了至高无比的境地，台内的佛寺数量竟多达３６０余座，是五台山佛寺建造史上数量最多的时代，也是中国历史以一座名山计算佛寺最集中的地方与时代。同时，五台山的固定居住僧人这一时期也达到了万人以上。甘肃敦煌莫高窟第６１窟中至今完好保存着一幅唐末刻造的石刻《五台山图》，它记录了唐代五台山佛寺发展到鼎盛阶段时的壮丽情景。