话说万年之前，玉帝因天宫狭促，想到人间游玩。但是因为年事已高，不愿意再受腾云之苦。于是就宣太白金星进见。
太白金星见了玉帝就问：“陛下宣老臣何事？”
玉帝说了：“朕想修一条通往人间的甬道，一来朕可以乘车前去下界巡视，了解民间疾苦。二来人间的忠臣孝子，节妇烈女，朕也可以宣他们上来，让他们到天宫游玩游玩。朕也能当面褒奖于他。”
一旁的太上老君听了，想到以后可以坐车去看看下界多年未见的老朋友，还能用车把老朋友送的礼物运回来，就说：“此事甚好，甚好。”
太白金星就说：“陛下真是仁德之君，如此关心人间疾苦。有尧舜之风。臣当马上就去办理此事。”
于是太白金星就率领众天工，从天庭修了一条甬道，直通人间。而这条甬道的门，就在今天西湘之地。甬道修好后，玉帝十分欢喜，就乘龙驹凤辇去往人间。出得天门一看，玉帝很不高兴，因为门外是一个大的石头秃山。于是再命太白金星在此地修个花园。
太白金星因此就向玉帝奏道：“陛下，此处乃人间之地，天工在此施工多有不便。也难有人间的韵味。须请人间之能工巧匠为之。”玉帝就问他：“何人可为此事？”太白金星又回答道：“起奏陛下，鲁班可当此任。”玉帝就奇怪了：“鲁班乃木匠，怎可做此事？”太白金星又说了：“陛下有所不知，那鲁班虽为木匠，石工也是了得。先时鲁班在河北赵州修了一座石桥，张果老为了难为他，架独轮小车担泰山从上面压过，也未曾垮塌。只在桥上留下一道车辙。”玉帝听了就说：“速带他到天庭见我。”
玉帝说完，就回天上去了。太白金星连忙去找鲁班，带着他通过甬道到了天庭。玉帝见了鲁班，就把自己的意思说了。鲁班听完就说：“要做此事不难，可以岩石为枝干，以云霞为花叶。修成后以天水灌溉。此花园必为陛下所爱。”玉帝听了大喜：“卿可速速去办，事成以后必有重赏。”
鲁班就对玉帝说了：“此工程浩大，须大量劈石之工人。”玉帝说：“卿可去人间招募。工钱吃住，皆由天庭报销。”鲁班回答道：“陛下，此非凡人所能做，须鬼中会劈石的，才有此力担当。”
于是玉帝就命令钟馗，凡是孤魂野鬼中，会劈石的，一律不得捉拿。要以礼相待，带去给鲁班做工。
鲁班回到家中，先辞别众父老乡亲，又拜别了父母，告别妻儿子女，便去往那天门所在之地。他的妻子就留在家中照料年迈的公婆，和幼小的子女。
鲁班到了天门外，和众鬼并肩作战，日夜不停，十年间从来不曾回家一次。十年以后，花园终于修好了。果然是秋丹春碧，冬雪夏花，美不胜收。玉帝看了十分欢喜。于是鲁班就为那些做工的野鬼向玉帝求情。玉帝想到那些野鬼劈石之苦，就准他们下世投胎。众野鬼们都欢欢喜喜的投胎做人去了。玉帝还要重重的封赏鲁班，被鲁班谢绝了。鲁班仍然回到民间，继续为百姓做事去了。
太白金星就为玉帝在今天的徽州之处，选了一座山，在山里的一座山峰上面，仿照天宫的模样，修了一座宫殿。此峰后来就叫做天都峰。而此山就成了玉帝在下界避暑疗养之地，凡人是不准上去的。这座山当年叫做皇山。
后来有一年王母办蟠桃大会，佛祖和观音等等各路神仙都来了。众仙饮宴的时候，仙女们在殿前翩翩起舞。那真是仙乐飘飘，热闹非凡。佛祖就对玉帝说了：“陛下，听说你在人间有一僻静之处，甚是美好，可否带我也去一观？”
玉帝就说了：“如来想去，焉能推辞。”就带着如来和众神祁，在天兵天将的护卫，和宫娥仙女的簇拥下，来到了皇山。
玉帝佛祖一行，先时在天都峰的宫殿里，享受人间的美味。有清蒸鲈鱼，桂花大虾，东坡肉，叫花鸡，香椿炒蛋，凉拌黄瓜。佛祖和众菩萨以及罗汉等等，因为不吃荤腥，另有素斋果品招待。有清蒸芦笋，一品豆腐，香菇油菜，炒三丝，糖拌西红柿，广东荔枝。最后一道菜是佛跳墙。佛祖闻得已后，赶紧带着众菩萨和罗汉，离了天都峰的宫殿，去别处游赏。
众菩萨罗汉各处转转看看，来到一座山峰，走得有点累了，打算歇一歇。跟随过来的天兵天将赶紧准备好莲花宝座，又在石桌铺上桌布，摆上西瓜，哈密瓜，白兰瓜，又在紫色的夜光杯里面，为众菩萨倒满现榨的鲜果汁。有橙汁，桃汁，胡罗卜汁。如来等休息好了，再回去宫殿，和玉帝以及众神闲话聊天，天兵天将们也都跟随而去。后来如来和众菩萨休息的这座山峰，就叫做了莲花峰。
后来，孙行者几次大闹天宫，搅乱蟠桃会，踢倒八卦炉，把天庭搅的不可安宁。再后来，共工和祝融闹翻了，一怒之下，撞倒了天柱。一时间山崩地裂，浊浪排空。天为之倾斜，倒向一角。天庭也为之震动，损坏房屋无数。而通往人间的甬道，有些地方被震落的巨石堵塞，有些地方被汹涌的洪水阻断。玉皇大帝心情沉重。再加上宫宇受损，天庭经济紧缩。玉帝没钱重修甬道，也没心思下界游玩了。所以天上到人间的路也就断了。而天门外的花园，因为没了天水的浇灌，再也长不出茂密的枝叶了。但石逢里仍能长出一些绿色的草和灌木，配上山石的颜色，再加上如丛林般的石峰，却也有了另外一番的景象。往日的天门，还留下了一个巨大的穹顶。
再次有强人聚集于此，呼啸山林，留下众多山寨。而今强人已不见了踪影，但山寨依然还在。此地现在虽然不再有天水浇灌，但是在人间的雨雪甘霖润泽下，也是清溪碧草，流水潺潺，树木葱笼，百花争艳。成了旅游的胜地。后来有人称神笔的马良到此，几次想画，总觉难得其神韵，投笔而去。有人闻此于是感叹，作诗一首为证：
绿在岩中石作峰，