唐太宗贞观年间，天台山国清寺的住持名叫丰干禅师。丰干禅师一次云游，去赤城山，突然听到一个孩子的哭声。四野无人，禅师急忙奔向前去，见是一个年约十岁的男孩在抽泣。禅师问：「小菩萨，你是谁领出来的？父母在哪？家在什么地方？」孩子回答说：「我是个孤儿，无父无母，贪玩迷了路，家也不知在哪里了。」丰干禅师见他可怜，便领回了国清寺，交给僧人抚养。因这孤儿无名，又是丰干捡来的，僧人们便称他为「拾得」，天长日久，拾得就成了孩子的名字。

几年光阴一过，拾得从一个稚弱童子变成了硕壮少年，能够干些杂活了。丰干便派他去厨房帮忙，择择菜，烧烧火，好替僧人们减轻一些生活压力。这位拾得人倒勤快，只是有件怪事，每次干活总将一些剩菜剩饭收集起来，放到一个竹筒里。这些东西是他为寒山准备的。寒山是谁？国清寺的僧人都知道，他就是隐在山顶「寒岩」的那位“怪人”。寒山穿著奇怪，僧不像僧，道不像道，又喜欢诗文词藻，经常顺手写上几句，或随口吟诵几声。但他不像普通诗人那样预备文房四宝，也从不积累文稿，只要兴趣来了，便在屋壁竹石之上随手刻下。时间一久，寒岩附近的山石树木、村舍墙壁之上便布满了寒山的诗文。拾得对寒山非常钦佩，常与他相伴、长谈，每日收积国清寺僧人用剩的饭菜，供养寒山。寒山每次下山来国清寺，他必有一竹筒的饭菜送给寒山，由寒山带上山去。

僧人讲究慈悲爱物，自己用不了的东西送给别人，对僧人来说是常事，所以，国清寺的和尚们对拾得的作为也不放在心里。然而，有一件事却令众僧非常难以忍受，那就是拾得经常在深更半夜狂呼乱叫。国清寺地处天台山脚下，附近村民很少，夜里极其安静，拾得突然大喊大叫，犹如平地惊雷，实在吓人得很。众僧无法忍受，便走出来批评他、驱赶他。拾得也不反驳回击，总是抚掌大笑，扬长而去，好象是故意要打破沉睡长夜，唤醒众人的昏睡不醒。

三番五次之后，僧人们见拾得屡教不改，只好禀报丰干，希望丰干出面管教一下。丰干却对拾得纵容得很，从来不加劝阻。他自己也和拾得差不多，经常在深夜歌唱自娱。这是为什么呢？原来，丰干不是常人，他知道拾得也不是常人，寒山也不是常人。他们到底是谁呢？原来是三圣菩萨的化身。

却说当时的台州刺史名叫闾丘胤。闾丘胤初来台州时，路上突患头疼，剧痛难止。正好遇上丰干自天台山外出游方路过，丰干便含一口水喷在闾丘胤的脸上，立即治好他的头疼。闾丘胤随即问道：「天台山有什么高贤吗？」丰干回答：「贤人当然有，只是见到他们的人并没真正的认识他们，真正认识他们的人无缘见到他们。你如想见到他们，千万不可以貌取人。寒山是文殊化身，隐迹天台；拾得则是普贤菩萨，看上去却像乞丐。这两位都不是凡人。」闾丘胤闻言，随即上天台访问贤者，仓促之间竟忘了问问眼前这位高僧的名字，因而不知道他就是大名鼎鼎的丰干。

闾丘胤来到国清寺，依照礼节，先求见丰干住持。寺僧将他领到丰干的禅房，丰干当然不在。闾丘胤又要见寒山和拾得，寺僧便领他来到寒山隐居的寒岩，只见有两人坐在一堆篝火前面，正不知为何事而纵声长笑。闾丘胤上前施礼，说明来意。寒山、拾得大声喝道：「丰干多嘴饶舌，把我们说出来干什么！你这人也是，遇上了阿弥陀佛都不知道，还来找我们。」说罢，二人抚掌大笑，牵手走到山林深处去了。从此，人间再没见到寒山、拾得，丰干也不见踪影了。闾丘胤随即派人将寒山刻在石木墙壁的诗文抄录下来，共有三百余首，这便是流传于世的《寒山子文集》。

在江浙一带，寒山、拾得与丰干的故事几乎是家喻户晓，人人尽知。人们相信，他们就是三位菩萨的化现。