三祖寺位于安徽天柱山南面景色怡人的凤形山上，为南朝国师宝志禅师开创，梁武帝赐名山谷寺。隋初，禅宗三祖僧璨来此弘法教学，并传衣钵给四祖道信，于公元606年在此立化，故称三祖寺。

后，唐肃宗赐三祖寺名为三祖山谷乾元禅寺。唐代宗又谥三祖僧璨号鉴智禅师，赐其舍利塔名为觉寂塔。宋太宗谥开山宝志禅师名为宝公，赐号道林真觉禅师。

三祖寺的辉煌地位，使文人墨客纷至沓来。仅北宋一朝，就有林逋、王安石、苏东坡、黄庭坚、李公麟、陆宰等游寺题诗，有的还居寺读书，修身修性，潜心学佛。有诗云"禅林谁第一，此地冠南州"。