，孝文帝元宏为安顿来朝传授小乘佛教的印度僧人跋陀，因此在嵩山少室山建寺。
永平元年，印度高僧勒拿摩提和菩提流支先后到少林寺开辟译场，在少林寺西台舍利塔设立翻经堂翻译经书。
之后，慧光在少林寺弘扬【四分律】等师说，经多代发展，后世最终形成四分律宗。
北魏孝明帝孝昌三年，释迦牟尼佛第二十八代徒菩提达摩来到少林寺，他在跋陀开创的基础上，广集信徒，传授禅宗，东魏孝静帝天平三年传法于慧可，从此禅学在少林寺落迹流传。
在南北朝佛教发展高峰期，北周武帝采纳还俗沙门卫元嵩删寺减僧的建议，在建德三年下令禁止佛教传流，史称北周武帝灭佛，少林寺毁坏严重。
北周大象二年，北周静帝恢复少林寺，将其改名为陟岵寺。
隋文帝崇佛，复改陟岵寺为少林寺，并赐给少林寺土地一百顷，再加上其他赏赐，少林寺成为拥有百顷良田和庞大寺产的大寺院。
唐初，少林寺十三和尚因助唐有功，受到唐太宗的封赏，赐田千顷，水碾一具，并称少林僧人为僧兵，从此，少林寺名扬天下，被誉为天下第一名刹。
至唐宋年间，少林寺拥有土地一万四千多亩，寺基五百四十亩，楼台