南北朝时，天竺僧人跋陀到中国，善好禅法，颇得北魏孝文帝礼遇。
少林寺创建于北魏太和十九年，孝文帝拓跋宏为安顿来朝传授小乘佛教的印度僧人跋陀，在嵩山少室山北麓敕建而成。
永平元年，印度高僧勒拿摩提和菩提流支先后到少林寺开辟译场，在少林寺西台舍利塔设立翻经堂翻译经书。之后，慧光在少林寺弘扬《四分律》等师说，经多代发展，后世最终形成四分律宗。
北魏孝明帝孝昌三年，释迦牟尼佛第二十八代徒菩提达摩来到少林寺，他在跋陀开创的基础上，广集信徒，传授禅宗，东魏孝静帝天平三年传法于慧可，从此禅学在少林寺落迹流传。
在南北朝佛教发展高峰期，北周武帝采纳还俗沙门卫元嵩删寺减僧的建议，在建德三年下令禁止佛教传流，史称北周武帝灭佛，少林寺毁坏严重。
北周大象二年，北周静帝恢复少林寺，将其改名为陟岵寺。
隋文帝崇佛，复改陟岵寺为少林寺，并赐给少林寺土地一百顷，再加上其他赏赐，少林寺成为拥有百顷良田和庞大寺产的大寺院。
唐初，少林寺十三和尚因助唐有功，受到唐太宗的封赏，赐田千顷，水碾一具，并称少林僧人为僧兵，从此，少林寺名扬天下，被誉为天下第一名刹。
至唐宋年间，少林寺拥有土地多亩，寺基540亩，楼台殿阁5000余间，僧徒达2000多人。达摩开创的禅宗教派在唐朝兴盛，是唐代佛教最大宗派。
宋仁宗庆历三年庆历新政失败后，留心空宗者始于汴京设立禅院。
北宋元佑八年左右，报恩禅师在少林寺弘扬曹洞宗风，终使少林寺“革律为禅”。
元代初，世祖命福裕和尚住持少林，并统领嵩岳一带所有寺院。福裕和尚住持少林期间，创建了钟楼、鼓楼，增修廊庑库厨，僧徒云集至此演武礼佛。
嘉靖时期，日本倭寇袭扰华夏沿海，少林僧侣抗倭有功，因此朝庭大规模修整寺院，少林寺还享有官府所赐予的免除粮差等特权。其后，少林僧人至少有六次被明朝朝廷征调，参与战事，并屡建功勋，所以朝廷又多次为少林寺树碑立坊修殿，而少林功夫在武术界的权威地位也得以确立。
少林寺常住院建筑在郑州登封少溪河北岸，从山门到千佛殿，共七进院落，总面积约平方米。主要包括常住院、塔林和初祖庵等。常住院的建筑沿中轴线自南向北依次是山门、天王殿、大雄宝殿、藏经阁、方丈院、立雪亭、千佛殿。另外，寺西有塔林，北有初祖庵、达摩洞、甘露台，西南有二祖庵，东北有广慧庵。
寺周还有同光禅师塔、法如禅师塔和法华禅师塔等古塔10余座。
少林寺西约三百米处的少室山脚下，有一片华夏最大的塔林。它南临少溪，背依龙虎岭，东接伏牛山脉，西依当阳坡，林木葱郁，环境秀美幽雅，这就是着名的少林塔林，它是少林历代高僧、住持方丈的墓寝。