关于一苇渡江还有一种说法是达摩和梁武帝对话后，梁武帝深感懊悔，得知达摩离去的消息后，马上派人骑骡追赶。追到幕府山中段时，两边山峰突然闭合，一行人被夹在两峰之间。达摩正走到江边，看见有人赶来，就在江边折了一根芦苇投入江中，化作一叶扁舟，飘然过江。至今，人们仍把幕府山的这座山峰叫做夹骡峰，把山北麓达摩休息过的山洞称为达摩洞。今日长芦禅寺内的一苇堂，就是为纪念达摩渡江后参拜长芦寺而建的。达摩“一苇渡江”后，在江北长芦寺停留，后又至定山如禅院驻锡，面壁修行。定山寺至今留有“达摩岩”、“宴坐石”、达摩画像碑等遗迹。其中，达摩画像碑为国内最早的达摩造像碑，比嵩山少林寺的祖师碑要早120多年。定山寺成为禅宗重要丛林，被誉为“达摩第一道场”。
坐禅，北魏孝昌三年到达了嵩山少林寺。达摩看到这里群山环抱，森林茂密，山色秀丽，环境清幽，佛业兴旺，谈吐吻洽。心想，这真是一块难得的佛门净土。于是，他就把少林寺作为他落迹传教的道场。广集僧徒，首传禅宗。自此以后，达摩便成为华夏禅宗的初祖，少林寺被称为华夏禅宗祖庭。
古人有诗赞日：路行跨水复逢着，独自凄凄暗渡江。日下可怜双象马，二株嫩桂久昌昌。
达摩抵魏，游嵩山少林寺，在那里独自修习禅定，时人称他为壁观婆罗门。有道育、慧可二沙门礼见达摩，并亲近和供养四、五年。达摩感觉他们真诚，传授以衣法。又把四卷《楞伽经》授与慧可说︰‘我看中国人的根器于此经最为相宜，你能依此而行，即能出离世间。
随着禅宗在华夏的发展，达摩逐渐成为传说式的人物。首先是传说达摩到金陵时和梁武帝的问答。梁武帝是笃信佛教的帝王，他即位以后建寺、写经、度僧、造像甚多，他很自负地询问达摩︰‘我做了这些事有多少功德？’达摩却说︰‘无功德。’武帝又问︰‘何以无功德？’达摩说︰‘此是有为之事，不是实在的功德。’武帝不能理解，达摩即渡江入魏。记载这个传说的最古文献是敦煌出土的佚名《历代法宝记》和唐·宗密《圆觉经大疏钞》卷二之上。后来禅宗着名的《碧岩录》把它作为第一则‘颂古’。
达摩晚年的事迹，各传都未明确记载。后人传说他遇毒而逝，葬于熊耳山，但又传魏使宋云自西域回国时遇达摩于嵚岭。达摩手携只履翩翩独逝。所以又有‘只履西归’的传说。
达摩离开洛阳之后，他与弟子继续北行传法，《续高僧传》中称他为“齐邺下南天竺僧菩提达摩”，《楞伽师资记》中也有“达摩禅师，志阐大乘，泛海吴越，游洛至邺”的说法。但不仅受人“讥谤”，而且还遭到了光统律师、流支三藏等人的人身迫害，竟然六次被毒，最终因中毒不救而死。葬于熊耳山，起塔于定林寺。