南怀仁出生于比利时首都布鲁塞尔，1641年9月29日入耶稣会，1658年随他卫匡国神父来华，是清初最有影响的来华传教士之一，是汤若望的学生之一，协助汤若望工作。1664年，由于杨光先和四名辅政大臣的发难诬告，使汤若望和其他传教士，并整个天主教受到迫害。1669年清帝降旨开释南怀仁、利类思和安文思。但汤若望已于三年前（1666年）去世，其他传教士仍流放在广东。自此开始逐渐复职。着令南怀仁任钦天监一职。皇谕公布：天主教教义教规曾被不公正地查禁，今查明并无违反国家利益庶民职守之道。为此，凡被逐教士可回原堂从事本职。谕旨并为汤若望公开平反昭雪，恢复原赐荣衔，又拨巨款为其修建坟墓。这道谕旨在1671年颁布。 1675年，南怀仁又作出了为人称誉的业绩。当时吴三桂叛乱，并挫败清军。因吴三桂叛军盘踞山区，非大炮就无法进攻。南怀仁当时把汤若望所铸火炮修复。除此之外，南怀仁从事于其他有利国计民生的大量工程：如开掘运河，疏通河道。在从事繁重的科研工作的同时，他从不忽视宣传信仰方面的本职任务。
虽然西方传教士实不愿制造这些杀人利器，但帝命不敢违，不得已勉为其难。所以火炮铸成后，均行祝圣礼，供天主像，以教中圣人名号刻其上，并向教宗报告，得到教宗的许可。 由史料记载可知，南怀仁在1674-1676年间，制造轻巧木炮及红衣铜炮共132门，1681年制成神威将军炮240门，后来，又制成红衣大炮53门，武成永固大将军炮61门，神功将军炮80门。因此，南怀仁造炮数量至少为566门。南怀仁所设计的火炮有三种被选入清代国家典籍——《钦定大清会典》。其一是“神威将军”炮，其二是“武成永固大将军”炮，其三是“神功军”炮。 为表彰南怀仁造炮有功，康熙二十一年四月初十日（1682年5月16日），奉旨加南怀仁工部右侍郎职衔、又加一级。 南怀仁制造的火炮，至今犹存。在北京的中国历史博物馆，就藏有一门武成永固大将军炮。 南怀仁对清代火炮技术发展的另一重大贡献，是对火炮的“准炮之法”进行了系统研究，并写成专着。康熙二十一年（1682）正月二十七日，南怀仁进呈《神威图说》一书。这部着作主要论述神威将军炮的“准绳之法”，“阐明其所以然，逐备二十六题之理论，四十四图之解说，并加数端同类之用法”。
康熙八年，南怀仁撰《历法不得已辨》，逐条驳斥杨光先、吴明炫在历法推算方面的错误。针对中国传统的观象占候、堪舆占卜等观念，这一年他还撰着了《妄推吉凶之辨》、《妄占辨》和《妄择辨》。 南怀仁供职钦天监后做的一件大事是改造观象台，重造适用于西洋新法的天文仪器。康熙八年（1669）八月着手，经过四年多努力，于康熙十二年（1673）用铜铸成六件大型天文仪器，安装在北京观象台上，它们是：测定天体黄道坐标的黄道经纬仪，测定天体赤道坐标的赤道经纬仪，测定天体地平坐标的地平经仪和地平纬仪（又名象限仪），测定两个天体间角距离的纪限仪和表演天象的天体仪，这些仪器取代了深仪和简仪等传统仪器。南怀仁主要参考第谷的设计，同时吸收中国和造型艺术，将欧洲的机械加工工艺和中国的铸造工艺结合起来，实现他的设计。这些仪器在中国历史上是先进的。 南怀仁后来还制造过简平仪、地平半圆日晷仪等多种天文仪器，并着有《赤道南北两总星图》（1672）和《简平规总星图》（1674）等。 南怀仁设计监制的仪器，典雅精美，它们不仅是观测天象的仪器，而且也是瑰丽的艺术品，它们作为中西科学交流的历史见证，至今仍陈列在北京古观象台。 在制造和安装观象台新仪器的同时，南怀仁将各种仪器的制造原理、安装和使用方法等，详细记述，绘图立说。他于康熙十三年正月二十九日（1674年3月6日）将《新制灵台仪象志》共十六卷进呈，并请镂版刊行。乾隆年间，《新制灵台仪象志》被收入《钦定仪象考成》（1752）；又被收入《古今图书集成·历象汇编·历法典·仪象部》，但有图无表。
在南怀仁完成了观象台仪器的改造之后，他又接到了了清廷的新命令，——预推未来一两千年的历表。 康熙十七年七月，《康熙永年历法》三十二卷编撰完成。南怀仁将汤若望天顺治二年十二月所着诸历及二百年恒星表，相继预推到数千年之后。《康熙永年历法》实际上是一部天文表。它分为八个部分——日、月、火星、水星、木星、金星、土星、以及交食，每一部分名四卷。各部分的开始给出一些基本数据，然后给出某一天体二千年的星历表。根据这些星历表，就可以很容易地编出民历。清代，由于平叛战争、抵抗外敌侵略和统一中国的需要，康熙年间曾大量制造火炮。自康熙十四年至六十年（1675-1721），清政府制造各类火炮达905门之多。无论在造炮的规模、数量和种类方面，还是在制炮的技术和火炮的性能方面，都达到了清代火炮发展的最高水平。而南怀仁则对此做出了巨大的贡献。 南怀仁与利类思和安文思合着的《御览西方要纪》，是一部地理学着作，内容涉及欧洲的一般地理知识、以及社会和文化生活的各个方面。《西方要纪》一卷，包括国土、路程、海舶、海奇、土产、制造、西学、服饰、风俗、法度、交易、饮食、医学、性情、济院、宫室、城池、兵备、婚配、教法、西士等共21节。与康熙七年进呈。南怀仁在《西方要纪》的末尾，没有忘记强调基督信仰对欧洲文明的重要作用，并对中国皇帝给予来华传教士的礼遇洪恩表示了感激之情。
南怀仁最着名的西文着作是《欧洲天文学》（Astronomia Eu-ropaea,1687）。其手稿由柏应理带到欧洲，于1687年以拉丁文在欧洲迪林根出版。 南怀仁博闻多能，深精西方科学知识。《欧洲天文学》一书的内容几乎涵盖了当时在中国介绍的西方所有科技知识。 在着作中多处引用《几何原本》中的命题，并将几何学方面的许多知识介绍到中国。在《仪象学》中，有多幅图表示了几何作图的知识。在介绍几何作图的同时，也介绍了西方当时使用的作图和测量工具。 在《仪象志》、（1674）和《穷理学》（1683）两部着作中，介绍了力学基础知识，包括重力、重量、重心、比重、浮力、材料强度、单摆、自由落体运动等知识。同时还介绍了光的折射和色散方面的知识。 南怀仁在《新制灵台仪象志》中，介绍了机械方面的许多知识。他的另一部未刊刻的着作《穷理学》也包含了关于简单机械的相当丰富的知识。《穷理学》于康熙二十二年八月二十六日（1683年10月16日）进呈，共60卷，是南怀仁最重要的一部着作，详细叙述了天平、等子、杠杆、滑车、圆轮和藤线等六种简单机械的性质、原理、计算和应用。并运用到实际中，1661年和汤若望一起利用定滑轮、动滑轮和滑轮组，在他们的指挥下，200名工匠齐心协力操作，终于将大钟移到了预定位置悬挂在钟楼里。还运用机械原理运送孝陵大石牌坊的石料过卢沟桥。还将《几何原本》译成满文。
南怀仁曾在中国与俄罗斯等国的外交接触中担任过不可缺少的角色。1676年5月15日（康熙十五年四月初三日），沙皇俄国派遣的特使尼果赖（1636～1708）等一行到达北京。这位使臣虽掌握希腊文、拉丁文等多种欧洲语言，却不通任何东方语言。通晓多种欧洲语言又精通满语与汉语的南怀仁成为此次中俄沟通的桥梁。南怀仁希望促其两国实现和平，缔结和约，虽然南怀仁1688年1月28日不幸去世。但是他的愿望被他的同会徐日升和张诚继承下来。 1689年6月，徐日升与张诚随同由索额图率领的中国外交使团去尼布楚。他们忠实地贯彻了南怀仁在中俄之间缔造和平的遗言，并用自己的智慧与能力帮助缔结了一个成功的和平条约。 中俄《尼布楚条约》是在平行互惠的国际法原则基础上缔结的。这项条约明确划定了中俄两国的东部边界。条约缔结后，中国的东北边疆保持了160年的安宁，俄国则获得了贸易利益。1692年康熙皇帝降旨准许天主教士在中国自由传教，从而实现了耶稣会士多年追求的目的。 1686年（康熙二十五年），南怀仁还为荷兰外交使团担任过一次翻译。
1676年，南怀仁被任命为耶稣会副省会长。他为人谦虚热诚，急人所急，不遗余力；但律己甚严，视世荣如敝屣，坚守神贫，苦身克己；他恪守修会职责，视富贵如浮云；南怀仁一直怀着为主致命的期望，他以高度的耐力承受了病中的剧烈痛苦。1688年，领受终傅圣事之后，安逝于主怀，享年六十五岁。安葬在利玛窦和汤若望的墓旁。