1868年，李善兰被荐任北京同文馆天文算学总教习，直至1882年他逝世为止，从事数学教育十余年，其间审定了《同文馆算学课艺》、《同文馆珠算金踌针》等数学教材，培养了一大批数学人才，是中国近代数学教育的鼻祖。
李善兰在数学研究方面的成就，主要有尖锥术、垛积术和素数论三项。尖锥术理论主要见于《方圆阐幽》、《弧矢启秘》、《对数探源》三种著作,成书年代约为1845年,当时解析几何与微积分学尚未传入中国。李善兰创立的“尖锥”概念，是一种处理代数问题的几何模型，他对“尖锥曲线”的描述实质上相当于给出了直线、抛物线、立方抛物线等方程。
他创造的“尖锥求积术”。相当于幂函数的定积分公式和逐项积分法则。他用“分离元数法”独立地得出了二项平方根的幂级数展开式结合“尖锥求积术”，得到了π的无穷级数表达式。各种三角函数和反三角函数的展开式，以及对数函数的展开式。
在使用微积分方法处理数学问题方面取得了创造性的成就。垛积术理论主要见于《垛积比类》,写于1859～1867年间，这是有关高阶等差级数的著作。李善兰从研究中国传统的垛积问题入手，获得了一些相当于现代组合数学中的成果。例如，“三角垛有积求高开方廉隅表”和“乘方垛各廉表”实质上就是组合数学中著名的第一种斯特林数和欧拉数。驰名中外的“李善兰恒等式”。
自20世纪30年代以来，受到国际数学界的普遍关注和赞赏。可以认为，《垛积比类》是早期组合论的杰作。素数论主要见于《考数根法》，发表于1872年，这是中国素数论方面最早的著作。在判别一个自然数是否为素数时，李善兰证明了著名的费马素数定理，并指出了它的逆定理不真。
李善兰对经典力学在中国的传播作出卓越的贡献。他将英国人W.胡威立的《初等力学教程》(1833年第2版)笔译(经艾约瑟口述)为中文，1859年由上海墨海书馆以《重学》的书名出版，共20卷。这是第一本系统介绍力学的中译本。
李善兰在《重学》一书所写的序言中。特别强调了动力学的内容：“推其暂如飞炮击敌，动重学也;推其久如五星绕太阳、月绕地，动重学也。”“动重学之率凡三：曰力、曰质、曰速。力同，则质小者速大，质太者速小;质同，则力小者谜小，力大者速大。”“动重学所推者力生速。凡物不能自动，力加之而动，若动后不复加力，则以平速动;若动后恒加力，则以渐加速动。”“凡物旋动，必环重心，地动是也。二物相连而相绕，必环公重心，月地相摄而动是也。“李善兰与伟烈亚力合译英国天文学家J.F.赫歇耳(1792～1871)所著《天文学纲要》一书。中译本名为《谈天》，于1859年刊行。李善兰执笔时作了删略。该书不仅把近代天文学第一次系统地介绍到中国。而且引进了有关万有引力的学说和天体力学的内容。有些力学专门术语的中文译名，如摄动、章动等。最早见于《谈天》。此后，李善兰又着手翻译I.牛顿的《自然哲学的数学原理》，虽然书没译完，译稿后也遗失，但自李善兰把牛顿力学介绍到中国后，西方近代科学的思想体系、观点和方法，以及近代科学史上的若干成就才为中国学者所运新熟悉，同时也激起中国学者学习自然科学的热情。
李善兰在所著《火器真诀》中按照不计空气阻力抛射体在平面或斜面上射程的公式，提出弹道学的图解方法。这些结果虽然低于当时欧洲弹道学水平，但反映了自然科学由引进到消化的过程。
