1950年6月，新中国的科学院建立不久，在百废待兴的情形下，着手筹建数学研究所。筹备处设在北京文津街3号，由著名数学家苏步青任筹备处主任，周培源、江泽函、华罗庚、许宝騄任筹备处副主任，田方增任秘书。筹建工作受到中央人民政府的高度重视。1951年1月，政务院批文任命华罗庚为即将成立的数学研究所所长。1952年7月1日数学研究所正式成立，所址设在清华园内，确立了纯粹数学与应用数学协同发展的方针。最早成立的研究小组有数论、微分方程、力学、计算机研制、概率统计、代数、拓扑学等。
1953年上半年，数学研究所共有科研人员32人，其中专任研究员5人。仅在这32人中，后来当选为中国科学院院士的就有17人。
1956年，通过我国十二年科学技术发展远景规划的制定，数学研究所在保障数学各重要方向协调发展的同时，重点发展微分方程、概率统计等与国民经济和国防建设关系密切的分支。同时设立了泛函分析、数理逻辑等研究组，以加强相应理论学科的研究。1957年从法国归来的熊庆来先生负责建立了函数论研究组。同一时期，与力学和计算机研制有关的研究工作则独立出去，另行组建中国科学院力学研究所和计算技术研究所。在十二年科学技术发展远景规划的鼓舞下，数学所迈上了向科学进军的大道。
1956年，我国颁发首届国家自然科学奖。在全部3项一等奖中，数学所获得了2项，即华罗庚的"典型域上的多元复变数函数论"和吴文俊的"示性类与示嵌类的研究"。
这时期数学研究所的所址有了变迁，1957年临时迁往西苑旅社，1958年迁入中关村（现计算技术研究所北楼）。
1961年按学科建立了研究室，包括"四学科"（数论、代数、几何、拓扑），函数论，微分方程，泛函分析，数理逻辑，理论物理，概率统计，以及由力学、数学两所在钱学森、华罗庚、许国志倡导下从事新兴应用学科运筹学的室组合并而成的运筹学研究室。1962年由于国家任务的需要，新建了由关肇直、宋健领导的控制理论研究室。稍后又重设了力学研究室。各项研究工作迅速推进。1961-1965年，是数学所贯彻"出成果、出人才"的方针，相对稳定并酝酿突破的发展时期。
1966年"文革"开始后，研究工作陷入停顿。1972年周恩来总理关于加强基础理论研究的指示使数学研究工作又重新开展起来。1973年陈景润正式发表了他对哥德巴赫猜想的研究；1975年，杨乐、张广厚发表了关于值分布理论的研究。冯康等人于60年代初独立于西方创立的有限元计算方法，在国民经济和国防建设的许多部门获得了广泛的应用。这些代表性的工作向世人展示了数学研究所科研人员在极度艰难的条件下，坚持数学研究而取得的标志性成果。 图2：1962年毛泽东主席、刘少奇主席等国家领导人与华罗庚先生在第二届全国人民代表大会第三次会议上。
1976年粉碎"四人帮"以后，特别是1978年全国科学大会的召开，迎来了科学的春天。在尊重知识、尊重人才的氛围下，数学所科研人员努力追赶国际数学前沿，纯粹与应用数学各个领域的工作都得到全面迅速的推进，走上了健康发展的轨道。
1977年，中国科学院成立了以计算数学为主要研究对象的计算中心（1995年改为计算数学与科学工程计算研究所），所址在中关村南四街4号。历任主任（所长）为：冯康、石钟慈、崔俊芝、袁亚湘。1979年底，根据中国科学院决定，部分人员从数学研究所分出成立了系统科学研究所，从事控制理论、运筹管理、统计学、系统工程以及相关数学边缘学科的研究。历任所长为：关肇直、成平、陈翰馥、郭雷。数学研究所部分研究人员与原中国科学院应用数学推广办公室人员合并，组建成立应用数学研究所。历任所长为：华罗庚、吴方、章祥荪、马志明。数学研究所则以基础理论研究为主，兼顾应用数学和计算机科学等其他方向。历任所长为：华罗庚、陆启铿（常务副所长）、王元、杨乐、龙瑞麟、李炳仁（代所长）、王跃飞。四所科研人员既分工，又合作，出现了出成果、出人才的大好形势。1982年，当国家恢复颁发自然科学奖时，四个研究所再度以高水平成果而受到社会瞩目。1991年所址迁入中关村南四街甲1号。
1998年12月，在中国科学院知识创新工程的推动下，数学研究所、应用数学研究所、系统科学研究所、计算数学与科学工程计算研究所，整合成为数学与系统科学研究院。杨乐任研究院院长，章祥荪任常务副院长。建院以来，进行了一系列重大改革，特别是调整结构，转换机制；凝练学科目标，明确主攻方向；改造园区环境，建设创新文化。各项工作取得了迅速进展和明显成效。知识创新工程给数学和系统科学的发展带来了新的机遇。
数学研究所设有基础数学研究室，非线性分析研究室，几何分析青年研究中心，计算机科学研究室，以及晨兴数学中心。应用数学研究所设有运筹学研究室，概率统计研究室，方程与计算研究室，决策与信息科学研究室。系统科学研究所设有系统控制重点实验室，管理、决策与信息系统重点实验室，统计学研究室，基础数学与应用数学研究室，数学机械化研究中心。计算数学与科学工程计算研究所设有科学与工程计算国家重点实验室。研究院新成立了图论与组合开放实验室，不确定性决策研究中心，信息安全中心。目前正在积极筹备的有动力系统研究中心，金融数学研究中心，生物信息学研究中心等。这些跨学科、反映新增长点的研究中心的建立，符合国家战略需求，有利于促进多学科交叉。
中国数学会、中国运筹学会、中国系统工程学会等挂靠在数学与系统科学研究院。研究院主办14种学术刊物。
