数学会的主要作用在于把分散在各个单位和各个地区的数学工作者组织起来，以便交流经验讨论学术问题，数学改革问题，促进数学科学的发展和教学质量的提高，以服务社会。数学会的主要工作有：组织学术交流活动，开展学术交流，举办数学竞赛，开展普及工作，组织促进数学教育改革的活动，根据国家建设和学科发展的需要举办培训班或讨论班等。

数学会于1961年7月在安徽合肥成立，成立大会于7月27日至29日在合肥市长江路154安徽省科协会议厅举行。数学会创建时的常务理事会设有四个组：秘书组、学术组、组织组和宣传组，处理日常会务，其成员有单粹民、居荟明、周怀衡、雷垣、张智珊、许义生、张国铮、万迪生、龚贵林、徐长康、许晋发、郑祖庥、吴和俊、陈士铎等。数学会于1961年8月在合肥召开了第一届第一次理事会议，63年10月在合肥举行了第一次学术年会。第一、四、五、六届理事长分别为单粹民、龚升、常庚哲、程艺。