1958年6月12日第一机械工业部以(58)机技张字第188文批准成立“磨料磨具与磨削研究所筹备处”在北京开展筹备工作。1958年10月4日,部以(58)机二汪字第511号文批准所址设在郑州砂轮厂内,并将郑州砂轮厂的中央实验室及设备仪器划归该所,将原设计配备的人员一并调入,办公、居住用房由郑州砂轮厂负责解决。据此,磨料磨具与磨削研究所筹备处于1958年11月5日迁郑州;1962年2月21日,一机部以(62)二局办字163号文批准取消筹备处,改名为“第一机械工业部磨料磨具磨削研究所。
1971年第一机械工业部以(71)一机技字第485号文,将该所下放河南省,所名改为郑州磨料磨具磨削研究所。1978年第一机械工业部以(78)一机技字第472号文批准该所恢复以部为主的双重领导,所名改为第一机械工业部郑州磨料磨具磨削研究所。尽管下放期间停拨事业经费,但由于该所人造金刚石工业规模生产成功,这段时间是该所经济效益最好的时期,期间该所基本形成了独立的科研生产区和生活区。
自1980年以来,郑州磨料磨具磨削研究所随着国家体制改革的深入,其主管部门多次更改,先后隶属于国家机械工业委员会、机械电子工业部、机械工业部、国家机械工业局。
1999年4月12日,国家科学技术部等12个部委以国科发政字(1999)143号文,关于印发《关于印发国家经贸委管理的10个国家局所属科研机构转制方案的通知》,郑州磨料磨具磨削研究所进入中国机械装备集团。