东晋侨置。

东晋咸康二年（336年），在今安徽和县、含山县境侨置汝阳郡，领武津、汝阳2个县，属豫州。

南朝宋永初三年（422年）二月丁丑，汝阳郡改属南豫州（治历阳，今为安徽和县历阳镇）。元嘉七年（430年）十月甲寅，改属豫州（治睢阳，今安徽寿县寿春镇）。十六年闰月戊戌，复属南豫州（仍治睢阳）。二十二年，改属豫州（仍治睢阳）。大明三年（459年）七月丙戌，改属南豫州（仍治历阳），泰始二年（466年）九月，改属东豫州（仍治历阳）。

升明三年（479年）四月，齐代宋，汝阳郡属西豫州（治睢阳，今寿县寿春镇）。

中兴二年（502年）四月，梁代齐汝阳郡改属豫州（治晋熙，今潜山县梅城镇）。