1957年04月01日：布部村的部分地区被并入广濑町。

1967年08月01日：布部村被并入广濑町。（2町）

2004年10月01日：广濑町、伯太町与安来市合并为新设置的安来市，同时能义郡因无管辖町村而废除。

根据733年完成的出云国风土记记载，能义郡在当时属于意宇郡，直到平安时代才独立设置为郡。

1889年04月01日：实施町村制，能义郡下辖：安来町、广濑町、能义村、宇贺庄村、饭梨村、荒岛村、赤江村、岛田村、大冢村、比田村、山佐村、布部村、安田村、母里村、井尻村、赤屋村。（2町14村）

1951年04月01日：安来町、能义村和宇贺庄村合并为新设置的安来町。（2町12村）

1952年11月03日：安田村、母里村和井尻村合并为伯太村。（2町10村）

1954年04月01日：（1町4村）

安来町、赤江村、荒岛村、饭梨村、岛田村、大冢村合并为安来市，并脱离能义郡。

赤屋村被并入伯太村。

1955年01月10日：广濑町、山佐村和比田村合并为新设置的广濑町。（1町2村）

1956年01月01日：伯太村改制为伯太町。（2町1村）

1957年04月01日：布部村的部分地区被并入广濑町。

1967年08月01日：布部村被并入广濑町。（2町）

2004年10月01日：广濑町、伯太町与安来市合并为新设置的安来市，同时能义郡因无管辖町村而废除。