根据丰后国风土记，海部郡被认为成立于740年，当时为丰后国八郡之一。由于当时认为有大量渔民居住于此，因此命名为“海部”。

依据和名类聚抄，在承平年间（931年至938年）时，海部郡下辖有佐加乡、穗门乡、佐井乡、丹生乡、日田乡、在田乡、夜开乡、曰理乡、叉连乡、石井乡。但考察发现，实际上仅有佐加乡、穗门乡、佐井乡、丹生乡是属于海部郡，其余地区则是属于日田郡。佐加乡、佐井乡位于大分市东部，丹生乡的范围包括大分市东部以及臼杵市，穗门乡的范围最为广大，包括了臼杵市、津久见市和佐伯市。