土地革命战争时期，颜东山历任河南省罗山县赤卫大队第2中队中队长，县独立团手枪队排长，红25军第75师223团连长，红26军第3团营长，红15军团第78师234团营长、232团团长。参加了鄂豫皖苏区第一至第四次反“围剿”斗争和红25军长征。到达陕北后，参加了陕北苏区三次反“围剿”，劳山战斗、直罗镇战役、榆林桥-横山战斗、东征、西征、山城堡战斗等，在榆林桥战斗中全歼东北军高福源团并活捉团长高福源。1937年1月进入红军大学（后更名为抗日军政大学）二期学习。

抗日战争时期，颜东山由抗大毕业后返回部队，担任八路军第115师第344旅687团2营营长，后任689团2营营长，期间参加了平型关战役和晋东南反日寇“九路围攻”战役等。1938年4月调八路军总部，分配到山西青年抗敌决死队军官学校任中队长，晋南地方干部学校任大队长，豫西地方干部学校任大队长，1939年1月调回344旅旅部任作战科科长，1940年3月带部队到冀鲁豫军区，任冀鲁豫军区新二旅副参谋长，同年任冀鲁豫军区第一军分区副司令员。1940年8月第一军分区与华北民军一旅司令部合并，改为第五军分区，颜东山任副司令员。期间先后参加了多次反扫荡，著名的有反“五五大扫荡”和“四一二大扫荡”等。1943年3月经组织安排赴延安党校学习，后留校工作。