1938年夏，受中共中央派遣，杨荫东加入杨虎城所部国民革命军，在王屋深山、中条山 南麓接受军事教育，参加抗日战争。当年9月，加入中国共产党。在国民党发动第一次反共 高潮中，中共三十八军工委贯彻党中央“荫蔽精干，长期埋伏，积蓄力量，以待时机”的方针，派杨考入国民党中央陆军军官学校“镀金”。1942年，又派其考入国民党步兵学校深造。1944年国民党发动第三次反共高潮，蒋介石为瓦解经过我党政治改造的三十八军，调该 军军长赵寿山到胡宗南所属第三集团军任总司令。经毛泽东同意，中共三十八军工委选派杨 荫东任赵的随从参谋，到甘肃武威就职，在赵寿山将军和孙蔚如将军(时任国民党第一战区 副司令长官兼第四集团军总司令，不久任第六战区司令长官)身边做地下工作。此期间，在 重庆陆军大学“甲级将官班”连学两期，获得大兵团作战知识，结识一批国民党高级将领。 1946年1月，为应付全面内战，原中共三十八军工委书记蒙鼎钧遵照周恩来副主席指示 ，派杨荫东在西安建立“军事情报组”，深入胡宗南内部核心，获取战略情报。1947年1月 ，杨打入敌西安绥署第七补给区司令部，任司令办公室少校参谋，后升任中校参谋。4月， 由于杨提供情报，我军取得蟠龙大捷，受西北野战军司令部嘉奖。8月，陈谢大军太岳兵团进攻豫西，杨及时提供胡宗南作战计划情报，中共中央副主席周恩来奖给杨所在情报组黄金40两。1948年2月，在瓦子街战役中，又因提供情报准确及时，受到彭德怀司令员嘉奖。1949年12月，余秋里同志在四川剑阁找到杨荫东，并电西北局派人接回西安，分配到西北社会部，不久调中央调查部。