建武2年（1335年），北畠亲房与其子北畠显家、北畠显信和北畠显能进驻伊势国南部后，建造了阿坂城等数处城池。阿坂城首次在史料上出现是在文和元年或正平7年10月23日（1352年11月30日）的《鹫见加加丸军忠状》中，该文书在描述北朝军的土岐赖康援助鹫见氏的段落中提及了阿坂城。

其后应永22年（1415年）春天，北畠满雅不满称光天皇违犯明德和约中定下的两统迭立而即位为由，在阿坂城举兵。满雅获得原本南朝势力下的大和、纪伊和河内的武士支持，而幕府方面则以一色义贯为总大将，联同土岐氏和京极氏应战，导致北畠军处于守城的形势，期间幕府军将阿坂城包围，并且截断城内的水源，导致北畠军陷入困境，而实际上城内的水源亦因而所净无几，尽管如此北畠军为了向幕府军营造城内水源仍然相当丰富的假象，便把以白米当成水来清洁马匹，从以欺骗幕府军。因此，在远处的幕府军无法分辨出洗马的其实是米而非水，误以为城池仍然水源充足，便随即放弃断水的作战，并且解除对阿坂城的包围。最终，虽然城池被攻下，但是满雅通过中间人的协助，成功与幕府和解，这也是别称白米城的由来。白米城传说记载于《樱云记》中，该书写成于江户时代前期，虽然包含以军记物形式写成的部分，但是同时也有真伪难辨的地方。按《满济准后日记》记载，城池在应永22年5月15日（1415年6月21日）被攻陷。其后的文明10年（1478年），在北畠材亲的协助下，于建有阿坂城的桝形山的山麓处建成了作为菩提寺的净眼寺。从此，北畠氏便以净眼寺作为居所，战斗时才移师阿坂城，从而建构出根小屋式山城的形态。