1950年，陈知建随全家从昆明去北京，进入育英小学读书，初中毕业后，陈知建不想读书了，当时就是想当兵。结果，被父亲的一个老部下拎到父亲骨灰盒前，狠狠教训一顿。陈知建只得读完高中，高中毕业后就读于中国人民解放军军事工程学院（哈军工）导弹工程系遥控遥测专业。

大学毕业后，陈知建在沈阳军区做了5年技术工作，又回总参工作9年。1983年，因中央军委欲改变军队中指挥员的知识结构，陈知建的人生发生了重大转折。那次，全军共有200多名大学毕业的技术干部，分两批集中到北京军事学院（国防大学的前身）学习，一年后陈知建被分配到野战部队当师团级干部。这批学员中，除陈知建外，还包括刘伯承之子刘太行、粟裕之子粟戎生等不少开国元勋的后代。