京口重镇的地位自苏峻之乱后日益凸显，为了控制三吴经济要地，拱卫京师，郗鉴被任命为八郡都诸军事，节度浙东的王舒之军和浙西的虞潭之军。郗鉴以及其家族开始经营京口，使之成为荆扬之争中建康的有力后盾。北府兵在东晋后期能有举足轻重的地位，实赖自郗鉴起的长期经营，谢玄在短期内并不能组建这样一支足以左右南北关系的军队。

为充实长江下游的军事力量，拱卫首都建康和抑制上游桓氏势力东山再起，抵御前秦南下等，谢安打算重新规整北府军队。孝武帝太元二年（377）十月，朝廷任命谢安侄子谢玄为南兖州刺史，负责筹组新军。谢玄随即把南兖州的军事治理机关从京口（今江苏镇江市）移到广陵（今江苏扬州市），募集流民帅，组建北府兵，兼招募徐、青、兖三州流民。当时彭城（今江苏徐州市）刘牢之等数人以骁勇应选，谢玄任命刘牢之为参军，率领精锐作为前锋。因为晋朝百姓称京口为北京，所以当时人称这支军队为“北府兵”。

北府兵虽然组建匆忙，并无精良装备，亦无正规训练，但是因为流民帅长期率领军队与北方异族作战，军事力量不容小觑，三州南渡流民在落户之前皆是半武装性质，颇为强劲，因而北府兵的整体实力十分可观。且太元四年（379）五月，前秦兵俱难、彭超部进攻淮南，并包围三阿。北府兵援救三阿，一战告捷，迫使前秦兵向北退逃。太元八年（383）淝水之战，北府兵更是表现神勇，成为击败前秦的中坚力量。北府兵的军事实力使它成为各政治集团争夺的对象，北府将领也成为左右东晋政局的重要力量。

桓温曾说：“京口酒可饮，箕可用，兵可使。” 谢玄召募劲勇，徐﹑兖人民纷纷应募入伍，彭城刘牢之﹑东海何谦﹑琅琊诸葛侃﹑乐安高衡﹑东平刘轨﹑西河田洛﹑晋陵孙无终等皆以骁勇应选。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷，威震敌胆。太元四年，谢玄率兵在盱眙(今江苏盱眙东北)﹑淮阴(今属江苏)和君川(盱眙北)等地击败前秦军的进攻，进号冠军将军，加领徐州刺史，镇京口。东晋称京口为“北府”，所以称这支军队为北府兵。

王夫之关于北府兵建立的论述：“谢安任桓冲于荆、江，而别使谢玄监江北军事，晋于是而有北府之兵，以重相权，以图中原，一举而两得矣”。桓和谢是东晋四大门阀之二，所以两者既有争权夺利的冲突，也有维护士族阶层权益的本能。从东晋政府整体的利益出发，谢安很好地处理了中央与地方藩镇的关系，平衡了谢桓两大家族的力量。

东晋所辖境土主要为荆、扬二州。荆州位居上游，地广兵强，是防止北方南下的重要据点，设有强有力的都督府，“资实兵甲，居朝廷之半”。扬州为京畿之所在，乃立国根本。三吴及浙东是谷帛的重要基地。但是“建邺拥天子以为尊而力弱，荆襄挟重兵以为强而权轻”（读通鉴论），这种“枝强干弱”的局面，就成为荆扬之争的根源。

继督荆州的桓冲把扬州的军权让给谢安，双方互相协作，出现了“君臣和睦，上下同心”的局面。面对咄咄逼人的北方，谢安深知原来的世兵制军队腐败不堪，根本对付不了前秦的军队，于是选派“有经国才略”的侄子谢玄为兖州刺史，监江北诸军事，北镇广陵，组建北府兵。

北府兵是在太元二年（377）十月，谢玄拜建武将军、兖州刺史领广陵相、监江北诸军事时组建的。《资治通鉴》孝武帝太元二年十月载：“玄募骁勇之士，得彭城刘牢之等数人，以牢之为参军，常领精锐为前锋，战无不捷。时号北府兵”。《晋书刘牢之传》则对此记载较详：“太元初，谢玄北镇广陵，时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅琊诸葛侃、平安高衡、东平刘轨、西河田洛及晋陵孙无终等以骁勇应选。选以牢之为参军，领精锐为前锋，百战百胜，号为北府兵，敌人畏之”。

这里两个问题：

第一，北府兵之得名由来。《通鉴》胡三省注：“晋人谓京口为北府。谢玄破俱难等，始兼领徐州。号北府兵者，史终言之”。谢玄太元二年为兖州刺史，领广陵相、监江北诸军事，开始招募军队；太元四年，打败后秦在淮南的进攻，进号冠军将军，加领徐州刺史。于是他统帅的这支军队便正式称作北府兵。其实，北府之名起自东晋之初。《世说新语》卷六排调第二十五注引《南徐州记》曰：“旧徐州都督以东为称，晋氏南迁，徐州刺史王舒加北中郎将，北府之号，自此起也”。据《晋书 王舒传》：王舒在宣城公司马裒（póu）死后，即代裒镇除北中郎将监青、徐二州军事。 据《晋书 元帝纪》与《通鉴》卷九十，司马裒为都督青、徐、兖三州诸军事，镇广陵，事在建武元年（317）三月，同年十月薨，王舒代裒镇广陵当在此时。时元帝尚称晋王，次年三月才即帝位，说明北府之号起自东晋之初。钱大昕《廿二史考异》卷二二《王恭传》：“都督以北为号者累有不详”条下云：“按徐、兖二州都督以北为号，故有北府之称”。说明北府兵名称的由来，是由于南徐、南兖二州都督以北为号。诚然，徐兖二州都督并不一定都以北为号，徐兖二州都督或刺史的治所也有广陵、京口、下邳、淮阴、金城、合肥等处的不同。但自东晋初王舒以徐州刺史加北中郎将镇广陵后，徐兖二州都督或刺史习惯上一般都以加北为军号；广陵、京口作为北府镇所的次数也最多，因此东晋人按习惯均可称徐兖二州都督府为北府。然此时广陵和京口镇府所辖之兵，虽为北府之兵，却并不是后来特称的北府兵。直到太元二年谢玄以京口、广陵为基地招募组建起来的新军，才在历史上特称为北府兵。

第二，北府兵的人员组成。北府兵既然是以京口、广陵为基地组建而成的，而京口和广陵所在的南徐州和南兖州是东晋北来侨民最多的地区，仅南徐州所属就包括徐、兖、冀、青、幽、并、扬七州郡邑，侨寓人口计二十二万之多，超过当地居民二万余。因此，北府兵当以北方侨民和子弟组成。从资料来看当时招募的主要是将，而不是兵。刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终等实际上都是活动于江淮以南拥有一定武装力量的流民帅，纳入北府系统后，只需授予军号或刺史名义，或补充一定兵员，就能作战。但这绝不是说就没有招募兵丁。晋元帝太兴四年（321）五月庚申诏：“其免中州良人遭难为扬州诸郡僮客者，以备征役”。这是东晋初年的一次征发，对象是沦落为僮客的北方流民。如何处置北方南下的流民，一直是东晋政局中一个非常重要的问题。设置侨州郡县，就是用来解决这个问题。担任侨州郡县刺、守的，往往就是流民帅。如郗鉴初镇京口，为北府镇将时，“所统错杂，率多北人”。谢玄受命兖州的前一年（太元元年），东晋“移淮北流人于淮南”，当是谢玄补充北府镇将统兵的一个重要兵源。《谢玄传》：“时苻坚遣军围襄阳，车骑将军桓冲御之，诏玄发三州人丁，遣彭城内史何谦游淮泗，以为行援”。据《通鉴》，前秦军围襄阳，在太元三年四月，东晋发三州人丁当在刺史或略后，所发三州，以当时情况度之，当是侨立的徐、兖、青三州。这里的三州人丁，据东晋初情况言之，编户的可能性极少，主要应是太元元年淮北入淮南的流民。《宋书 五行志》谓太元三年：“氐贼围南中郎将朱序与襄阳，又围扬威将军戴遁（遂）于彭城。桓嗣以江州之众次偌援序，北府发三州民配何谦救遁”。这也证实北府将何谦所部，有三州民丁的补充，这是募兵充实北府将帅力量的一个证明。可知，谢玄筹组的北府兵，实际上是集合一部分原北府镇将，后来又独立、半独立活动于江淮的宿将或流民武装，并征发一部分过淮流民予以补充而成。

北府兵首先遇到的是太元三年的时候前秦向东晋发动的一场进攻。太元四年二月，苻坚派征南大将军苻丕率步骑七万进攻东晋在西线的军事重镇襄阳。为配合西线的进攻，七月，又遣兖州刺史彭超为都督东讨诸军事，与将领俱难、毛盛等帅步骑十万进攻东晋的东线重镇彭城、淮阴、盱眙。次年二月，秦军攻下襄阳，执晋将朱序。在东线，面对秦的进攻，晋派万余北府兵援救彭城，军于泗口，欲遣间使报沛郡太守（彭城）戴遁而不可得。时彭超置辎重于留城（彭城郡属县，今沛县东南），谢玄扬言遣北府将何谦率军袭取留城，彭超释彭城围还保辎重，东晋彭城太守戴遁随何谦帅彭城之众奔谢玄，彭超进据彭城，而南攻盱眙。俱难攻克淮阴。四月，秦将毛当、王显在攻拔襄阳后帅众二万东会俱难、彭超攻淮南。五月，秦军攻拔盱眙，执高密内史毛操之，秦兵六万围晋幽州刺史田洛于三阿（今江苏宝应）。三阿距广陵百里，东晋朝廷大震，一面沿江布防，遣征虏将军谢石帅舟师屯涂中，右卫将军毛安之等帅众四万屯堂邑（今南京六合）；另一面派谢玄自广陵率北府兵救援三阿。六月，谢玄与田洛帅北府兵五万败秦军于盱眙，秦军退屯淮阴。玄遣北府将何谦帅舟师朔淮水而上，焚毁秦军建造的淮桥，秦将邵保战死，退屯淮北，谢玄与何谦、戴遁、田洛等乘胜追击，再败秦军于君川（今盱眙县北君山之川）。刘牢之等又破坏秦军的运舰，秦将俱难、彭超仅以身免，秦军在东线的进攻被谢玄组建不久的北府兵击败。上述史实可以看出，谢玄先前驰援彭城的北府兵仅万余人，而用于君川，最高数却达到五万，说明北府兵是在战斗中汇入各支力量而发展的。

北府兵最大的战争是太元八年淝水之战。其年七月，苻坚大举入侵东晋，计步兵六十余万，骑兵二十七万，由苻融和慕容垂率步骑二十五万为前锋，是年十月占据寿阳。东晋以谢石为征讨都督，以徐、兖二州刺史谢玄为前锋都督，与辅国将军谢琰（yǎn） 、西中郎将桓伊等率众八万迎战；另派龙骧将军胡彬率水军五千增援寿阳。前秦梁成率先遣部队五万屯驻洛涧（今寿县西南），“栅淮以遏东兵”。谢石去洛涧二十五里而军。胡彬得知寿阳已被破，退保浃石。十一月，刘牢之率五千袭取洛涧，歼灭秦军一万五千，杀梁成。晋军乘胜至淝水右岸。谢玄为迅速与秦军决战，遣使苻融要求秦军略向后退，“使晋兵得度，以决胜负”。由项城率轻骑八千赶来寿阳的苻坚与前锋主帅苻融同意秦军后移，企图半渡而击，“以铁骑蹙（cù）而杀之”。谁知一退而不可复止，俘将朱序在阵后大呼“秦兵败矣”，秦军顿乱，苻融驰骑掠阵，马倒后被晋兵所杀，苻坚也为流矢击中，秦军全线崩溃,“自相蹈藉投水死者不可胜计，淝水为之不流”。淝水之战，根本原因是人心背向，但与北府兵英勇作战也是分不开的。东晋用于淝水之战的军队共计八万五千人，其中有胡彬水军、谢琰“台兵”、桓伊西府兵，还有桓温部将檀玄所部，实际参战北府兵只有五万左右（杨德炳《关于北府兵的兵数与兵将来源》（魏晋南北朝隋唐史资料第五期））。

北府兵军事方面战绩还表现在谢玄在东线的北伐。太元九年八月，谢安以徐、兖二州刺史谢玄为前锋都督，帅豫州刺史桓石虔进兵涡、颍（今安徽蒙城、河南许昌一带），经略旧都。谢玄进至下邳，秦徐州刺史赵迁弃彭城败退，玄进据彭城，遣刘袭攻秦兖州刺史张崇于 城，兖州平。十月，又进伐青州，遣淮陵太守高素以三千人向广固（今山东益都西北），秦青州刺史苻朗投降。接着又进兵冀州，遣龙骧将军刘牢之，济北太守丁匡据碻（qiāo） 磝（áo），济阳太守郭满据滑台，奋武将军颜雄渡过黄河立营，苻丕遣将桑据屯黎阳（今河南浚县东南）以拒，玄命刘袭夜袭桑据，克黎阳，苻丕惶恐欲降。玄遣晋陵太守滕恬之渡河守黎阳，“三魏皆降”。朝廷以兖、青、司、豫平，加玄魏都督徐、兖、青、司、冀、幽、平七州军事，玄驻军彭城，“北固河上，西援洛阳，内藩朝廷”。太元十二年三月，司马道子掌实权，朝议“以征役既久，宜置戍而返”。降晋丁零族翟辽据黎阳反，执滕恬之，泰山太守张原举郡叛晋，河北骚动。玄还镇淮阴，北府兵北伐攻下的地区又为后燕占据。

谢安组建北府兵除了抵御北方强敌的入侵，还有一个目的，就是要改变扬州“权重而力弱”的局面。

孝武帝宁康三年，桓冲把扬州的事权让给谢安，自己出任都督徐、豫、兖、青、扬五州诸军事、徐州刺史，出镇京口。翌年，谢安欲以孝武帝后父王蕴为方伯，“乃复解冲徐州，直以车骑将军都督豫、江二州之六郡军事，自京口迁镇故孰”。太元二年，镇守荆州的桓辖死，桓冲还督江、荆、梁、益、宁、交、广七州军事、荆州刺史。谢安使桓冲从京口退至故孰，再退至桓氏根据地荆州，主要是借用了褚太后与王皇后的权柄。为了从根本上改变没有军事依托的状况，谢安令玄在广陵组建北府兵。组建之初，桓冲坐镇荆州，仍以四方镇杆为己任，还瞧不起扬州的力量。淝水之战时，冲“深以根本为虑，乃遣精锐三千来赴京都”，认为谢氏不顶用，结果出乎意料。桓冲死后，荆、江二州守宰并缺，谢安仍以桓冲侄桓石民镇荆州，桓石虔镇豫州，改任桓伊为江州，“即以三桓据三州，彼此无怨，各得其所”。朝廷出现了难得的安定局面，固然与谢安处置有关，但与北府兵的平衡力量也不无作用。一个更明显的事实是，北府兵建立前，往往是镇守荆州的镇将轻易起兵反叛中央，北府兵建立后，荆州镇将必须与镇守京口的北府兵将领联合起来才能成功。晋安帝兴元元年，荆、江州刺史桓玄反叛，由于收买了都督兖、青、冀、幽、并、徐、扬州晋陵军事，南兖、南青二州刺史刘牢之而获得成功。而后刘裕击灭桓玄恢复晋室，最终又取晋帝而代之，都是依靠了北府兵为骨干力量。

淝水之战后不到二年，即太元十年四月，谢安为了避开司马道子，出镇广陵，让出中枢朝权。太元十二年正月，朱序为青、兖二州刺史，代谢玄镇淮阴，征玄为会稽内史，解除了他的兵权。太元十五年，孝武帝以后兄王恭为都督青、兖、幽、并、冀、徐州晋陵诸军事，兖、青二州刺史，镇京口，北府兵为王恭掌握。隆安元年，恭在京口起兵反对司马道子和王国宝，北府兵成为内部火并的工具，次年恭再次起兵，其司马刘牢之反戈击灭王恭，代恭为都督青、兖、幽、并、冀、徐、扬州晋陵诸军事，镇京口。隆安三年，孙恩起义，北府兵又成为镇压起义兵的主要力量。元兴元年三月，刘牢之投降桓玄，旋被夺去兵权被迫自杀，北府兵为桓玄并吞，北府兵的一些高级将领高素、竺谦之、竺朗之、刘袭、刘季武、孙无终等人被杀，刘袭兄冀州刺史刘轨及宁朔将军高雅之，刘牢之子刘敬宣投奔南燕慕容德。北府兵根据地京口和广陵，分别由桓修和桓弘镇之，北府兵士众由诸桓分领，北府兵至此被桓修等人控制。从东晋太元二年北府兵建立，到太元十二年谢玄解除兵权，共十年。从太元十二年至元兴元年十五年时间，北府兵主要掌握在刘牢之手中。元兴三年，刘裕联络北府兵将领，袭杀了北府兵统帅、六州（青、兖、幽、并、冀、徐）都督桓修，在京口重组北府兵。《晋书·桓修传》：“玄执政，以修都督六州、右将军、徐兖二州刺史、假节。寻进抚军将军，加散骑常侍。玄篡，以为抚军大将军，封安成王。刘裕义旗起，斩之”。

这支军队建立不久，抗御前秦屡立战功。早在太元三年八月，秦将彭超进攻彭城(今江苏徐州)。

次年二月，谢玄率高衡﹑何谦解彭城之围。后彭超复与俱难﹑毛当等率秦军6万南下，围晋幽州刺史田洛于三阿(今江苏高邮西)，朝廷大震。

五月，谢玄复率何谦﹑刘牢之等解田洛之围。

六月，又连续大败秦军，彭超﹑俱难仅以身免而北逃。

太元八年，在著名的淝水之战中，谢玄、刘牢之率领的北府兵更发挥了主力军的作用。此后，北府兵乘胜北伐，先后收复今河南、山东境内黄河以南大片土地。刘牢之率领的前锋，还一度打到黄河以北的邺城(见邺)。

太元十二年，朝廷征谢玄为会稽(今浙江绍兴)内史，以朱序为青﹑兖二州刺史，代玄镇广陵。谢玄从此失去对北府兵的领导权。此后，谯王司马怡，外戚王恭相继担任青﹑兖二州刺史，统领北府兵。

晋安帝隆安元年(397)，王恭自京口起兵反晋，北府兵从此成为东晋统治集团内部火并的工具。次年，王恭二次举兵反晋，司马刘牢之投降朝廷，倒戈击败王恭。朝廷乃以刘牢之代王恭都督兖﹑青﹑冀﹑幽﹑并﹑徐﹑扬州晋陵诸军事。刘率北府兵镇京口，成为割据一方的军阀。

隆安三年，三吴地区爆发了孙恩起义。朝廷遣卫将军﹑徐州刺史谢琰(谢安子)与刘牢之前往镇压。不久﹐谢琰兵败被杀，刘牢之率领的北府兵成为镇压这次起义的主要力量(见孙恩﹑卢循起义)。东晋政府成立北府兵，也是为了拱卫首都，充实长江下游军事力量，以改变荆、扬的形势。

元兴元年(402)正月，朝廷以宗室司马元显为骠骑大将军﹑征讨大都督，以刘牢之为前锋都督，率北府兵征讨荆州军阀桓玄。三月，刘牢之投降桓玄，不久，被桓玄夺去兵权，被迫自杀。北府兵遂为桓玄并吞。

元兴三年二月，刘牢之原参军刘裕与刘毅﹑何无忌(刘牢之外甥)等联络一部分北府兵中下级将领分别在京口与广陵举兵击灭桓玄。刘裕等人都是北府兵将领出身，但此后他们的军队已不是原来意义上的北府兵了。