1860年，华尔在中国相关人士支持下，招募流浪在上海的200余名西洋盲流组成一支雇佣军。青浦首役战败后，华尔遣散其中大部分人，仅余下少部分作为军事主官，另以一批菲律宾雇佣军为骨干，又招募了数千中国人（1000～3000人），组建“洋枪队”，这也就是“常胜军”的前身。在其顶峰时期，部队人数曾多达5000人。

常胜军的军队架构也是从洋枪队建立之初便确定下来，即：以西洋军士作为军事主官，招募“华勇”作为士兵；配发当时先进的火器，并使用西方先进的训练方法操练部队。

1860年7～9月，洋枪队先后在中国松江、青浦两地被太平军李秀成部打得大败，损失惨重。其后，清政府为洋枪队再次扩大投资，购买新式枪炮，不断扩大编制，兵员达1200余名，企图与太平军一决雌雄。1862年2月初，太平军李秀成部第2次进攻上海，洋枪队以其优势兵力在松江一带打了几个胜仗，清政府便将洋枪队首领华尔升为三品官，并将洋枪队更名常胜军。

咸丰十年（1860），美国冒险家F.T.华尔经清苏松太道吴煦赞助，于6月2日成立洋枪队，有百余人，以华尔为统领，美国人E.法尔思德（E. Forrester）和H.A.白齐文(H.A.Burgevine)为副统领，总部设在松江。次年8月，洋枪队在松江改组，由欧美人任军官，中国人当兵，扩编为700余人，随后又增至2000余人。同治元年-1862，洋枪队改名常胜军。3月，清政府授华尔为参将，以吴煦为督带，杨坊会同华尔为管带。常胜军人数虽达5000，但与太平军作战中屡战屡败，英国人在这个时候抵达，英国将军斯特维利(William Staveley)决定与华尔和另一支小型法国军队将上海30英哩内的太平天国势力逐出。嘉定、青浦原本被太平军占领，在1862年底这些地区基本上被洋枪队夺回。

华尔在对慈溪的攻击时阵亡，他的后继者不被清朝皇帝所喜欢。当时的江苏巡抚李鸿章，要求斯特维利另指派英国军官来指挥洋枪队。斯特维利选择了戈登。1863年3月，戈登在松江接任了指挥，他仿照英军建制，实行薪金制。4～7月，与淮军联合西进，陷太仓、昆山、吴江，并将总部迁至昆山，被清政府赏总兵衔。8月，常胜军与淮军攻苏州，数月无功，伤亡惨重。戈登通过奸细了解到守城的太平军将领纳王郜永宽等“四王”、“四大天将”与主帅谭绍光一直不和。知道纳王郜永宽有投降之意，便主张诱降纳王，兵不血刃攻克苏州。戈登的建议为李鸿章采纳。经过一番秘密联络，郜永宽在苏州城外亲自与戈登、程学启商议降约。

戈登听到李鸿章杀降的消息后提着洋枪要找李鸿章算帐。由于找不到李鸿章，戈登忿忿然留下一份最后通牒，要求李鸿章下台。然后，他就率“常胜军”返回昆山，同时给英国驻华公使布鲁斯（Bruce ， Sir Frederick William Adolphus）写信，要求英国政府干预，迫使李鸿章下台。英国驻华陆军司令伯郎也从上海赶到昆山，与戈登商定“常胜军”由其节制，不再受李鸿章及中国政府调遣，从中方夺回了“常胜军”的控制权。上海的外国领事馆官员代表列强及所有外国侨民也签署了一项严厉谴责李鸿章的决议，警告说此事很可能使列强不会再帮助清政府，并可能撤回帮清军打仗的洋兵洋将。李鸿章没有想到，他的“杀降”居然会引起外国人如此强烈的反应，甚至有可能破坏难得的“中外和好”局面。慌了手脚的李鸿章于是一方面急忙向对中国政局影响颇深的英国人赫德（Robert Hart）和马（MaCartney Sir Samuel Halliday）求援，请他们代为调解。“涉外”成功不等于“外交”成功。另一方面，李鸿章向朝廷辩解说因太平军人多，自己不得不杀降，同时力陈淮军已掌握西方枪炮技术，战胜太平军不再需要“常胜军”。李鸿章的这两手果然奏效。朝廷下旨不仅明确支持李鸿章并责备戈登“不明事理”，“意殊颇测”，“惟有据正理驳斥，以折其心”。与此同时，经过赫德等人的调解，英方制止了戈登的过激行为。戈登仅要求李鸿章发一文告，说明此事与己无关。对此要求李鸿章立即答应，双方都有了“下台阶”，一场大风波总算平息，但此事更坚定了李鸿章裁撤“常胜军”的想法。

1864年5月，陷常州后，清军在苏南的胜利已成定局，戈登主动要求遣散“常胜军”。早就想裁撤“常胜军”的李鸿章立即高兴地同意。1864年5月31日，常胜军在昆山解散，全体军官辞去了在清军中的职务，其部分精锐部队和大部分武器装备被编入淮军，进一步提高了淮军的实力。从对“常胜军”的利用、处置，可以看到李鸿章“请神”、“送神”的现实和老辣。

解散后，李鸿章划银1500两在上海建立了常胜军纪念碑。纪念碑原在外滩花园北门外，重建公园围墙时划入园内，它以正方形大理石为基座，基座上为三角锥形碑，碑上镌刻汉文“得胜”二字，共镌刻有48名阵亡的外籍常胜军官兵姓名，因华尔列居首位，因而又被称作“华尔纪念碑”。