毕业后，他原本打算进入法学院学习，但此时经济上出现了问题。于是，他成为了西弗吉尼亚州查尔斯镇的爱德华·H·麦克唐纳少校的家庭教师。他为麦克唐纳的九个孩子和六个侄子、侄女上课。其中的一位当时19岁的朱莉娅，后来成了戴维斯的妻子。在完成了与麦克唐纳9个月的合同后，戴维斯回到家乡，进入了他父亲的律师事务所。在那工作的14个月，他抄写文件、阅读案例，立志成为一位杰出的律师。

1895年他获得了华盛顿与李大学的法学学位，并被选为法律课演讲人。从他的演讲中可以一督他所拥护的价值：律师一直是守卫自由瞭望塔的哨兵。无论什么年代，无论什么国家，他们都站在保卫国家、法律以及自由的最前列，而非等待沉闷的死亡，同时对于暴君也充满不满的情绪。

华盛顿与李大学法学院为培养出戴维斯而自豪。1947年，华盛顿与李大学开始为成绩最好的法学毕业生颁发约翰·W·戴维斯奖。法学院还以他的名字来命名举办的仿真法庭竞赛。

从法学院毕业之后，戴维斯得到了三个签名担保，从而获取了律师执照，并加入他父亲在克拉克斯堡的事务所——戴维斯和戴维斯律师事务所。戴维斯打的前三个官司都败诉了，不过自此之后他的命运改变了。1896年秋天，在他开始律师生涯还不到一年的时候，华盛顿与李大学请他回学校担任助理教授。当时整个法学院只有两名教员，而戴维斯将成为第三名。但在当年年底，戴维斯回绝了学校的邀请，他决定继续自己坎坷的律师生涯。

戴维斯于1899年6月20日娶了朱莉娅·T·麦克唐纳，但1900年8月17日她就去世了。她们育有一个女儿，名为朱莉娅·麦克唐纳·戴维斯。她后来先后嫁给了查尔斯·P·希利和威廉·M·亚当斯。1912年1月2日，戴维斯娶艾伦·G·巴赛尔为妻，后者死于1943年。

戴维斯是吉米·卡特政府的国务卿赛勒斯·万斯的舅舅以及养父。他的女儿朱莉娅1926年被美联社聘用，是最早被美联社聘用的两个女性记者之一。她的第二任丈夫威廉·麦克米伦·亚当斯是斯普雷格国际的总裁，而他则是美国橡胶公司总裁亚瑟·亨利·亚当斯的儿子。他们父子都在1915年被德国潜艇击沉的卢西塔尼亚号上，亚瑟死了，而儿子威廉幸存了下来。朱莉娅和威廉育有两个儿子，约翰·佩里和亚瑟·亨利二世。朱莉娅死于1993年。

他的父亲曾是参与创立西弗吉尼亚州的惠灵协定的代表，但同时他还是个畜奴主义者，以及第十五修正案的反对者。戴维斯继承了他父亲大多数的保守主义观点，包括反对妇女投票权、反对禁止使用童工法、反对禁止私利，也反对哈利·S·杜鲁门总统的民权项目，为黑人投票选举需交纳的人头税辩护。他也继承了他父亲对于民主党的忠诚，即便后来他代表保守主义商人的利益而反对罗斯福新政。戴维斯是最后的杰斐逊主义之一，包括他支持州权、反对大政府（他是反对杜鲁门的钢铁业国有化的律师的代表）。

1911年到1913年他担任西弗吉尼亚州的美国众议院议员，是克莱顿反托拉斯法的作者之一。他还是成功弹劾罗伯特·W·阿彻博尔德法官的推动者之一。1913年到1918年他担任首席检察官，1918年到1921年则担任美国驻英国大使。作为首席检察官，他在吉恩诉美国案中成功地辩护，使俄克拉何马州的祖父条款最终被裁定为违宪，保护了黑人的投票权利。其实戴维斯的个人观点与他的辩护立场恰好相反。纵观他的职业生涯，他一直能很好的将职业责任与个人看法分离开来。

戴维斯在1920年与1924年都是民主党总统候选人的黑马。他的朋友与伙伴弗兰克·波尔克主持了1924年民主党全国大会。

大会上，与会代表经过103次投票之后，经过妥协，才推举出戴维斯为总统候选人。他对于三K党的谴责以及作为伍德罗·威尔逊总统的首席检察官对于黑人投票权利的辩护，使他失去了很多来自南部以及民主党中保守派的选票。在大选中他溃败给卡尔文·柯立芝，后者甚至都没有离开白宫去参加拉票活动。

戴维斯是十字军国家顾问委员会的成员，该组织对撤销制酒禁令十分支持。他还是建立于1921年的美国外交关系委员会主席，同时于1922年到1939年担任洛克菲勒基金会理事。戴维斯还曾是1928年和1932年民主党全国大会代表。

戴维斯是20世纪前半叶最为知名的律师之一，共在美国联邦最高法院的法庭上担任过140次辩护律师。他的事务所（即现在的Davis Polk & Wardwell法律事务所）从1920年代开始作过许多大企业的代理。

戴维斯最后20年的律师经历包括代表很多大企业在最高法院挑战罗斯福新政的合宪性。然而，他输掉了许多这类案子。

在戴维斯的职业生涯，他总共在最高法院的法庭上辩护过140次。其中有一些是作为首席检察官打的官司，而更多的则是作为私人律师。2003年从首席检察官席位上退休的劳伦斯·华莱士，总共辩护了157次。然而，很多人相信在这样能超过戴维斯的人很少。丹尼尔·韦伯斯特和沃尔特·琼斯被认为超越了戴维斯，但他们生活在更早的年代。

戴维斯最有影响力的辩护之一是1952年5月的杨斯顿钢铁公司总统权限案。在法庭上，戴维斯为钢铁公司辩护了87分钟，反对杜鲁门总统收控国内钢铁公司。他说杜鲁门的行为是“对权力的篡夺，在美国历史上绝无仅有”。最高法院的大法官们允许他连续不间断地陈述了将近一个半小时，其中只有费利克斯·弗兰克福特大法官提出过一个问题，或许是由于他对戴维斯的1924年选举不满。这原本可能预视着大法官们将支持总统的行动，但最后法庭以6-3支持了钢铁公司，同时要求总统即使是在战争期间也应该遵守法律规定。

尽管直到1952年3月戴维斯才接下这场官司，但其实他早已了解了总统收控钢铁公司的情况。1949年，共和钢铁公司因畏惧总检察长汤姆·C·克拉克向杜鲁门总统提出的建议，没有发表戴维斯帮他们公司写的一封公开信，这封信指责总统的行为造成了“国家危急”。戴维斯认为总统不能超出他的权力范围行事。

值得一提的是，尽管前总检察长汤姆·克拉克在1949年向杜鲁门提议收控钢铁公司，1952年作为大法官的他还是投票反对杜鲁门的行为，让人感觉前后矛盾。

主条目：布朗诉托皮卡教育局案

戴维斯的职业生涯让人印象最深的是他最后一次在最高法院辩护。在与布朗诉托皮卡教育局案同案审理的布理格斯诉伊利奥特案中，他以“隔离但平等”来作辩护，但最终失败了。作为种族隔离制度的支持者，戴维斯很不寻常地在法庭上表现出了激动的情绪，争论到南卡罗来那州已经在消除白人学校和黑人学校的不平等上做得很好了，不应该再受到司法的干涉。戴维斯曾希望能在民主党、共和党各占半壁江山的最高法院取胜，但最终的结果却是9位大法官达成一致，判定“隔离但平等”的原则违宪。

戴维斯曾是美国律师协会、美国外交关系委员会、共济会、ΦΒΚ兄弟会和ΦΚΨ兄弟会的成员。他居住在纽约州纳苏县，直到他81岁在南卡罗来那州查尔斯顿去世前，一直在纽约市继续他的律师生涯。去世后，他被葬在纽约州格伦科夫的蝗虫谷公墓。位于西弗吉尼亚州克拉克斯堡西派克街的约翰·W·戴维斯联邦大楼以他的名字而命名。

选举史西弗吉尼亚州第一国会选区（1910年）

约翰·W·戴维斯（民主党）- 20,370 (48.88%)

查尔斯·E·卡里根（共和党） - 16,962 (40.71%)

A·L·鲍尔（社会党） - 3,239 (7.77%)

尤利西斯·A·克莱顿（禁酒党） - 1,099 (2.64%)

西弗吉尼亚州第一国会选区（1912年）

约翰·W·戴维斯（民主党）- 24,777 (44.97%)

乔治·A·劳克林（共和党） - 24,613 (44.67%)

D·M·S·斯科特（社会党） - 4,230 (7.68%)

L·E·彼得斯（禁酒党） - 1,482 (2.69%)

1924年民主党总统初选

威廉·麦卡杜 - 562,601 (56.05%)

奥斯卡·W·安德伍德 - 77,583 (7.73%)

詹姆斯·M·考克斯 - 74,183 (7.39%)

未承诺 - 59,217 (5.90%)

亨利·福特 - 49,737 (4.96%)

汤姆斯·J·沃许 - 43,108 (4.30%)

伍德布里奇·内森·费里斯 - 42,028 (4.19%)

乔治·西尔泽 - 35,601 (3.55%)

阿尔·史密斯 - 16,459 (1.64%)

L·B·默斯格罗夫 - 12,110 (1.21%)

威廉·德弗 - 1,574 (0.16%)

詹姆斯·A·里德 - 84 (0.01%)

约翰·W·戴维斯 - 21 (0.00%)

1924年美国总统选举

卡尔文·柯立芝/查尔斯·盖茨·道斯（共和党） - 15,723,789(54.0%)、382张选举人票（35州）

约翰·W·戴维斯/查尔斯·W·布赖恩（民主党） - 8,386,242 (28.8%)、136张选举人票（12州）

罗伯特·M·拉佛莱特/伯顿·K·惠勤（进步党） - 4,831,706 (16.6%)、13张选举人票（1州）