1828年参加反共济会运动。

1829年当选纽约州议会议员。

1834年参加辉格党，成为北方的杰出领袖。

1832年被选入美国国会。

1848年，在辉格党的美国国代表大会上，Z·泰勒被提为总统候选人，菲尔莫尔被提名为副总统候选人。

1850年泰勒总统去世后，他继任总统。在整个从政时期，他一直鼓吹美国国内的发展，并很早就支持向太平洋扩张。

1853年派美国舰队前往日本，强迫日本政府改变闭关锁国的传统政策，与西方发展外交、贸易关系。

1852年他是辉格党提名的三个候选人之一。他也允许美国党提名他竞选总统。竞选失败后退隐。

由于总统任内花销太大，离任时他已经没有什么积蓄，经济上陷入困境。他正式向美国政府提出建议：给每位离任总统12000美元的年薪。他说：“我们的总统们，竟然被冷落地撇在一边，无人理睬，或许还迫于生计，在街道的拐角上开个杂货店，这真是国家的耻辱”。“我们选举一个人当总统，期望他诚实地办事，或许还能放弃盈利的职业。然而，我们在利用他以后，就让他隐居起来，也许还任其陷入贫困。”但没有答复。 菲尔莫尔在1856年大选中再次失败后，便把全部身心投入家乡布法罗的公众事业。募捐以建立布法罗的中学、青年会、历史学会、总医院、图书馆。但已经债台高筑，无力偿还债务。

所幸他1858年2月获得一位富有的寡妇卡洛琳的爱情，婚后，卡洛琳还清了他的债务，使他得以在以后的年代里继续从事他热衷的事业。1874年3月8日，菲尔莫尔中风死亡，终年74岁。

1826年2月5日菲尔莫尔与艾比盖尔·鲍尔斯结婚。生有一子一女。儿子是米勒德·鲍尔斯·菲尔莫尔。主修法律，曾跟随做律师的父亲学习。在他父亲去世15年后，鲍尔斯在蒂夫特酒店死于脑溢血。他没有一个知己朋友。鲍尔斯把部分遗产捐给了几家慈善机构，包括美国禁止虐待动物协会、青年妇女基督教联合会，及几家医院和教堂。其余的财产他留给了两个姨妈，还给了丹佛的约翰·豪科特一笔钱，但两人的关系无从查证。

女儿玛丽·艾比盖尔·菲尔莫尔。家人和朋友都叫她为艾比。艾比童年时对音乐很有兴趣。她所受的正规教育比同时代的妇女要高。而且还继承了父亲的活力和自信心。她一心想成为一名教师，但由于母亲身体半残，她不得不代替母亲出任白宫女主人。1850年，副总统菲尔莫尔接任去世的扎卡里·泰勒的总统职位，十几岁的艾比担当起了白宫女主人的重任。艾比和她哥哥一样终生未婚。1853年父亲任满后不久。她的母亲就去世了。艾比和父亲护送母亲的灵柩回到布法罗埋葬后，开始了她的执教生涯。母亲死后一年，热心助人的艾比不顾自己的病情，赶到纽约州的东奥罗拉去帮助祖父安置新家。但她到达祖父家还不到12个小时，就死于霍乱。

菲尔莫尔是美国历史上第二位以副总统身份继承总统职位的人，在任仅两年又八个月。菲尔莫尔在奴隶制问题上始终持妥协态度。他于1850年签署了对南方奴隶主妥协的法案。这一法案既为北方所不满，又未赢得南方的信任。由于两面不讨好，他在1852年的总统选举中落选。他在对外政策方面也无显著成就，任期内最大的外交行动是派遣海军少将佩里率领舰队前往日本，迫使日本政府开放海口与美国通商，从而“打开日本的大门”。他的另一项政绩是大力在西部构筑铁路。1840年以前，美国的铁路大部分在阿巴拉契亚山脉以东，西部地区没有铁路。1852年，东西部铁路在芝加哥市接通，使得芝加哥成为了美国铁路网的中心，也促进了西部资本主义经济的发展。

菲尔莫尔被曾评为最差美国总统第10名，是因为他未能解决奴隶制危机。

菲尔莫尔是扎卡里·泰勒去世后开始他短暂的总统任期的。1850年妥协案导致了对奴隶制的双轨制，奴隶贸易在哥伦比亚特区和加利福尼亚州被禁止，但与此同时，剩下的蓄奴者的权力却得到了强化。专栏作家卡米拉·卡文迪什称：“他所达成的延长奴隶制的妥协为美国内战准备了土壤。”

尽管如此，他在外交和铁路建设方面却做出了突出贡献，这为美国日后的发展奠定了坚实的基础。很多历史学家也开始认为，将他评为最差的总统是有失公允的。