1965年已成家并育有三名孩子的林吉祥决定从政，参加了民主行动党（当时仍称为“人民行动党）。1964年林吉祥任民主行动党首任秘书长蒂凡那（Chengara Veetil Devan Nair、C. V. Devan Nair）政治秘书。1967年受委加入中央执行委员会，1968年在该党的第一次全国大会上，担任组织秘书，并任该党机关报《火箭报》英文版主编。1968年雪兰莪沙登（Serdang）州议席补选，落败于马华候选人。1969年5月10日大选，中选马六甲市区国会议员，在同年5月15日在前往沙巴州为独立候选人助选时被沙巴州长驱逐出境，再由新加坡转机回马时，被警察拘捕，在未经审讯的情况下被援引《内部安全法令》扣留16个月。1970年10月在扣留营中当选为马来西亚民主行动党第三任秘书长。自1972年起担任马来西亚国会下议院反对党领袖，至2008年（1999年-2004年失去国会议员资格）。1974 - 1978年，中选马六甲市区国会议员。1978 -1982年中选八打零再也国会议员。1986年移师槟州，插旗丹绒，宣告开展“丹绒一役”。林吉祥不仅在国会击败民政的许子根，而且有10名候选人中选州议员。1990年的大选，与东姑拉沙里组成的46精神党发动“丹绒二役”的第二轮攻势，行动党夺得14个州议席，连槟城州首席部长林苍佑也被扳倒。1995年大选，林吉祥虽保住国席，州议席只剩下一席归行动党拥有。1999年的大选，林吉祥落败升旗山国会议席。在1999年选举失利后，首次失去国会议员资格的林吉祥也辞卸秘书长职，改任党主席，由郭金福接棒。到了2004年大选后，林吉祥卸下党主席职，他的儿子林冠英已当上民主行动党秘书长。2004年中选霹雳州怡保东区国会议员后，再次担任国会反对党领袖。