潘文杰最初在香港丽的电视做幕后工作，是麦当雄旗下的得力干将。

1981年，潘文杰加入无线电视，任助理导演。

1983年，潘文杰到新加坡电视台工作，作品有电视连续剧《雾锁南洋》等。

1984年，潘文杰回到香港，担任电视连续剧《新扎师兄》编导，后曾参与《天龙八部》、《错结良缘》等剧集的编导工作。

1988年，潘文杰导演第一部电影《奸人本色》，开始他的电影生涯。

1991年，潘文杰执导的《跛豪》获香港电影金像奖最佳影片奖。

20世纪90年代后期，香港电影业慢慢衰败，潘文杰转战电视剧。熟悉金庸剧的都知道，有一版张卫健的《康熙与小宝》，该剧的导演就是潘文杰。

2003年，电视剧《奔月》，是潘文杰与新加坡影星合作拍摄制作的，主演是新加坡当红影星范文芳、李铭顺，以及国内知名度很高的女星温峥嵘。另外一部电视剧为《我爱钟无艳》。