潘我源出身于国民党元老的家庭，她的母亲早年曾由国民党派往苏联留学，与蒋经国是同学，回国后也历任国民党内要职。潘我源的父母很早就离婚了，她跟着母亲生活，可以说养尊处优。可她不安于大小姐的生活，结交了一些有左倾思想的朋友。在上海解放前夕，她竟跟电影演员夏天一起投奔了解放区，从此就跟她的母亲失散了。

上海解放后，潘我源与夏天回到上海并结了婚。夏天分配到电影演员剧团；潘我源则分配到了翻译片组，担任剪接工作。潘我源出身国民党高官家庭，可一点也不像个大小姐；她去过解放区，但她也一点都不像个革命干部。她当时只有十九岁，却常常叼一根香烟，说话、处世大大咧咧，笑起来不管不顾，嘎嘎嘎地像只鸭子，所以才有了“鸭子”这个外号。

潘我源有她自己的戏路，像《凡尔杜先生》中那个中了头彩的女佣人以及《冰海沉船》中那个女财主，没有人能比她配得更精彩了。改革开放以后，她跟在台湾的母亲取得了联系。她是母亲的独生女。为了照料已达八十高龄的母亲，她申请离职去了台湾。