刘宋泰始年间，晋安太守的官职被罢免，孔灵产为人有隐居的情怀，于是在禹井山设立屋社，精心的信奉道教，吉日则在屋内四向朝拜，并且涕泗滂沱。东行路过钱塘北郭，则在船上遥遥的对着杜子恭（道士）的墓行拜礼。自此一直到京都，他都是面朝东坐着，不敢稍稍偏转。刘宋元徽年间，他任中散、太中大夫。他颇为了解星象，喜好术数。齐太祖萧道成辅佐刘宋时，沈攸之起兵，孔灵产秘密地告诉齐太祖说：“沈攸之兵势虽然很强盛，但从天时术数来看，他不会有什么作为。”齐太祖验实了他的话后，提拔他做光禄大夫。用大竹筐装着孔灵产上灵台，让他占卜，并送给他白羽扇、素隐几，说：“你喜好古代的事物，所以赠送古物给你。”