殷芸，字灌蔬，陈郡长平（今河南西华东北）人，与南朝梁国子祭酒、散骑常侍殷钧同族。殷芸性情倜傥，不拘细行。然不妄交游，门无杂客。励精勤学，博览群书。殷芸年幼时，庐江人何宪见到殷芸，对他深相叹赏。

宋代因避宋太祖父亲赵弘殷讳，改称商芸小说。明初此书尚存，以后不见，如今只有零篇散见于续谈助及原本说郛中。近人鲁氏古小说钩沈中有辑本。殷芸小说是采集群书而成的，如世说、冲波传、鬼谷先生书等。

南朝齐永明年间（483年—493年），殷芸担任宜都王萧铿的行参军。

南朝梁天监初年（502年），殷芸担任西中郎主簿、后军临川王萧宏的记室。

天监七年（508年），殷芸升任通直散骑侍郎，兼任中书通事舍人。

天监十年（511年），殷芸再次担任通直散骑侍郎，兼任尚书左丞、中书舍人。后来升任国子博士，并担任昭明太子萧统的侍读，西中郎将、豫章王萧综的长史，兼任丹阳尹丞。后累次升迁至通直散骑常侍、秘书监、司徒左长史。