王行幼年跟随父亲卖药于徐翁家，徐媪好听稗官小说，王行日记数本，为徐媪诵读。徐媪大喜，言于徐翁，授以《论语》，次日就能背诵。徐翁认为非常奇异，让王行尽读家中所藏之书，于是王行通晓经史百家言。王行未到20岁，感谢而去，授徒齐门，名士纷纷与他来往。富人沈万三将他邀请到家塾，每次文成，酬谢白金以镒计，王行则离开，说：“使富而可守，则然脐之惨不及矣。”

洪武初年，官府邀请王行为苏州府训导。后辞官，隐居于石湖。王行的两个儿子在京城做劳役，王行前往探视，凉国公蓝玉将他聘请为私塾的老师，并数次向明太祖推荐，得到召见。后蓝玉被诛，王行父子连坐被杀。

张士诚用兵，所在多列炮石自固，王行私语所知：“兵法柔能制刚，若植大竹于地，系布其端，炮石至，布随之低昂，则人不能害，而炮石无所用矣。”后常遇春攻取平江路（今江苏苏州），果如其法。王行自负通晓军事，最后遭遇灾祸。