温羡是东汉护羌校尉温序的后代，他的祖父温恢为三国时期魏国扬州刺史，父亲温恭为济南太守。温羡兄弟六人都闻名于世，号称“六龙”。

温羡年少时以聪明闻名，最初被齐王司马攸征用为属官，后升任尚书郎。晋惠帝继位，任命温羡为豫州刺史，后入朝担任散骑常侍，多次升任至尚书。永宁元年（301年），齐王司马冏击败称帝的赵王司马伦后掌权，因温羡曾任父亲司马攸的属官而特别亲近他，改任他为吏部尚书。

原先张华被杀，司马冏建议恢复他的官爵。有人提出异议，温羡反驳道：“自天子以下，谏官各有过失，不能归罪于一人。所以晏子说：‘为己死亡，不是他亲近的人，谁能承担？’里克杀庶子二人，陈乞立阳生，汉朝杀吕氏，都是多年后才能立事。没有事主还活着，而能在数月之内为所欲为的。式乾殿之会，独有张华进谏。宰相不和，不能顺势扬善，指望张华指挥他们紧跟，不也是很难的吗！况且现在皇后只是陷害太子，并没参预内难，于礼不通。而且皇后和皇帝同为一体，尊同皇帝，罪在陷害太子，不算谋反，按礼不应讨伐。现在把张华不能废掉陷害太子的皇后，与赵盾不讨伐杀害国君的贼等同，而贬低谴责他，是于理义不通。”张华最终得以恢复爵位。