洪武三年（1370）举人，上书符合明太祖的心意，任监察御史。

洪武六年（1373），升任四川按察使，以公平著称。

洪武七年（1374）五月，被征召为刑部侍郎。他向皇上写信说：“中书省里里外外共有百余个官署，都接受御史、按察使的监督，但御史台却没有定期考核，应该命令守院御史一体考核。磨勘司官员数量太少，难以胜任检查全国钱粮的任务，请求增加官员若干员，各分为不同的科目。在外省卫，凡讨论军队和老百姓的事务，大家意见有分歧，致使事情一直拖延。请求选用按察司一人负责纠正。”明太祖完全采纳了他的意见。

洪武八年（1375），因受到牵连，降职刑部主事，他陈述时事，达数万言。明太祖命令中书郎王敏读给他听。其中说，几年来有才能的人，一百人中难得有一、二人幸存，当今任职的官吏都是迂腐文人和无能官吏。其中有很多忤逆和触犯明太祖的话语。明太祖大怒，召见茹太素当面责问，并在朝廷上杖打。第二天傍晚，明太祖再次在宫中令人朗读茹太素的信，从中体悟到了四条可行的建议，于是感叹说：“当皇帝难，做臣子也不容易。我之所以要求臣子直言，是希望他们能切中事理。文辞写得太多，便到了不知所云的地步。茹太素所呈意见，其实只要五百字就够了。”因而下令中书制订上奏的格式，杜绝大臣呈述奏文繁琐冗长。同时摘抄茹太素上奏中可行的有关条文下发到有关部门。明太祖亲自在前面作序，颁发朝廷内外。