胡文森生於一九一一年四月十七日，曾在英文书院就学，但父亲却是典型的书塾老师，胡文森从父亲处承传了深厚的国学修养。他两位姐姐胡淑英（艺名“陈皮梅”）、胡淑贤（艺名“陈皮鸭”）是一九三○年代的著名粤剧艺人，酷爱音乐的胡文森受影响下也不知不觉走近粤剧粤曲界去，得到机会为歌伶撰写粤曲曲词。

平湖秋月 夜半歌声

现在能见到的胡文森最早撰写的粤曲词，是在一九三五年的时候写给小明星演唱的《夜半歌声》。记得小明星英年早逝，其後有一首悼念她的粤曲唤作《星殒五羊城》，开始的一段调寄《平湖秋月》曲词，其实就是胡文森作的《夜半歌声》的第一段曲词，如此搬字过纸，旨在引起听众对小明星的印象和思念。不过，现在若再听到这一段《平湖秋月》唱词，怀念的应不止小明星，还有胡文森。

胡文森一生所写的粤曲，即使未必数以千计，也肯定数以百计。比较特别的是他写的俱是歌坛粤曲、唱片粤曲，又或是用於电影或电台播唱的粤曲，可是从未写过在舞台上演出的粤剧剧本。胡文森的粤曲创作水平甚高，当时人们誉吴一啸为“曲王”、王心帆为“曲圣”，而胡文森亦有“曲帝”之美誉，三人在粤曲撰词方面鼎足而立，是一时之瑜亮。五十年代初，胡文森曾任幸运唱片公司的撰曲主任，也彷佛成了该公司的“御用”撰曲家，现在流传下来的幸运公司的粤曲唱片，大多数是由胡文森撰曲的。其实在三、四十年代，胡文森也曾主理过“歌坛”，所以他非常懂得伶人在曲词上的需求。