他把中原的农耕技术带到合浦，亲自教合浦民众耕种，修渠筑坝蓄水，并和老百姓在一起耕田建屋，同吃同住，得到了民众的爱戴和拥护。费贻离任赴京之日，合浦士民不忍让其离去，扶辕百里相送至一山下，才依依不舍泣别分手。费贻离开合浦后，民众为纪念他治理、开发合浦的功德，便把泣别分手的大山取名为“廉山”，把所在的田垌称为大廉垌，把合浦江(汉时又称“瘴江”，明代称为西门江)改名为廉江，把费贻在合浦带领民众所挖的井称廉泉(今合浦县城体育场内，汉时称甘露井)。唐贞观八年(634年)，唐太宗因合浦境内有廉山、廉江，便将合浦郡改为廉州，取意为“弘扬廉洁勤政吏洽之风”。

费贻是富有贤名之人。他在乡中以操守著名，有南安“清廉节义五杰”之誉，与李业、谯玄、王皓、王加等俱为刘秀（即后来的汉光武帝）所敬重的名士。西汉末年，王莽专权，天下大乱，群雄割据。时公孙述据四川为王，也想借重这一批名士的声望来巩固自己的地位，但这些名士都不愿为公孙述所用，以死明志或被逼死。后闻费贻贤名，多次请之出山相助。费贻不愿为割据势力卖力，于是跑到深山隐居。公孙述派人跟踪邀请，费贻就把漆树汁涂在自己身上，使皮肤过敏感染成癞疥状，还披发佯逛逃避。刘秀统中国后是为光武帝，立即派人去寻找费贻等人回来为国效力，并多次派遣特使去邀请费贻入朝。