不久，汉水流域因为暴雨而发生了“汉水溢流，害民人”的自然灾害，关羽趁机乘大船进攻，俘获了于禁的三万大军。于是，关羽讬以粮乏，擅取湘关米，孙权于是派遣吕蒙偷袭关羽镇守的荆州。吕蒙率军进攻南郡，南郡太守麋芳开城出降。当时吕蒙军尚在沙丘上庆祝南郡投降，虞翻此时劝吕蒙小心城中会有伏兵，江陵城中只有麋芳跟吴军是一心的；其他人居心叵测，劝吕蒙应尽快入城控制城池，吕蒙幡然醒悟、及时掌控城中要地，让原本想要伏击的人来不及设好埋伏。当时城内果然设有伏兵，因为吕蒙接纳虞翻的劝告，这次伏击才不成功。

关羽被击败后，孙权让虞翻占卜，算出《兑》下《坎》上，《节》，五爻变之《临》的卦象，虞翻说：“不出二天，关羽必被杀头。”果真如虞翻所说。孙权说：“你固然比不上宓羲氏，但比得上东方朔了。”

魏将于禁被关羽俘虏，被囚禁在城中，孙权到了以后开释了他，请他和自己相见。另一天，孙权骑马出来，请于禁和自己偕行，虞翻叱责于禁说：“你是个俘虏，怎么敢和我们主公的马齐头并进呢！”就要拿鞭子打于禁，被孙权呵止了。此后，孙权在楼船和群臣会饮，于禁听着歌舞痛哭流涕，虞翻又说：“你计划装模作样来求得宽赦吗？”孙权对他感应很愤懑。

后来孙权与魏和解，想要把于禁遣回魏国，虞翻说道：“于禁败数万之众，自己身为降虏，又不能死节，北方的军政习惯，此时得回了于禁也必定不会重用，虽然放了他对我们没有损失，但依旧如同放盗归山，不如将他斩了用来警示身为人臣却有二心之人。”孙权不听，后来群臣为于禁送行，虞翻又对于禁说：“你不要以为我们吴地没有可用之人，只不过是我的谋略不被重用罢了。”于禁虽然被虞翻所讨厌，但是依旧非常赞叹他，魏文帝曹丕也常常为虞翻设虚坐。

孙权做了吴王以后，庆功宴席快就数的时辰，亲身起来劝酒，虞翻趴在地上装醉，不端羽觞。孙权摆脱后，虞翻又起来坐下。孙权于是震怒，拔出佩剑要杀他，在座的都很惊惶。只有大司农刘基起身抱住孙权劝告到：“大王饮酒之后杀掉有名的念书人，就算虞翻有罪，天下人谁笃信？何况大王向来能包容贤人使众人归附，因而天下人都来投奔，今朝一下子功败垂成，行吗？”孙权说：“曹孟德尚且杀了孔文举，我杀个虞翻有什么！”刘基说：“曹操是个轻易杀害士人，遭到天下非议。大王推行德义，要和尧、舜相比，（假使杀了虞翻）怎么再和尧舜相比呢？”虞翻因此得以免死。孙权因此下令身边的人，从今起酒后自己再说杀人，都不要杀。

虞翻曾经搭船出行，和麋芳相遇，麋芳船上人多，计划让虞翻避让，麋芳船上仪仗队的前锋说：“给将军让路！”虞翻高声骂道：“丧失了忠信，拿什么服侍君主（说麋芳是降将）？献出人家（蜀国）两座城，还称将军，行吗？”麋芳关上船窗不答复他赶忙回避了。自后虞翻搭车出行，又经历麋芳的虎帐大门，军官关上营门，虞翻的车马过不去。虞翻又震怒说：“该关的时辰反而打开，该打开的时辰反而闭塞，这是你们应该做的吗？”麋芳听到后，显露羞愧的神志。虞翻生冒失刚正，多次在酒菜上走嘴。孙权和张昭辩论神仙，虞翻指着张昭说：“你们都是死尸，还辩论神仙，世上怎么会有神仙！”孙权不止一次对他的话语愤怒了，于是把他放逐到交州。

虞翻到交州后，在那里讲学，学生时常也有数百人；又为《老子》、《论语》和《国语》等书籍作注。虞翻虽被流放，但仍然十分关心国家，如在黄武七年（228年），辽东公孙渊派使节向孙权联络。嘉禾元年（232年），孙权派将军周贺和校尉裴潜从海路到辽东向公孙渊求马，虞翻认为辽东路远，派人到那里求马并没有益处，只会损耗人力和财力；但虞翻想劝谏但又不敢，请求交州刺史吕岱传话但吕岱又不肯。他又被人中伤，再被流放到苍梧郡。其后，周贺遇风暴和被曹魏将领田豫攻击，孙权于是大感后悔，并想起虞翻，于是命人到交州找寻虞翻，找到就护送他回建业；若已死，则送还会稽，并让儿子仕官。此时虞翻逝世，享年七十。

虞翻对于学问孜孜以求，从未间断。特别是晚年在交州期间，讲学不倦，门生常数百人。据《三国志》及其注载，虞氏为《老子》、《论语》、《国语》作过训注，并着《明扬释宋》。考《隋书经籍志》：“梁有《古文论语》十卷，郑玄注；又王肃、虞翻、谯周等注《论语》各十卷。”唐陆德明《经典释文．叙录》：“《论语》虞翻注十卷。”此即《论语》训注。隋唐志著录，有虞氏《春秋外传国语注》二十一，此为《国语》训传。又隋唐志著录，并有虞氏《太玄注》十四卷，此即为《易扬释宋》（扬，扬雄。宋，宋衷）。《经典释文．叙录》：“《老子》虞翻注二卷”，《隋书经籍志》著录相同，此即《老子》训注。此外，虞氏还为《孝经》、《周易参同契》作过注，唐玄宗御注《孝经序》云：“韦昭，王肃先儒之领首。虞翻、刘邵抑次焉。”《经典释文》卷二载虞注《参同契》云：“易字从日下月。”即是其证。 虞氏于《周易》造诣最深。这主要得之于世代家传易学和他本人处战习易而不辍，博览众家之易说。

虞氏别传也明确说，他曾将《易注》献给当时的统治者。《隋书．经籍志》、《旧唐书．经籍志》著录虞注《周易》九卷，《新唐书．艺文志》、《经典释文》有虞注《周易》十卷，这是虞氏《易注》。 另外，据唐代史志文献记载，虞氏还撰有《周易日月变例》六卷，《京氏易律历注》一卷，《周易集林律历》一卷等易学著作。以上所列虞氏著作（包括非易学著作）皆亡佚。

现存虞氏易注主要见于李鼎祚《周易集解》。清孙堂《汉魏二十一家易注》辑有虞翻《周易注》十卷，《附录》一卷，《逸书考》辑有虞翻《周易注》一卷，清惠栋《易汉学》，张惠言《周易虞氏义》九卷、《周易虞氏消息》二卷、《虞氏易礼》二卷、《虞氏易事》二卷、《虞氏易候》二卷、《虞氏易言》二卷，曾钊撰《周易虞氏易笺》九卷，方申作《虞氏易象汇编》一卷，纪磊作《虞氏易义补注》一卷、《附录》一卷、《虞氏易象考正》一卷，胡祥麟撰《虞氏易消息图说》一卷，李锐作《周易虞氏略例》一卷，民国徐昂撰《周易虞氏学》六卷，对虞氏易学皆有阐发，是研究虞氏易的必备之书。

虞翻性情疏直，多次犯颜谏争，且性多不协俗，屡使孙权大怒，先后被谪到丹杨泾县和交州等地。他虽然常有失君臣之礼的行为，然十分注重封建礼教，尤其崇尚一臣不事二君的忠君思想，即使遭他奚落的降将于禁，内心也十分佩服他，魏文帝因此也常为他设坐。

孙策：卿博学洽闻，故前欲令卿一诣许，交见朝士，以折中国妄语儿。

张纮：虞仲翔前颇为论者所侵，美宝为质，雕摩益光，不足以损。

孙权：①卿不及伏羲，可与东方朔为比矣。②虞翻亮直，善于尽言，国之周舍也。前使翻在此，此役不成。

陆机：风雅则诸葛瑾、张承、步骘以声名光国，政事则顾雍、潘濬、吕范、吕岱以器任干职，奇伟则虞翻、陆绩、张温、张惇以讽议举正，奉使则赵咨、沈珩以敏达延誉，术数则吴范、赵达以禨祥协德。

陈寿：虞翻古之狂直，固难免乎末世，然权不能容，非旷宇也。

孙登：虞翻，志节分明。

袁宏：仲翔高亮，性不和物。好是不群，折而不屈。屡摧逆鳞，直道受黜。叹过孙阳，放同贾屈。

李白：地远虞翻老，秋深宋玉悲。

叶适：虞翻，东国俊才，宦仕州郡。上不及预天下废兴之义，下不能为一身荣辱之防。虚効忠勤，轻招废放，惜哉，惜哉！曽不得比顾雍、诸葛瑾之伦也。虞耸抽引人物，务在幽隠孤陋之中，亦用意至到之一节。其言所誉依已成，所毁依已败。后世则又不然，嫉其已成而设毁以败之，皆是也。

刘克庄：孝谦已称帝，宾佐尽封侯。不道投荒客，交州白了头。

孙策自任会稽太守后，依旧以虞翻为会稽的功曹，不久孙策甚至亲自去虞翻家里看他，把他当成朋友看待，并在给他的书信里写道“今后之路，我当与卿共闯（今日之事，当与卿共之）。可不要说我孙策只把你当成普通郡吏看待哦。”而“今日之事，当与卿共之”这句也是当初孙策收降太史慈后对太史慈说过的话。

孙策有一次讨伐山越时，在斩杀敌将主帅后下令部下兵分多路自行追杀逃散的敌军，后来孙策独自一人骑马追敌时在山中遇到了虞翻，虞翻便问孙策左右的扈从哪去了，孙策则说他们都去追杀敌将去了，发觉事情紧急的虞翻急忙叫孙策下马并说道：“这个地方的草长得很深，一旦发生什么危险的事，骑在马上无法迅速应对，所以请明府（指孙策）牵着马，持弓箭在后，我善于使用长矛，可以在前为明府探路”。

后来两人到达了平地，虞翻便劝孙策上马，孙策问道：“你没有马怎么办？”虞翻回答说：“我善于步行，可以日行三百里，自从征讨以来，官吏士卒没有一个走的比我快的，明府不信可以试着骑马，我可以紧随于后。”后来两人来到大道，又与一名鼓吏相遇，于是孙策取过鼓吏的号角自行吹奏，部下听出这是孙策吹奏的声音便慢慢聚拢起来，后来虞翻跟随孙策一起平定了三郡。

孙策讨伐黄祖回师时，路经豫章郡时想要顺路取下豫章，于是特地请来虞翻对他说：“华子鱼（指华歆）虽然很有名声，但并不是我的对手，我又听闻他那里的作战用具很少，如果他不开门献城，一旦我这边战鼓一响，可就不能保证不伤害任何人了，卿可以先去豫章向华歆传达我的意思。”

于是虞翻奉命前行，到了豫章郡穿戴好衣装后便与华歆相见，对华歆问道：“您自认为海内名声比我会稽郡王府君（指王朗）如何？”华歆答：“比不上。”虞翻又问：“那豫章的钱粮、武器、士卒与我会稽郡相比呢？”华歆答：“不如也”。这时虞翻说道：“您说名声不如王府君是您的谦词，但精兵不如我会稽却是大实话，而我们讨逆将军（指孙策）智略超世、用兵如神，之前赶走刘扬州（指刘繇）的事，是您亲眼所见，往南又平定鄙郡（指会稽郡）之事想必您也有所耳闻。现如今您想要独守孤城，既然已自知钱粮不足，若不早另谋生路，恐怕以后追悔莫及，现如今我们大军已经到了椒丘，我一回去，到明日中午如果接到檄文而不出迎的人，就要与我长辞了。”虞翻走后，到了第二天，华歆便派遣官吏前去迎接孙策，于是豫章平定。

孙策平定豫章之后，引军回吴，在路上论功行赏、赏赐将士，并对虞翻说：“孤当年在寿春见马日磾以及大会中土的士大夫们，孤跟他们说我们东方的人才很多，但只恨当时自己学问不高，无法说服他们，孤很不服气，正好卿博学洽闻，故而之前本来想令卿前往许都，交见朝中人士，用真才实学去折服中原那群乱说话的人的嘴。但是卿不愿意前往，孤就只好派子纲（指张纮）去了，只怕子纲还无法折服中原那群人。”虞翻答道：“我是明府（指孙策）家中的宝贝，如若拿出去给别人看，被别人留了下来，岂不是让明府少了我这个贤良的辅佐，故而之前拒绝去许都。”孙策笑着答道：“是这样啊。”而此时正好孙策在论功行赏，于是趁机对虞翻说道：“孤还有征讨之事，不能回府，卿可再以功曹之职做孤的萧何，镇守会稽（此时孙策自任会稽太守）。”三天之后，便派遣虞翻回到了会稽。

虞翻被流放到交州后，说：“悔恨自己忽略礼节，疏放不羁，不善察言观色，取悦于人，终于冒犯君上而获罪，该当长期流落在荒远之地，生时无人可以交谈，死后只有苍蝇为吊唁的宾客，如果天下有 一深深了解我的，就足以无憾了。”这就是青蝇吊客一语的由来。

《三国志》载虞翻有十一子。

虞汜，虞翻第四子，曾任散骑中常侍，监军使者，从讨扶严，战后官拜交州刺史、冠军将军，封余姚侯。

虞忠，虞翻第五子，官至宜都太守，晋灭吴之战时兵败被杀。

虞耸，虞翻第六子，先仕吴，曾任越骑校尉、廷尉等职。后入仕西晋，任河间相。

虞昺，虞翻第八子，东吴黄门郎，后降晋，历任廷尉尚书，济阴太守。

1994年《三国演义》：楚建富饰演虞翻；

2010年《三国》：齐环饰演虞翻。