秦朝名将王翦之孙王离死于钜鹿之战，王离长子王元，为避秦乱，迁于琅琊郡（今山东临沂），为琅琊王氏始祖。王元之弟王威则是太原王氏的祖先。

西晋太保王祥给异母弟王览一把佩刀，并说王览的后代一定很风光，足以承受这把刀。琅琊王氏在衣冠南渡时为东晋政权的稳固居功至伟，被称为“第一望族”，时人皆谓“王与马，共天下”。整个家族在东晋和南朝共出现过九位皇后，七位驸马，一位北朝妃嫔。

侯景之乱时，琅琊王氏与陈郡谢氏一起因拒绝与侯景联姻，而受侯景报复性地大屠杀，自此几乎在政局失去影响力；唐朝仅有四人官至宰相（王方庆、王璿、王玙、王抟）；五代时期则无一人被史书立传。

陈郡谢氏在东晋初年还只是一个普通士族，东晋初年，谢裒为儿子谢石向琅琊诸葛氏求婚，被诸葛恢拒绝。直至谢万出仕，掌握了豫州之后，方才开始崛起，可谢万也被阮裕鄙视，称其为暴发户，直到淝水之战，谢氏所领北府兵以少胜多后，东晋政府追论功绩，追封谢安为庐陵郡公，封谢石为南康郡公，谢玄为康乐县公，谢琰为望蔡县公，陈郡谢氏一门四公，奠定了一流士族的地位。