“张三李四王五赵六”最早说的是杭州的四姓18家。杭州先后曾作为五代吴越国和南宋都城。一度成为全国政治、经济、文化的中心，城市繁荣、人口来自四面八方。以后，历经战乱变迁，人口流动频繁。相传杭人只有留下18家（在杭州的城西有个叫留下的古镇，大概已有1000的历史。一般认为留下镇原名西溪，是后人改成“留下”的。但为什么要改成这一有“另有含义”的名字呢？有两种说法。一是据清光绪《钱塘县志》的记载，说“ 宋建炎 3 年（1129 年）7 月，高宗（赵构）南渡，幸西溪，初欲建都于此，后得凤凰山，乃云： ‘西溪且留下’” 。故此处名留下，并一直沿用至今。对于这一说法，大家知道的人比较多，也比较可信，所以一般都这样介绍。但是还有另外一种说法，而这一说法似乎更民间一点。这是说在元兵攻打杭州后，把杭州人杀得来遍地横尸，原来杭州是马可波罗笔下“世界上最雍荣华贵的城市”，人口达180万，结果经过几天杀掳后，元人到吴山上一瞭望，整个杭州城只有西面还剩下十八支烟囱在冒烟，此时，元兵“大发慈悲”，说这十八家“且留下”。就这样，从此西溪一带有了“留下”这一地名，同时杭州也就传着老杭州人只有十八家之说，简称老十八家。）才是真正的杭州人，即俗所谓“张三李四王五赵六”，共计为四姓18家。亦有俗谚说：“杭州萝卜绍兴种”，意思是杭州人大都是绍兴移民来的。