此词汇实际存在时间相当久远，早在明代以前即已被国人广泛使用和接受。明代冯梦龙作品《警世通言》第39卷福禄寿三星度世，其中有“这船无人偷我的。多时捕鱼不曾失了船，今日却不见了这船！不是下江人偷去，还是上江人偷我的。”,“看那江对岸,万籁无声;下江一带,又无甚船只。”。由此可见下江与上江仅仅是一个地理范畴而已。本身并无任何贬义或褒义成分。

比如重庆。因为当时长江下游地区许多民众沿长江逃难至长江上游地区（尤以逃至当时国民政府战时陪都重庆为多），而被当地人称为“下江人”。由于当时下江移民逃难途中常一贫如洗，到达重庆后只能从事低贱的体力劳动或充当民夫，因此，下江人这个词汇在重庆民间通常含有贬义。

每一地方所说的下江人的内含有所不同。

在重庆、四川，下江人是对川外长江中下游一带外省人的称呼，是对湖北、湖南、江西、安徽、江苏（包括原属江苏的上海）乃至浙江、福建各省人的统称。有时也延伸指所有外省人，例如昔日西康省位于四川之上游，仍称下江人。在云南、贵州大致有相同的含义。在湖南、湖北，下江人是对长江下游一带外省人的称呼，包括江西、安徽、江苏、浙江等省。