此成语就是出自刘时中的《端正好．上高监司．既官府甚清明套．十二月》曲：“不是我论黄数黑，怎禁他恶紫夺朱？争奈何人心不古，出落著马牛襟裾。”

刘时中即为著名曲家之一。元成宗大德年间，江西大旱，刘时中见到灾民受难的情况，于是作了两套散曲《端正好》，上呈江西道廉访使高纳麟。第一套的内容陈述饥荒时「谷不登，麦不长」，民无以食的悲惨遭遇，而且愤怒地斥责了奸商富豪趁火打劫的罪行，展现元代社会严重的阶级压榨。第二套则是揭露官吏的无能与违法乱纪。他形容一群暴发户般的官员为「没见识街市匹夫」，彼此狼狈为奸，勾结作恶，尽日将精力耗费在吃喝嫖赌，完全不顾百姓生计。并申辩说：「不是我要讲他们的坏话，但怎么能眼睁睁地看着邪恶战胜正义？根本完全丧失了旧时代的淳朴，明明是人，但行事却如禽兽一般。」