廉布做了武学博士以后，被当时的宰相张邦昌看中了，张将自己的女儿许配给了他。张是当时朝廷中炙手可热的人物，加上他自己诗书画才名出众，他这个从八品的武学博士，顿时身价百倍；“公卿尽倾，名流彦士执贽求见者，肩摩而袂属；车骑雍容，行者趋避；议论英发，闻者倾听；傲色不至于目，嫚言不接于耳。”(陆游《容斋燕集诗序》)奉承了他，就是奉承了宰相，得罪了他，便是得罪了宰相，谁敢不尊?他当年雄姿英发春风得意的境况是可以想见的。但是好景不长。1127年，金兵打进东京汴梁，掳走了徽钦二帝，立了张邦昌为大楚皇帝，廉布成为伪朝的驸马。未过多久，康王赵构称帝，即南宋高宗。宋高宗杀了张邦昌，廉布随即一落千丈。昔日奉承他的人一下子都改变了面孔，都说他是叛臣的女婿、伪朝的驸马，人们皆避之。廉布在汴京无法生活下去，就带着夫人回到楚州家中。当时楚州是宋金交战的前沿阵地，经常发生拉锯战，金兵常打过来，烧杀抢掠，楚州的民众纷纷外逃。廉布全家在一次战乱中向南逃到了临安(今杭州市)，希望在南宋的新都城中住下来。