最终沈南之还是没有如愿支开元瑾，由亲卫李队长率领所有府卫护送沈夫人南下，沈南之和元瑾身边没有留一个下人。沈南之写了三封信，让李队长一并带过去。沈南之给父亲，老师，师兄各自写了一封，有叙旧，有其他。
沈南之一直好奇赵智赵慧兄妹哪去了，元瑾每次都说在试炼，自己对他们另有安排。沈南之一想也对，他们二人也都十五六岁的年纪了，是该出去闯一闯了，不过元瑾不愿说明具体，沈南之也就没有追问。
年关未至，皇帝要改扬州设郡。为江都郡，在原有扬州城（旧广陵）的区域外，又兼并了一些地方，治所就安排在扬州，另规定江都郡守位同京兆府尹，直接赋予了江都郡南都的地位。
而且，王世充又升官了。陛下调任王世充为江都丞，兼任江都宫监，为正四品，由于江都郡的陪都地位，此时的王世充已经不在沈南之元祯之下了。
不过沈南之和王世充的嫌隙却是越来越深，当得知王世充为杨广搜罗两岸美女最为积极，沈南之找其理论，何以如此蛊惑帝心，实非良臣之举。
结果王世充只是一句自己一直践行的是忠君爱国的理念，不忠君何以爱国？
沈南之大骂王世充大奸似忠，王世充也不反驳。在王世充心中，沈南之只是个活在自己世界里走不出来的一个失败者。
皇帝陛下这一年来所做，王世充与沈南之的看法便处在两个极端。
沈南之认为皇帝不体恤民力，修建东都无可厚非，偏要同时扩充粮仓，挖渠造河，劳民伤财，使得原本可以安享太平盛世的民众依旧处于水深火热之中，如今南巡扬州，沿路搜罗上千美女，所用所享，奢靡无度。
而在王世充的眼里：营建洛阳，迁都非常有必要。修建运河一事也是自己主张，如此千秋工业，损失些民力又如何？秦时若是因为体恤民力，便不修建长城，何来后世的安稳？别说眼下的民力损失，在王世充眼中，再损失十倍也值得。至于南巡扬州的奢华，反正国库充盈，何必勒紧裤腰带紧巴巴过日子？那银子攒着不就是为了花么？若是人死了，钱没花完，岂不是人生一大憾事哉？
正所谓话不投机半句多，道不同不相为谋。沈南之与王世充再也聊不下去了，嫌隙愈来愈大，再也弥合不了。
沈南之如今赋闲在家，想要做些什么却被停职，只得空闲时候到罗老的学堂帮忙授课，而元瑾则有自己的事业要忙，眼下江都地位直线飙升，元瑾有意在扬州加大投入。
这日，沈南之授完课，回到家中，罗士礼又带来个坏消息：瑾元商行原本在西苑建造了一处园林，陛下游览所至，大为喜爱，当即召工部准备扩建一番，兴建迷楼。由于此前沈南之的西区大开发，瑾元商行建造的园林四周早已开发完毕，住满了民众。皇帝直接命王世充迁移民众，推倒房屋，收回地皮用以扩建迷楼。
沈南之闻言诧异道：“那处园林已然不小，为何还要扩建？”沈南之自从被强令休沐，停止在家，平日里除了帮忙授课已是两耳不闻窗外事，此时并不知道其中内情。
“据说皇帝陛下要扩建迷楼是为了安置那数以千计的各地美女。”罗士礼直言自己的听说，毕竟以自己的身份，平日间是见不到龙颜的。
“岂有此理！杨广到底想干嘛？”沈南之拍案而起，愤怒道。
“沈兄，请慎言啊！”罗士礼闻言吓坏了，岂敢直呼天子名讳？这要是传扬出去，不说沈南之了，就是自己听到不报都是大罪。
沈南之缓过神来向罗士礼致歉道：“刚刚一时激动，失态了，对不住罗兄了。”
罗士礼连忙摆手没事，不用放在心上，你知我知别人不知，便无大碍。
罗士礼离去后，沈南之又来求见陛下，得到的依旧是不允，不见！沈南之递出一个奏折，想让内侍传送，内侍根本无人敢接传，谁都知道这个户部侍郎大人几次三番触怒龙颜了，在皇帝明确不见之下，谁敢替他传话。
沈南之无功而返，只得回府继续做个教书先生，终日郁郁寡欢。
元瑾见之实在不忍，便想着要不要哥哥帮沈南之求一个面圣的机会。被沈南之拒绝了，如今能于圣上见面稍微劝谏一番的只有元祯了，若是元祯也被圣上停职，怕是陛下只会越来越肆无忌惮。还有一点元瑾不知道的是，元祯不屑结党营私，而兵部又是结党营私最盛之处，所以元祯的官路并不顺，若是再失了圣心，恐怕……
至于萧皇后，在元瑾进宫几次之后，沈南之便明白了，要么是萧皇后不愿意为这事惹怒陛下，要么就是萧皇后的话陛下也听不进去。
尽管沈南之再不愿意，迷楼依旧在有条不紊的营建，数以千计的民众被驱逐离开西苑，无家可归，朝廷作为有限，只是在南苑盖了些简易房屋安置。
沈南之得知西苑开始整体大搬迁之后，在元瑾的陪同下来到南苑安置点，反正赋闲在家，二人就想来这做个志愿者，略尽绵薄之力。
真正到了之后，看着四处漏风的简易安置所，这些被迫迁来的民众，原本就是西区贫民窟里的人，一直以来都是清苦生活，自从沈南之上任后，首先开发西区，这些人才过上两年安生日子。早先听闻皇帝要移驾扬州巡视南方，百姓还都喜上眉梢，仿佛扬州再度崛起，身为扬州城一份子与有荣焉。
只是，待皇帝真的来到扬州后，这些人才恍然梦醒，皇帝南巡带来的不是福泽，不是荣耀。皇帝一到扬州便搜罗了很多年轻女子，使之与家庭离散，还责令地方负责招待，州府拿不出那么多银子，自然就要均摊到下面，民众苦不堪言，人心都开始思念南朝陈了。
沈南之见此情景，心如刀绞，恨自己力有不逮，无法为他们解决困境。此时正值寒冬腊月，冷风吹过似刀割，看着四处漏风之下瑟瑟发抖的民众，不由的想起以前老王念叨的一句话：安得广厦千万间，大庇天下寒士俱欢颜，风雨不动安如山！