很快，六合城传来了杨广的最新旨意，‘高颎虽有欺君之罪，但念其旧功，可免死罪，罢免其一切官爵职务，贬为庶民，放归乡里，责令其闭门思过，终身不得进京。’
消息传出，顿时百官沸腾，无数的官员在牛弘的带领下，前往杨元庆营帐表达感激之情，可就在百官为高颎获生而欢呼时，杨广的第二道旨意下达，却让所有人大吃一惊，‘丰州总管杨元庆未经朝廷同意，擅自以官方身份和突厥贸易，违法朝廷律令，革去其丰州总管和五原郡刺史之职，贬为庶民。’
杨元庆被贬的消息令百官错愕，皆为之嗟呀叹息，谁都知道，这时杨元庆因为救高颎而惹恼了圣上，原本深得圣眷，现在却被贬黜为民，这着实有点可惜了。
裴矩几乎是第一时间忧心忡忡地找到了杨元庆，大帐内，杨元庆正在收拾自己的东西，旨意已经生效，他不再是丰州总管，而变成一介小民，几名亲兵都跪在地上，愿跟他归去。
杨元庆却不肯，对几名亲兵喝令道：“你们皆被受仪同，在丰州军中至少都是校尉，做我的跟班家丁有什么前途？我意已决，你们全回丰州去，我有九名铁卫跟随便已足够，你们走！”
几名亲兵苦苦哀求，杨元庆只是不准，无奈，亲兵们只得含泪拜别，大帐里顿时冷清下来，只剩下杨元庆一人。
杨元庆慢慢坐下，突然失去了官职，使他觉得自己仿佛在做梦一样，似乎这一切都不是真的，可它又真真切切发生了，他心中一片茫然，他甚至不知道自己何去何从？
“元庆！”
裴矩走了进来，杨元庆坐在箱子上，抬头看了看他，却没有说话，裴矩慢慢走上前，语重心长地安慰他道：“没有什么，不就丢官吗？你还年轻，爵位和勋职都在，你还有机会复出，当官哪能一帆风顺，我年轻时也被贬过，现在不一样是高官，你不用放在心上，虽然有所失，却有所得，至少名声有了，这在官场上是极重要。”
裴矩按住他的肩膀，凝视着他的眼睛道：“你还是我的孙女婿，趁这个机会，好好读一读书，为下一次复出做准备。”
杨元庆笑了笑，却没多说什么，他虽然为救高颎而丢了官职，却得了满朝官员的人心，这笔帐，他算得很清楚，高颎他要救，人情他也要拿，做了好事不留名，那不是他的风格。
但这件事他却不想和裴矩多说，尽管裴矩对他一直另眼相看，关照有加，但杨元庆始终对裴矩怀有一丝戒心，裴矩太过于老奸巨猾，和他谈谈杨家可以，但事关自己一些隐秘之事，他却不能和裴矩多说。
杨元庆站了起来，躬身施一礼，“多谢裴公！”
裴矩又拉他坐下，笑眯眯问他，“有没有打算去哪里？”
杨元庆沉吟一下道：“圣上曾赏过我一座皇庄，在靠近偃师县，我还从未去过，我想去那里隐居一段时间，不过在此之前，我想先去一趟江南，见一见我的义母。”
“这也不错，不过我意见是最好先成婚，再去隐居，这样有一个妻子在身边，也不至于孤独，你觉得如何？”
杨元庆点了点头，就在这时，门口传来了高熲的声音，“元庆在吗？”
“高相来了！”裴矩和杨元庆连忙站起身。
帐门口出现了高颎瘦弱而苍老的身影，他身体被捆绑时间太长，走路有些颤颤巍巍，杨元庆慌忙上前扶住他，“高公，为何亲自来，派人说一声，元庆自当上门。”
高颎在杨元庆的箱子上坐下，他长长叹息一声，“我得罪奸佞，就算死了也就罢了，却连累苏相国和元庆为我丢官，我心里实在是过意不去啊！”
“高相国不必这样，其实圣上之所以放了高相，根本原因是圣上最后已醒悟，上了张衡的当，否则他在盛怒之下，就凭我一个人的说服，他怎么可能让步，贬我和苏相国，也不过是他面子上放不下，只要能救下高相，我那个官当不当也无妨。”
“哎！话虽这样说，我还是愧疚啊！”
裴矩感觉到杨元庆有话要对高颎说，而自己在一旁，他似乎不肯明说，他心中有一丝不悦，元庆对自己还有什么隐秘不成？他便笑道：“高相一定要好好保重身体，八十大寿时，我一定去为高相祝寿。”
。