这样的做法，让那些心怀异心的朝臣，回到家中后，全都脸色大变，忧心不已。
而后，为了自身安全，全都开始召集各自的私兵。各家的私兵，规模从数百到数千不等，但全都装备精良，战力彪悍，以一敌十不在话下。
大业十年三月，杨广再次御驾亲征，第三次远征高丽。
按照圣旨的要求，这次大军规模依旧在百万之数。杨广也打算在这一战之后，彻底将高丽解决。从而毕其功于一役，即能够削弱世家门阀的私兵，又能解决边患，收回东北国土。
可没想到的是，那些世家门阀为了自保，不仅加迫力度，提高国内义军暴乱规模，还悄然的提供武器装备，只为了阻碍大军集结的速度。
同时，他们还暗中派出使者，前去高丽劝解招降高丽国主婴阳王称臣。为此，他们所派使臣，都带着一队三十人，由罡气境高手带领的精锐，在高丽狠狠地展示了武力。
而在隋军这边，却因为各种因素，以及世家门阀煽风点火，导致逃兵不断。
三月征伐日期已到，杨广到达涿郡后，隋军士卒相继在集结的路上逃亡。
于是，杨广在到达临渝宫，祃祭黄帝之后，下旨斩杀叛军者以衅鼓，路途中却仍然无法阻止人们逃亡。
入秋七月之时，杨广车驾已经到达怀远镇。
可这时的隋朝国内已经大乱，而且所征之兵多数未能按期到达。
至于高句丽这边，两次征讨之后也陷入困弊。
因此，在来护儿在毕奢城（今辽宁大连金州区）击破一支高句丽军，趁机要向平壤进军时，高句丽王高元害怕，于是遣使请降，囚禁并送回斛斯政。
杨广听后，好大喜功的他非常高兴，便遣使召来护儿率军返回。
来护儿认为此时正是攻破高句丽的好机会，想继续进攻，不肯奉诏，但是诸将听从杨广的命令，都请返回，来护儿才奉诏退军返回。
八月，杨广从怀远镇班师回朝，回返国都长安。
回归途中，邯郸贼帅杨公卿率领其党八千人劫掠了隋炀帝车驾后的第八队，得到了飞黄上厩马四十二匹。
十月，丁卯，杨广到达东都，己丑，到达西京。征高句丽王高元入朝，高元却没有来。
隋炀帝下令将帅严装，准备再次征讨高句丽，但此时的大隋境内，义军在世家门阀的点火下，早已遍及下，政令难行，军队各地都在平乱，因此最后没有成行。
…………
杨军这次，也继续参加了第二次北伐高丽的战争，隶属于来护儿麾下。
虽然最终没有打下平壤，覆灭高丽，但也在之前的战役中立下大功华国。
因此，回国之后，杨军就被升为正九品下郡尉，领华阴县兵马，俸禄三百担。