是一个态度的问题。西突厥处罗可汗出兵，而东突厥的始毕可汗不出兵，显然预示着隋与东突厥的关系己发生变化。启民时期双方的亲密关系己经变得疏远了，也说明始毕可汗不愿意像他父汗一样成为大隋的傀儡。
在天下狼烟四起的情况下，北方边境的安宁尤为重要。所以杨广在始毕可汗公然出兵入境掠夺的情况下，冒险再一次北巡。一如往常的出巡，杨广这场的冒险也被后人认为吃饱了没事私心作祟，认为是他在三征高句丽失败，“圣人可汗”威风扫地之时，试图重演大业三年（607年）北巡启民可汗营帐的故事，以求挽回一点面子，他才不辞劳苦执意出塞的。
杨广的车驾驾往边关。楼烦郡太守阴世师听说始毕可汗将不利于隋，曾劝杨广御驾回太原，但他没有听，因为他觉得始毕虽然有点不听话了，但是还不至于敢对圣人可汗的他下手，他的车驾便一直往突厥境内方向去。但在八月初八下嫁突厥可汗的隋义成公主先派使者紧急通报始毕率数十万骑“谋袭乘舆”的消息时。杨广才相信始毕可汗不仅不象当年其父启民那样殷勤，只带少数人来迎驾，并亲手铲草开御道；而且始毕此来，是带了几十万骑兵“迎驾”的。杨广得报大惊失色。他才意识到危险离自己是如此的近，他没有料到自己册立的傀儡坐大后胆敢劫驾。12日，杨广一行几十万人急忙回驾驰入雁门郡城，打算依城抗敌。
雁门郡城即为有名的雁门关。位于山西代县。“天下九塞，雁门为首。”雄关依山傍险，高踞勾注山上。东西两翼，山峦起伏。山脊长城。其势蜿蜒，东走平型关、紫荆关、倒马关，直抵幽燕。连接瀚海；西去轩岗口、宁武关、偏头关、至黄河边。雁门关与宁武关、偏头关为内长城之“外三关”，这里峰峦叠蟑、山崖陡峭，关墙雉堞密集，烽堠遥相呼应，东西两面将老营口、坷申池口、阳方口、东隆口、西烃口、北楼口、大石口、石口、马兰口、茹越口、胡峪口等十八隘口连为一体，地势十分险要，为千古兵家征战之地。战国时期，赵国大将李牧常驻雁门，凭借关城之险，慎重防守，击败匈奴十万人马；汉朝名将李广、卫青、霍去病曾经率兵和匈奴在此廖战，大获全胜，威震塞外。这也是为什么杨广一行在知道始毕可汗带了十万的突厥骑兵来拼命往这里挤的原因，就是想借险关来面对来势汹汹的突厥大军。
八月13日，突厥骑兵包围了雁门郡城，几十万骑兵入塞，穿过隋定襄、马邑二郡直入雁门，将杨广御驾后妃宫女宰相百官等十几万人围得铁桶一般。杨广一行猝不及防，上下惶恐，撤民房修筑工事以作守御。其时苏夔领城东面防卫事，用一夜时间造作了“弩楼车箱兽圈”，但是几次交锋，猝不及防的官军均不利，雁门郡四十一座城被突厥很快攻占了三十九城，只有雁门、哼县还在坚守。时雁门郡城有兵民十五万，粮食仅可支两旬，情势危急万分。突厥的几次猛攻，箭头有的甚至落在皇帝杨广的跟前，弄得杨广狼狈不及，抱着幼小的儿子赵王失声痛哭，哭得“目尽肿”。城外杀声震天，城内乱作一团。关于战守之策，将相们意见纷纭，杨广甚至诏令裴矩和虞世基宿于朝堂，“以待顾问”。面对自己扶持起来的滔滔突厥骑兵杨广唉叹道：“向使长孙展在，不令突厥至此。”
大将军宇文述建议杨广率数千骑突围，尽早脱身。纳言苏威反对，认为万乘之主不宜轻动，且“城守则我有余力，轻骑则彼之所长气”，避长就短十分危险。民部尚书樊子盖同意苏威的意见，说：“陛下万乘之主，岂宜轻脱，一朝狼狈，虽悔不及，未若守城，以挫其锐，四面征兵，可立而待。”接着，樊子盖又垂泣而谏：“愿暂停辽东之役，以慰众望，圣躬出慰抚，厚为勋格，人心自奋，不足为忧。”
近臣虞世基也同意樊子盖的看法，“劝帝重为赏格，亲自抚循，又下诏停辽东之事。”内史侍