此举获得许多大臣反对，张掖距离西域很近，距离内地很远，补给也比较困难，为了大军安全，都劝杨广不要继续西进。

杨广道：“张掖乃咽喉之地，正是因为距离西域三十六国很近，可以就近召集各国国王开会，携大胜以震慑宵小，确保丝绸之路安全无虞，朕意已决，不得再劝，命令来护儿将吐谷浑贵族首领压至张掖，明正典刑，以威慑各国，命令各国国王必须到场，抗命者杀无赦。”

不得已，一方面从陇右调集粮食道兰州，另一方面兰州刺史奉命大索各地，为大军筹集粮草，一时间民怨沸腾。同年八月物资筹备好，杨广便率领大军继续西进。

大军行至距离张掖一百多里的扁都口时，有钦天监的官员上奏道：“启奏陛下，经臣夜观天象，不日将会有大雪降临，还请早做准备。”

此时已是夏天，居然有人来说天要下雪，杨广大怒，因为古文曾记载只有昏君当道之时，天时才会混乱，方会八月飘雪，杨广以为钦天监官员受人蛊惑，才会不着边际的瞎编乱造，编排自己，于是招来卫士，将钦天监官员五马分尸。

耽误下来，天色已晚，杨广不得不下令就地宿营，又命人找来当地百姓，询问可有八月下雪的情况。

有前车之鉴，去找人的官员率先交代找来的百姓，道：“见了陛下不可胡言乱语，如果陛下询问八月是否下雪，你就说从来没有过，如果敢胡言乱语，小心你一家人狗命。”

百姓对官员畏惧如虎，那里经得住吓，杨广得到了想要的答案，便让其领赏退出去，当晚杨广大宴群臣。

本来炎热的天气，谁曾想到了夜里子时，天气骤降，果如钦天监官员所奏刮起了寒风，下起了大雪，温度一下子降到了零下十几度，从没有经历过如此严寒的杨广君臣等一下子傻眼了。

杨广命令就地伐木取薪，但是去过张掖的人都知道，张掖所在一片戈壁，哪有这么多树木可供砍伐的。忍耐不住严寒的人群一下子就乱了套，将帐篷、被褥等一切可燃之物均点着取暖，奈何寒夜漫长，一晚上下去，居然冻死了三四万人，许多嫔妃纱衣轻衫的，哪怕将宫女的衣服扒掉也无法抵御严寒，冻死者十之八九。

翌日，杨广命令大军开拔，全速赶往张掖，又派人到张掖，命令守军为大军准备御寒衣物。一百多里走下来，人员又损失五六万人，将近十一万人的队伍，到了张掖只剩下了一万多人。

杨广大怒，将钦天监所有官员全部五马分尸，又命令西域各国必须进贡大量金银财宝和美女，以慰籍活下来的大军。

西域各国接到命令，敢怒不敢言，因为大军受损杨广下令严密封锁消息，对外仍号称十万。迫于大隋军威，西域各国纷纷携带美女、宝物到张掖面圣。

看到自己一声令下，万国臣服，杨广失落的心得到了慰藉，于是大摆一个月宴席招待了各国国王和各路商人。

同年十一月，杨广带领剩余的人马返回洛阳，但是大军被冻死之事还是被传了出来，一时间天下大哗。