愈往前，群山愈近，东西两脉夹逼，直教人难以喘息，却又觉天地广阔。待行到十里处，从北方潺潺流来一条湛绿的河水，河水高过马背，大军难以渡河。成廉说道：“此乃晋水，亦为晋阳护城之河，往北五里，我军可步桥过河。”
孟建一路随军到此处，见晋水两岸河床干裂，沟壑纵横，碧水湍湍而过，将大军与晋阳搁为两岸，不禁对刘备感慨说：“干旱连年，晋水依然清冽如许，生养两岸数十万百姓。天地宽阔，人渺如砂，庄周所言‘自细视大者不尽，自大视细者不明’，我今日知矣。”
刘备尚未回应，于毒便已不捺心中烦闷，策马至刘备身侧又问道：“山河如此形势，晋阳城当真易与？”
刘备安然答说：“于帅，我等恃强凌弱，以众欺寡，也需军心稳定。须知天时不如地利，地利不如人和，胡人所仰，唯有地利而已。只要我军共成一志，虽六千之众有何惧哉？”
等组织大军过桥之后，刘备当即依水修营，一边令全军休憩，一边安排斥候夜中打探晋阳城城防布置。斥候戌时离去，卯时方才归来，对刘备报告说道：如今晋阳城城墙上满是火光，从吕梁山向下望去，城中残垣遍地，依稀可见鸦雀绕飞。原是匈奴人拆了城中房屋，将梁柱门匾尽数作了柴薪，正在墙上熬制滚油。
好在先前匈奴人攻克晋阳时，已将城脚的壕坑河沟尽数填平，省去这道最费时费力的功夫，刘备只需造好云梯，便可蚁附攻城。
根据斥候所言，刘备做出如下应对：除去制作云梯冲车之外，以不易燃的杉木赶制一批木楯，又以牛皮包裹绑扎，在晋水中浸泡一夜，发放给前阵士卒。又命士卒制作火矢，如遇顺风，便可万箭齐发，引发墙上大火。
出乎意料的是，刘备还效仿须卜单于，将独孤速可兰的头颅挂在汉军旗上，交予于毒部，让他派一支骑兵在城下来回呼啸劝降，他往日本不会如此行事，关羽夜里对张飞说道：“晋阳真乃天下坚城，兄长心中也无把握，你明日上阵，切不可露焦躁之态，影响军中士气。”
次日至巳时，刘备总算准备完毕，通令全军，向晋阳城发起第一次攻城。
守卫晋阳的乃是呼衍王呼衍于勒都。他原是东路军副帅，在匈奴诸部中颇有贤名，又通晓汉学，围攻晋阳时多有功劳，又率先表态忠于须卜单于，为须卜单于所重用。
须卜单于命其与呼衍部六千四百余人驻守此地。昨日乍闻有汉军渡河晋水，人数高达四万，部众都惊恐不已，纷纷前来问计，只有他强作精神，斥责麾下说道：“我等反叛朝廷，南下杀人父兄，略人子女，实为不少，屠戮名士，毁坏衣冠，又为无算。如今敌我形势，势同水火，并是仇雠，你等前来问计，是欲献城而降乎？”
“若我军归降，单于困于两山，前亦不得，退亦求死，为汉军所围杀，匈奴精锐为之一空，我等亦将如断爪狼犬矣。须知汉众七倍于我，我等才有七千，尔等以为汉军皆圣人耶？今我占坚城，居重地，只需诸位同心戮力，坚守待援，击败汉军，获取全胜指日可待也！”