刘备想法虽好，次日也颇有成效，但随后五日，攻城进度都止步于此，黑山军虽然人数众多，但攻城时的伤亡实在太大，不过几日下来，便折损了数千人，军帐中不时拾掇出带血的箭头与腐烂的残肢，嘶声的悲嚎与孱弱的呻吟充斥着众人的耳廓，纵使刘备军营与黑山军营相隔二里，也都难以心安。
晋阳城前的鼓声依旧隆咚不歇，鼓皮已经换过三道，擂鼓的力士已换做四班轮值，即便如此，擂鼓力士仍心力交瘁，几日下来个个脸色苍白，食不甘味，走几步路就觉天旋地转，倒地不起。
只是汉军支撑不住，晋阳城上的胡人更是支撑不住，汉军能在城下进行轮换，但远少于汉军的胡军却并不能休憩。前两日，呼延卜安先前还能强撑御敌，两日后整个人都浑浑噩噩，不知身处何处，唯觉双目肿胀，颅中昏沉，随时都会栽倒不醒，只有在汉军换班之时能浅寐片刻。
好在有一名当户立起大釜，在釜中一股脑倒入牛奶羊奶，又加入鹿角、黄芪、枸杞等药材，昼夜不断地熬制酪浆，供胡人饮用。饮入酪浆后，匈奴守军热血上涌，浑身燥热，竟又恢复精力，汉军攻势不停，却又被守军守下三日。
当然这只能暂缓胡人现状，双方都心知肚明，只要时日日久，汉军迟早能破城克胜，只是如今匈奴大军回援，汉军最缺的便是时间。如不能速攻破城，匈奴内外包夹，汉军便有全军覆没之忧。
于是更加奋力攻城。昼攻不利，汉军便尝试夜攻，高顺成廉趁夜色攀城，一度夺下门楼，呼衍于勒都便将冷油淋下云梯，将架好的云梯烧毁，随即包围门楼，刘备忙让十来辆粮车堆满荒草淋过凉水，停至城楼之下，夜袭汉军跃下门楼，侥幸得活十之六七。
云梯屡次不成，汉军又多制冲车，试图撞坏城门。奈何晋阳城门以铁铸成，门闩重达八百斤，无论冲车如何冲撞城门，偌大的三丈铁门依然岿然不动，徒劳耗费汉军人力财力而已。
除此之外还有水攻土攻等破城之术，只是无不耗时费力，破城时间数以月计，对刘备而言皆不可取。刘备甚至不惜让关羽在城上抓了一名匈奴俘虏，逼问他须卜单于是如何破城，答案却是十万大军四面围攻一拥而上，原太原太守盖笃招募乡勇，勉强守城十日后，便在夜中缒城而逃，被须卜单于抓获斩首，晋阳城当即开城投降。
刘备关羽等人面面相觑、无言以对。
很快攻城时间就来到了第七日，刘备不得不痛苦地承认一个事实：在匈奴主力到来前，自己是不能攻下晋阳城了。他虽是令城前擂鼓照常，私下里却是不得不与吕布于毒白绕等人商议如何撤军。
“再战三日，必能攻破城池，如今撤军，如何能让人甘心？”吕布抽刀砍地，忿然说道。
“如今撤军，刘校尉战前所言之晋阳财货，我等如何得之？”于毒沉默不言，白绕在一旁皱眉坦言问道。此战黑山军本无意参与，只是二帅为财货所动，方才合兵同围，如今黑山军死伤甚众，除却刘备所赠的牛羊外却一无所得，这让两人极不甘心。