方今四月初，天气转暖，冷热交替之际，大雨突然不期而至。开始还伴随着震雷，下的极为急促，让刘贤以为只是一场急雨，不想一夜过后，雨势虽然减退，但却并无停止的迹象。
要知道刘贤修筑的土山只是堆积上去，并没有一层层地夯实。当然，刘贤既没有那个时间，也不可能在城内守军的不断骚扰之下慢慢去夯实土山。故而堆积出的土山看似庞大，实则土质十分松软，天晴的时候人走马踩都没有问题，然而如今暴雨之后，复又淫雨连绵，土山却就承受不住了，被雨水冲刷出许多沟壑，水土不断流失。原本下宽上窄方形的土山，经过三四日雨水冲刷之后，变成了圆锥形，缩水十分严重。
就这一场连绵大雨，直接将这么多天的辛苦努力冲走了一半。
刘贤心下又是焦急，又是失望，禁不住仰天叹道：“莫非天意如此，叫我此次不能攻取襄阳？！”
至第五日，雨势才终于停息，刘贤看着缩小了一大圈的土山，颇有些欲哭无泪。身旁的士卒看着多日辛苦的成果白费，也多有沮丧之意。
刘贤见士气大跌，又见大雨之后，土山被泡的十分松软，担心贸然上去会出事故，故而暂停了修建土山，心中急思对策。
如此又等了两日，南阳方向的探子来报：“于禁、乐进援兵虽被大雨所阻，但也趁机修整了五天，大雨一停，便即精神饱满地迅速南下，眼下已快到新野。”
刘贤闻讯，心下一惊。正忐忑间，就听傅彤、刑道荣传来书信，说二人领兵已过了当阳，不出数日就能赶到襄阳。
刘贤心下稍安，忽然又接到江夏太守魏延传来的书信，刘贤展开一看，顿时大惊。
原来魏延在信中说孙权领兵一万，溯江而上到达鄂县，命令在蛇山修建城池，取名为武昌。将东吴所属的江夏南部地区划入武昌郡，又将江北的蕲春、邾县新建一郡，称为蕲春郡。任命黄盖为蕲春太守，将军王直、晋宗为副将。任命程普为江夏太守，孙皎、程咨为副将。
如今孙权将江东各郡县公文多送到武昌处理，整个武昌、蕲春地区，云集了两万大军，似乎有将武昌作为江东治所，以此就近窥视荆州之意。
刘贤看信之后，顿时心下一阵阴云，始终挥之不去。
要知道历史上就是江东在背后捅了关羽一刀，这才使得关羽最终彻底败亡，从而葬送了蜀汉北伐中原，一统天下的希望。
刘贤发自内心的对孙权不信任。
当下刘贤看了看缩水了近一半的土山，再看看北面陆续而来的曹军援兵，又转头看看自家士气大跌的一众士卒，权衡了许久，这才终于下定了撤军的决心。
于是刘贤亲笔手书一封，将情况告知庞统，请他领兵速来会合。又命正在赶来的傅彤、刑道荣分别进驻宜城、当阳，接应大军撤退。
庞统接到刘贤书信，思忖了一阵，也觉得以如今的形势，再战无益，当下命令全军收拾行装，交替掩护着往襄阳撤去。