既然皇帝都要把孟浩然放归了，那京城是留不住了，只有悻悻启程。王维执手相送一程又一程。说来也怪，王维和李白几乎是老死不相往来，孟浩然和他们却都能分别做好朋友，人以群分在这里只有了一半的效力。
王维看着孟浩然落魄的样子实在不忍，于是披肝沥胆的做了一首赠别诗，开导了孟浩然一番：
《送孟六归襄阳》
杜门不复出，久与世情疏。
以此为良策，劝君归旧庐。
醉歌田舍酒，笑读古人书。
好是一生事，无劳献子虚。
“杜门”是“堵门”的通假，意思是闭门不出的意思。
“子虚”是个典故，汉司马相如作《子虚赋》，假托子虚、乌有先生、亡是公三人互相问答。这也是成语“子虚乌有”的来历。王维是在说：
君在家中长时间闭门不出，
世间人情世故早已经生疏。
我这里为你献上一条良策，
劝告你回到鹿门山的旧屋。
醉借酒意在田间纵情高歌，
兴之所至翻一翻圣贤之书。
这正是你这一生正确的事，
不要学相如妄想朝堂立足。
这话听着刺耳，恰是王维的真心，他世代名门，既有敏锐的政治目光，又有识人之明，他对孟浩然的了解甚至高于孟浩然的自知。
孟浩然也不是不识好歹之人，对于王维情真意切的劝告，他倍受感动，回赠一首《留别王维》
寂寂竟何待，朝朝空自归。
欲寻芳草去，惜与故人违。
当路谁相假？知音世所稀。
只应守寂寞，还掩故园扉。
孟浩然的意思是说：我在长安混的这么惨，也没什么盼头了，现在就要回去隐居了，只是可惜不能和你王维在一起了。朝中的大佬们谁能再拉我一把啊，除了你王维，我在这世上恐怕再也没有知音了。看来我的命里只能是孤独寂寞的终老田园了。
其中的“欲寻芳草”借用《离骚》中对芳草、芝兰的用法，表达了自己高洁的志向，也就是说要归隐了。“当路谁相假”一句中信息量大一些，其中“当路”是指“执掌权柄的人”，“相假”是指“互相借力、扶持”。
其实从这首诗里能看出孟浩然还是不死心，只是求仕无门而已。
就这样，开元十七年（729年），孟浩然离开长安，不过他可按照王维画的圈去做，而是继续外出游历，由此看出，孟浩然家境不错，随时都能开启“想走就走”的旅行。
离开长安不久，他结识了一位曹姓御史，这位曹大人很欣赏他的才华，陪他旅游了一段时间后，表示愿意正式上表推荐他。彼时的孟浩然正在伤心怀才不遇，写了一首《同曹三御史行泛湖归越》的诗委婉的拒绝了他，诗的最后两句是“杳冥云外去，谁不羡鸿飞”，那意思是说哥们这闲云野鹤的生涯你们羡慕去吧。
但是，很快孟浩然的心思又开始活泛，大约在开元二十年（公元732）左右的一个深秋，又一次在长江下游游历，目睹萧萧落叶、大雁南飞，睹物思情，又写下一首《江上早寒有怀》：
木落雁南度，北风江上寒。