杨广准备来一招眼不见心不烦的鸵鸟政策，铁心去扬州，有大臣苦苦规劝，反而被杨广砍了脑袋。奉信郎崔民象以盗贼充斥全国为由，在建国门上表劝阻，估计是言辞激烈，说得杨广无言以对，恼羞成怒之下，先摘掉崔民象的下巴，然后才将他处死。就这样，杨广去了扬州，再也没能回来。
要说杨广也是聪明人，知道这一去很有点逃难地感觉，不再是威风凛凛地巡视。要说他在洛阳待得确实也提心吊胆。四月初一，大业殿西院起火，他以为盗贼来了，藏在草丛里，火熄灭后才敢出来。杨广从大业八年以来每天夜里都睡不安稳，常被恶梦惊醒，必得命几个妇人摇抚才能入睡。正因为如此，所以要给自己说点吉利话壮行，于是在与宫人告别的时刻，他又赋诗一首以赠众人：
我梦江南好，征辽亦偶然。
但存颜色在，离别只今年。
在这首诗里，他倒是没有用什么典故，也许是觉得这些宫人文化程度不高，如果弄得太文雅他们听不懂，那不是白费劲了。
这句诗中的“偶然”是说不一定，或者否定的意义更强烈一点，“但存颜色在”是说两层意思，一是让宫人好好保重，不要美色尽衰，二是也嘱咐他（她）们好好看护宫殿，不要荒废，因为“离别只今年”，只是今年而已，明年我就回来了。有很多人理解“离别只今年”，是“离别只在今年，就在今年，我一去就回不来了”从这个角度出发。我个人认为这种理解不正确，杨广这个时候还没有完全失去希望，王世充、张须陀、陈棱等人平叛也取得了胜利，尽管官府忙得按下葫芦浮起瓢，但还是能应付的。真正的局面失控，是从杨广到扬州之后开始的。
这首诗的大意可以分为三个层次来理解：第一个层次是我梦江南好，表达了要去扬州的主观愿望——连梦中都惦记着江南，你怎么能忍心拒绝我江南之行的请求？第二个层次是征辽亦偶然，阐述了扬州之行的客观条件——不会在有征伐辽东的战事了，言下之意就是近段时间没有什么紧急工作，我可以去扬州放松一下了。第三层意思就是但存颜色在离别只今年，表示了对未能跟随杨广去扬州享福的宫人们的慰问（实际上，没有去的这帮哥们姐们才是真正的祖上有德），并且提出了殷切希望。
尽管在大业十二年，各地盗匪蜂起，史书记载，当年的元旦大朝会，各地朝集使因被阻而未到的有二十余郡，但杨广还是平安抵达扬州。