他顿时头皮发麻，连忙喊来仆人去找徐御吐出来的痰。
可仆人找遍了整个房间都没有找到痰的痕迹，他们又担心老爷生气骂人，只好到窗外找了一片有些脏的树叶，拿回去交差：
“老爷，找到了，他吐到窗外去了。”
倪瓒立刻闭上了眼睛，厌恶得摆了摆手：“扔到三里之外去。”
原本还在睡觉的徐御，早就被闯进来翻箱倒柜的仆人给吓醒了，见到这一幕，顿时脸色铁青。
他连早饭都没留下来吃，穿戴好之后，便朝倪瓒重重地“哼”了一声，大袖一甩，直接出门而去。
结果自不用想，从此之后，徐御再也没有来拜访过倪瓒。
对于此，倪瓒倒是没有什么失落，他本就性情孤傲，自然不会追上门去解释什么，而且他也不觉得自己有什么不对的地方。
又过了一些时日，倪瓒和仆人外出游览。
外出游览，是倪瓒的一项主要活动了，见到有价值的景和物，他都要认真写生，等到回去的时候，往往是画卷盈笥（sì）。
这一次，他游览结束回家的途中，一个不小心就看到了一个年轻貌美的歌姬，再一个不小心就看中了她。
要知道，倪瓒因为有洁癖，很少近女色的，如今能碰上让他也心动的女子，实在是太难得了，就连两个随身仆人，也都觉得很吃惊。
倪瓒是个很直接的人，看中了这歌姬之后，便带回家里留宿。
可带到家里以后，倪瓒的老毛病又犯了，他怕她不干净。
想了好半天，他便让仆人带着这歌姬先去好好洗个澡。
歌姬洗完澡之后，便上了床，倪瓒便将她从头摸到脚，边摸边闻，始终还是觉得哪里不干净。
“唉，再去洗一次罢。”
倪瓒摇了摇头，叹息了一声。
那歌姬很委屈，可她啥也不知道，也不敢问，只好乖乖地跑去再洗了一次。
洗了再摸，摸了再洗，洗了又摸，摸了又洗……
估计那歌姬都快哭了，这位大老爷的口味真怪，我身上的皮都要洗脱一层了。
洗来洗去，倪瓒抬头一看，天亮了。
于是，只好作罢。
元泰定五年（1328），长兄倪昭奎突然病故。随后不久，母亲邵氏和老师王仁辅相继去世，使倪瓒悲伤不己。
他原来依靠其长兄享受的特权，随之沦丧殆尽，倪瓒变成了一般的儒户，家庭经济日渐窘困，他怀着忧伤的情绪，自作述怀诗，详述当时自己痛苦的环境。
元至正初年（1341），倪瓒散尽家财，开始漫游太湖，行踪漂泊无定，足迹遍及江阴、吴江、松江一带，以诗画自娱。
同时，他也开始与人交际，友人多为和尚、道士或诗人、画家，他作的诗作多半也是和这类人酬唱之作。
在这段时期里，他也养成了清高孤傲的性格，超脱尘世逃避现实的思想，这种思想也反映到他的画上，作品呈现出苍凉古朴、静穆萧疏的意向。
这一天，倪瓒又乘船去访友，他正躺在船舱中小憩时，小船被一船官兵给拦住了。
仆人吓得半死，不料，为首的一个将官却很客气，拱手问道：“船上可是倪高士？”