此时的司马睿也是十分着急的，他需要一个中间人式的人物来平衡权力，王家的势力太大，他一时支撑不住这个局。他需要谢家出这么一个人能够担当这个斡旋的中间人角色。由于谢安始终不肯出面，只得让谢家的其他子辈来出来做事，于是谢奕、谢据、谢万、谢石、谢铁等谢家子弟一一出来做事轮个遍，但是效果一般般，都达不到司马睿的预期的要求。
为何要谢安出面呢？有个小故事可以看出，有一次谢安与王羲之在游山玩水的途中望着这美好的江山，王羲之发出感慨，“这么好的江山竟落得到如此地步，北方被少数民族占领，南方苟延残喘，未来不知道怎么样了。这样的国家一定要做一次大的改革才行，不然大家以后都可能面临亡国的危险。”
“羲之此言过于悲观，北方沦丧主要是北方少数民族善于骑射，我们汉族人并不善于此道。这个和国家体制没有任何关系。当年秦朝时，重用商鞅来变法，国家虽然强大了，也统一了中国，但是秦朝迅速在2年左右时间土崩瓦解了，难道这不能说明什么吗？一个国家的存在与体制改革没有直接关系，主要是这个国家是否是关心了人民的疾苦。当年晋朝洛阳的贵族太过于奢华，以至于买了很多北方奴隶，想不到北方奴隶到了洛阳后造反了，反叛了，反而成为了洛阳的主人，当年的主人反而被他们杀光了。所以生活过于奢华又不关心劳动人民的疾苦，这才是国家存与亡的根本因素。”，谢安说完，继续与王羲之前行游览名胜古迹去了。
从这个故事可以看出，谢安的思想偏向于孟子思想，民贵君轻，当国君不关心人民的疾苦之后，老百姓不管是不是奴隶都会起来反抗。谢安主张对国家不大动，以小动来代替大动，大动要伤精动骨，说不定没多久国家就垮了。谢安的治国思想充分体现了无为而治的道家思想。对于谢安来说，他觉得司马睿不需要忧心忡忡地担心王家势力太大，其实只要司马睿行术端正无所谓有人会谋反，但是如果整天疑神疑鬼的话，反而会造成国家的动乱。再说了，谢安现在手上一没军队，二没人，他也斡旋不了司马家与王家的矛盾。
由于司马睿屡次邀请谢安出来做官，谢安也有点烦恼，谢安觉得索性还是搬山上去住比较好，这样别人也不知道自己住哪里，也没有啥人来打扰了。于是他继续带着夫人周游各地，名为游历实为探测一下哪里更适合居住，过上隐居的生活。
当谢安在找地方隐居的时候，前秦对晋朝开始发动攻击了。前秦的攻击暂时不是全面的，他们对晋朝目前的情况不熟悉，只知道改叫东晋了，彻底和西晋说再见了，西晋的皇帝都不知道到哪里去了。前秦的符坚先派朱肜把东晋长江北岸的梁州占领了，他发现东晋连点大动静都没有，料定东晋没实力反扑，就派徐成把益州也占领了。前秦军队占领这两个地方像玩一样的，东晋军队里都流传说符坚长着三头六臂，力大无比，谁遇上谁没命，所以大家伙儿一听到前秦军队来了就紧闭城门防守，防守了一大段时间看到前秦军队还没撤离，就索性坚持不住了，开门投降了。就这样前秦的军队越来越强大，各种武器都有，除了十八般兵器，还把马拉的战车也用上了，好几十辆战车和骑兵一冲，东晋步兵像小草一样被任意宰割。东晋的探子把这些消息传到建康都城，各个王公贵族都是惶惶不可终日，只有谢安还是那么悠闲，老样子，早上稀饭加咸鸭蛋，晚饭粥加馒头加咸菜。他不喜欢吃山珍海味，每日的粗茶淡饭才是谢安最想过的日子。