是以，当司马道子提出让他任梁州刺史之后，杨佺期立刻便明白了司马道子的用意。深思熟虑之后，他决定退让，以消弭司马道子的敌意。这件事是因殷仲堪而起，现在殷仲堪居然写信来训斥他，杨佺期岂会给他好脸。

杨佺期在给殷仲堪的信上言道：“我因父丧，回梁州守丧，此乃人子之伦，孝道之常，汝以小人之心度之？何其无理也。汝言我畏惧司马道子，却不知京城之下，谁人同司马道子订下盟约，弃王恭于不顾？本人出兵，乃南郡公之邀，为你助力。尔何讹诈于我，反将以此胁迫于我？何其无行也。先帝于尔有恩，你既怀疑先帝之死有疑，何不出兵伐之？反倒同司马道子妥协，何其不忠也。尔当自省，而非指责他人。本人守丧孝父，切勿扰之。”

这封信怼的殷仲堪灰头土脸，恼怒不已。确实，他殷仲堪确实在荆州根基不深，杨佺期跟自己也没有交情，他根本不鸟自己。但话说的这么难听，着实让人愤怒之极。自己好歹也是荆州刺史，都督周围各郡军事，却被他们无视，这着实令人愤怒。

气愤不过的殷仲堪想到了桓玄，他想请桓玄前来，和他商议，利用桓玄的名义去压服杨佺期。但是桓玄却蜿蜒拒绝了他。之前他对桓玄无礼，桓玄是睚眦必报之人，嘴上不说，心里却记着仇，便让殷仲堪碰了一鼻子灰。更别说，因为出兵之事，杨佺期对桓玄也很不满，桓玄更是不肯此时再来为殷仲堪说话了。得罪了父亲的旧部，对自己能有什么好处？

殷仲堪越发感受到了自己在荆州被孤立的事实，心中甚为恼怒。自己出身寒微，那桓玄在江陵城中前呼后拥，处处受人关注，自己这个荆州刺史，反倒被人冷落，便是因为门第之故。那杨佺期对自己一点也不客气，也是因为门第之故。这帮人都看重门第出身，自己难以融入他们。

殷仲堪颇有些意气。心想，既然你们孤立我，我也不必去求着你们，大家不相往来便罢。但他明白，自己必须要做些什么，以应付司马道子的步步紧逼。

六月初，为了以防万一，殷仲堪下达了大量征兵和加强训练的命令。他要将荆州军的规模扩充一倍，达到十余万之众。同时要将荆州军训练成一支精锐兵马，用来防备万一。

但事情想起来容易，做起来便难了。征兵令下达之后，应者寥寥。半个月时间，才征兵不足八百，简直成了个笑话。而荆州兵马的训练也根本组织不了，将士们懒散之极，根本提不起兴趣。

殷仲堪问计于身边之人，有人告诉他，在荆州，征兵之事得请南郡公出面。以桓氏之名号召青壮入伍，方可趋之若鹜。其他人都不好使。

殷仲堪闻言恼怒，他才不肯去求桓玄，受他奚落。殷仲堪的堂兄殷顗是个读书人，想为殷仲堪分忧。进言道者：“兵法有云：兵贵精不贵多。其实能否募集到兵马并不重要。就算你扩兵一倍，除了徒耗费粮草之外，训练不足，还是不堪足用。莫如加强现有兵马的训练，将荆州兵马训练成一支精锐兵马，反而更有效果。”