如果仅仅只是骂名倒也罢了，王彬隐于乡野、避世不出，只作充耳不闻。可是时人对他厌恶并不止于骂声，甚至于付诸行动。新年前后，王彬在乡中遭遇四、五刺杀，甚至有一次刺客直接冲入王彬居室，更将王彬一名小妾当场刺死
这些刺杀，刺客有的行刺不成便逃走，有的则被当场擒下，审问皆以义士自标，痛骂王彬，至死不饶。
王彬也不知这些刺杀背后到底有没有主使者，如果没有，那是时人恨他欲死，从另一个侧面印证沈维周时誉之高，在一些人看来甚至可与社稷安危等同。而若是有主使，则意味着沈家并未因为王导的引退而打算放过王彬，仍要将他置于死地
这两种情况，无论是哪一种都是最坏局面。王彬比任何人都清楚沈充的阴毒诡计，如果沈充还是不打算放过他，那他真是岌岌可危。王彬不是没有想过以此反击沈家，自己导演一场刺杀而后借此攀咬沈充，斥他暗杀大臣。但如此一来，此前好不容易按下的司马勋之案又要被翻出，或许这正是沈充所希望的。如果王彬真的那么做了，可能整个琅琊王氏都要再受连累
本身背负骂名，又有性命之忧，王彬这段时间过得可谓悲苦。虽然琅琊王氏在侨置的琅琊郡中广拥部曲义从，但也不可能什么都不做毕集丁壮去保护他。而且沈氏吴人同样不弱，如果真的要集结部曲而作乡斗，王氏可能还要处于劣势。
在乡中藏匿两个多月，寝食不安，王彬最终决定还是归都。毕竟建康城乃是京畿所在，还有宿卫大军镇守城池，身在物议中心，沈充也不敢再肆无忌惮的加害折磨他。
于是在月前又经历过一场虚惊刺杀之后，王彬终于秘密离乡，夜中回归建康城。可是在途中却得知他在都中的旧居府邸外，日夜都有时人潜伏，等待他归都。
无奈之下，王彬只得返回乌衣巷的王氏大宅。他已经做好了要接受王导训斥责骂的准备，因为这一次确是他做的不妥，不独自身惶惶如丧家之犬，更连累了王导，也连累了整个王家。
所以在感受到王导的态度之后，王彬再也忍不住，反手抓住王导的手，语调哽咽道：“阿兄你要信我……我真从无害国之想，小貉子、我想除掉小貉子，也是要行忠义之事，假使我能取代他，我也有恶战淮上的勇气，战死不悔为什么、为什么时人误我至深？为什么时局到了这一步？”
“……若非我家忠义匡扶，晋祚何能续于江表？言及身赴国难，我家又何曾落于人后？何以时人如此短视？”
