郑淖约的担心，也不是没有理由的，随着时间的推移，事态的风波，开始慢慢的升级，不过风向却变了，居然有人开始为韩瑞开脱起来，在他们的推测中，韩瑞只不过是个替罪羊而已，真正谋划此事的，肯定另有他人。
按照阴谋论者的揣度，一个小官，哪里来的胆子，敢冒天下之大不韪，改变朝廷政令，其背后必然有人指使，最大的可能，自然是韩瑞的上级，秘书郎？不，级别还是太低，至少是著作郎之类，嗯，可以再大胆点儿猜测，少监、正监……他们为什么要这样做？理由更是简单，这帮南学出身的大儒，久居南朝，哪个不崇佛拜佛，而今和尚上门求助，伸予援手，那也是理所当然的事情，不值得大惊小怪，听起来很有道理，加上似乎有人在推波助澜，这个流言迅速传偏京城。
信也好，不信也罢，反正非常明显，矛头不仅指向了虞世南与颜师古，连带孔颖达等人，也不能幸免，这个时候，聪明人已经看出，有人在借题发挥，目的昭然若揭，就是希望能够通过这件事情，让孔颖达他们，受到皇帝的猜忌，一些工作，自然无法正常进行了。
流言四起，虞世南等人，却是没有动静，以不变应万变，但是他们的门生，遍布天下，京城之中，少说也有几千上万，见到老师蒙着污名，纷纷出来辟谣，与人争论，一时之间，自然是喧嚣热闹，这下子，倒是落了人家的算计，就怕你不争，争吵起来，将水搅浊，浑水摸鱼的机会更大。
很快，又有很多不同版本的流言冒出来了，有真有假，令人难以分辨。
“伯施兄，看来，有些人还没有死心啊。”
秘书监衙房之中，颜师古苦笑说道，平白无故，让人诽谤，尽管清楚只是一些上不了台面的伎俩，但是众口铄金，不得不防。
休息几曰，终于从恩师逝世的悲伤中，走了出来，不过多少还残留了些愁绪，心情比较低落，虞世南点头说道：“酝酿了几个月，终于出手了，这样也好，托得越久，老夫反而担心他们在关键时刻算计破坏。”
千曰防备，反而疑神疑鬼，不得安宁，现在亮出来了，倒是可以放松下来，见招拆招，考虑怎样应对就行。
“不用应对，静观其变即可。”虞世南说道：“陛下英明，朝堂的大臣，也不是偏听偏信的庸员，根本不会在意几句流言蜚语，他们闹腾得越是厉害，反而让大家看得清楚。”
