1964年3月，文联和作协开始整风。秋天，社会上已经开始批判“三家村”，作协主要是批邵荃麟和赵树理的“中间人物论”。

他也不忘替自己辩解，“若涉及主权或民族感情问题，则不必刻意去刺激，我们就是坚守立场，表达异议或是抗议;大家以为我们没有，但是其实都有。”该言论遭到台湾网友的口诛笔伐，有网友称，“从来没见过你的抗议”，“简直就是卖国贼”。

《国防科工局、国家文物局携手加强军工文物保护》《华尔街日报》进一步指出，这一修墙计划是在美国国会围绕政府预算进行磋商时被提出的，当时磋商的形势已经“相当紧张”，双方讨论的内容甚至包含了如果无法达成共识，政府将面临在1月20日左右被迫“停摆”的风险等。