1964年3月，文联和作协开始整风。秋天，社会上已经开始批判“三家村”，作协主要是批邵荃麟和赵树理的“中间人物论”。

1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

《送王船的申遗故事:文化还是迷信? 这次定性了》这期间，林绍纲的家搬进了王府大街黄土岗胡同13号作协宿舍大院。他的住处是三间东厢房，房间虽小，但花砖铺地，很有气派。《文艺报》副主编冯牧则搬进了西厢房，与他家遥遥相对。