1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

把地毯从门口搬运进室内也是费了不少力气。有工作人员回忆，在物品中最难搬运、也最让人头痛的就是超长大地毯了。一长卷躺在地上，手抓不住，肩抗不起来，质地又软，圆滚滚地像巨龙一样趴在地上。

《故宫博物院深耕的年轻人:上屋顶、下库房、修文物》这期间，林绍纲的家搬进了王府大街黄土岗胡同13号作协宿舍大院。他的住处是三间东厢房，房间虽小，但花砖铺地，很有气派。《文艺报》副主编冯牧则搬进了西厢房，与他家遥遥相对。