严文井不大参与日常事务，听汇报或者批阅公文通常只谈原则，不给具体意见。他爱猫，最多时家里养过七只。他喜欢西洋音乐，常去琉璃厂淘唱片，家里有几百张奏鸣曲和交响乐的唱片。开会时，他常偷偷给人画肖像，好友张天翼、赵树理经常成为他的素材。

清查“五一六分子”时，55岁的严文井夜里偷偷把一块熟的狗肉和馒头塞给挨整的阎纲，阎纲感动得直流眼泪。

《人民日报署名文章：事实胜于雄辩》报道称，身高过于矮小可能是他最终被杀的原因。“他只有1.29米，他可以很容易地混在人群中，但是同时，由于他的形象是安全机构非常熟悉，身材矮小也是一个缺点，这意味着更容易识别”，印度一名高级警官说。