在“反右”还没有开始的时候，康生向父亲张伯驹借了好多字画没有归还，父亲又不好说什么。父亲和陈毅经常下围棋，一次不经意提到过此事。陈毅便向毛泽东汇报，毛泽东找康生谈话。1957年，康生就把父亲打成了“右派”。
　　父亲被打成“右派”后，家里就没有那么多人来了。运动后期，街道上的人挤进来不少住进我家，房钱则被房管局收了，我父母住也要掏房钱。
　　我们来看父亲都是晚上偷偷摸摸地过来，因为要“划清界限”。不过，父亲有一副好身体，他会唱戏，练过把式。我回来后，发现那些事好像没在他身上发生过一样，父亲依旧看书、写东西、下棋，一切都很自然。
　　我当时就很不理解：父亲平时就是做做收藏，给别人看看字画，没有做任何反党反人民的事情，怎么就被打成“右派”呢？
　　后来，也有人问父亲，被打成“右派”后有何感想。父亲回答：“此事太出我意料。不过我告诉自己，国家大，人多，个人受点委屈不仅难免，也算不了什么。自己看古画时也有过差错，为什么不许别人错给我一顶帽子呢？”
　　父亲时常教育我说：“一个人要热爱自己的国家，这是大事，不能马虎；除此之外都是小事，不必斤斤计较。”
　　父亲视钱财为身外之物，一生聚散大都用于收购文物。他在西安曾创建“秦陇实业公司”，在1949年后即奉献给国家。公司代表曾特地向他报告发展和赢利情况，他一概不感兴趣，只说：“我不管了，厂子我不要了。”
　　但是，父亲在很多事情上又异常强硬，半分不让。
　　他虽然是个交际广泛的社会活动家，因爱好多，曾组织或参加了许多社团，如“北京京剧基本艺术研究社”“北京中国书法研究社”“北京棋艺研究社”“北京古琴会”等，但他在里面大都是担任副职。
　　“反右”时，有人说他有野心，他说：“我从不想要权势地位。要想当官的话，别说先父在时，就是抗战胜利后，孙连仲让我在唐山和石家庄两市长中挑一个，我都没干。我没有那才干，我只能自比侯方域而已。”
　　在“反右”运动中，一位京剧演员批判他时，有些过火言辞。其实这也怪不得别人，那时人人自危，也只好自伪以求自保。后来，那位演员去世，父亲托人带去100元的赙仪，当时，一个月的伙食费只不过十多元左右。
　　有人劝他不必给这么多，意思意思就行了。但父亲坚持送一百，说：“当初他帮我打把子练武功，我们的交情还在。”
　　有一次，父亲要到沈裕君（中央文史馆馆员，章太炎夫人汤国黎的表兄）家中去下围棋。刚要出门，碰到一位香港来客，买了一幅母亲的画，想请父亲题字，并表示愿意多加500元。不料，父亲不听钱犹可，听了多付500元，便气冲冲地回答说：“不写，我现在要去下棋。”
　　1973年，袁世凯之孙袁家骝回国探亲，预定日程中有看望父亲的一项。国务院办公室考虑我们家里早已破败不堪，准备给他另外安排一处比较像样的住处，以壮门面。父亲却答道：“我是这个样子，就是这个样子，何必换地方？”
　　还有一次，父亲在天津短时间停留，一位文史馆的老先生受其上级的委托，请父亲吃饭。这位老先生请父亲为他在其上级面前美言几句。父亲却冷冷地说：“你看我是这样的人吗？”
　　一次，画家黄永玉在北京西郊莫斯科餐厅偶见父亲，只见父亲点了一份红菜汤，几片面包，草草食毕，又将剩余的面包、黄油用小毛巾裹好带走。
　　王世襄曾在父亲的画上题诗道：
　　银锭桥西宅不宽，
　　黄花红叶耐霜寒。
　　分明自写双清影，
　　寄与词人作画看。
　　（摘自《挖历史》）