1162年，宋高宗传位给养子宋孝宗，自己成了太上皇。按理说，退了位的皇帝就不应该再插足政事了，可是宋高宗有时也“越权”。
　　有一天，宋高宗去某寺庙喝茶，有个行者（在寺院服杂役尚未剃发的出家者）通过宋高宗的穿着猜出此人来头不小，于是想方设法对宋高宗献殷勤。被热心冲昏头脑的宋高宗仔细打量了行者一番，说：“我看你的样子不像是个行者。”行者见宋高宗关注自己，马上展开了颠倒黑白的精彩表演，哭诉道：“我本是一个郡守，因为得罪了监司，被诬陷降罪，罚为庶人。为了糊口，我不得不来此地投亲，干低贱的工作。”宋高宗被行者的伪装所迷惑，当即答复道：“我明天就替你向皇帝说明情况。”
　　回宫后，宋高宗对宋孝宗提起了这件事，要求宋孝宗恢复行者的官职。可几天后，宋高宗再去那个寺庙，却见行者还在做原来的差事，于是回宫后在宴饮时便怒容满面。宋孝宗见状，小心翼翼地问宋高宗为何生气，宋高宗故意说：“我年纪大了，没人听我的话了，那行者被诬陷的事，我几天前就和你说过了，你为何不处理？”宋孝宗这才把自己的理由说出来：“我派人调查过了，此人并非被诬陷，而是因贪赃枉法获罪，因此不应该被恢复官职。”偏执的宋高宗不管这些，说：“可我已经答应行者向你求情了。”意思是，自己身为太上皇，答应他人的事情却办不到，太没有面子了。宋孝宗无奈，只得恢复了行者的官职。
　　这件事中，宋高宗確实糊涂。首先，面对行者的献殷勤，他没有去辨明真伪，而是听了对方的一面之词就信以为真。其次，在明知行者的劣迹后，他非但不怪行者欺骗自己，反而固执地要给行者恢复职务，原因竟然是怕失了自己的面子——宋高宗身为太上皇、曾经的皇帝，处理政事时不以国法为依据，却把面子看得比国法还重要，也难怪人们评价他是昏君。