当乾隆准许他退休时，他特意上了一个奏折。在奏折中张廷玉念叨：“恐身后不得蒙荣，外间亦有此议论”。
张廷玉请乾隆做出承诺，将会遵循雍正的遗命，让自己配享太庙。唯恐乾隆空口无凭，张廷玉甚至“免冠叩首，请上一辞以为券”。
乾隆看了这个上奏勃然大怒，皇帝赏给臣子的荣耀，能不能兑现这是皇帝的事，从来没有哪个臣子敢要求皇帝以书面文本做出承诺，乾隆认为这是对君权的要挟，这是对皇帝的大不敬。
但乾隆还是忍住了这口怒气，如果他发作，正好坐实了外界流传自己不肯让张廷玉配享太庙的议论。而不让张廷玉配享太庙，却是对先皇雍正的忤逆，这又将会激起无数风波。
乾隆咽下了这口怒气，隐忍不发，他颁布了上谕，保证一定会让张廷玉配享太庙，又赐诗给张廷玉，云“先皇遗诏惟钦此，去国余恩或过之”，以让他安心。
乾隆给足了张廷玉面子，但张廷玉终究是老糊涂了。在皇帝做出了这么多让步与许诺之后，他竟然没有亲自到宫门口去谢恩，只是让儿子代自己前去谢恩。
得知张廷玉没有亲自来谢恩之后，乾隆勃然大怒，张廷玉大不敬在前，怠慢礼节在后。
乾隆严厉指责张廷玉：“张廷玉之罪，不在于不亲自谢恩，而在于请朕承诺。之所以让朕承诺，乃是不信朕。”“朕待群臣，事事推心置腹，而伊转不能信，忍为要挟之求。观其如此居心，其有不得罪于天地鬼神耶！”
至此，乾隆才流露出了真实想法，即张廷玉不配配享太庙。乾隆斥责道：“配享太庙的都是佐命元勋，立下赫赫战功，张廷玉有何功绩能与之比肩？张廷玉所擅长的不过是撰写谕旨。朕平心论之，张廷玉实在不当配享太庙，其配享实为过分。”
但张廷玉配享太庙的资格，是以雍正遗诏的形式公布天下。且在某种程度上，张廷玉已成为汉族臣子与满人和睦相处的象征，削去他配享太庙的资格会让汉人大臣寒心。故而在惩治张廷玉时，乾隆不得不有所收敛。在夺去张廷玉爵位之后，准许他以大学士身份退休，死后仍准配享太庙。
自从政以来，张廷玉从未受过如此打击，在京中已如惊弓之鸟，只想早日返乡养老。乾隆十五年，乾隆的长子永瑝去世，初祭完之后张廷玉就急着申请返乡。对一个高龄老翁来说，早日返乡，安度晚年，并无可非议之处。
张廷玉急匆匆地申请回乡养老。沉浸在丧子之痛中的乾隆顿时发作，大骂张廷玉：“张廷玉曾侍朕讲读，又曾做过定亲王的师傅，如此蓦然无情，还有人心吗？”接着又将张廷玉说得一文不值：“你当官这么多年，毫无建树，不过就是一个古董陈设而已。”
张廷玉配享太庙的资格又一次被提了出来。乾隆这次搬出老爹雍正来代言：假若皇考还活着，看到你张廷玉今天的行为，也要收回成命。你张廷玉不但得罪于朕，更是得罪了皇考在天之灵！
