但是，“肚量”惊人的张齐贤，“度量”却不大。有一天在行香所（举行礼佛仪式的地方），他对副宰相温仲舒说了一些粗俗的话，御史中丞张咏认为他有失大臣风度，就上表弹劾他。张齐贤深以为恨。张咏的亲家王禹偁是个诗人，也写文讥讽张齐贤，张就给他安了个罪名，贬谪到地方上去了。王禹偁诗文好，人人皆知，可是张齐贤想把张咏、王禹偁一块儿搞掉，就向宋太宗打小报告：“张咏本来不会写文章，他那些章奏都是亲家王禹偁代笔。”张咏听说后，跑到太宗面前辩白：“我苦心钻研学术，无人不知，张齐贤这是诬蔑我啊！”太宗让张咏把平生著述呈上，坐在龙图阁里翻看，还没看完，就下令赐坐，又吩咐黄门太监把自己常用的一把红绡金龙扇赐给张咏驱暑。这等于间接批评张齐贤。

张齐贤当了宰相，过去为他服务的仆役，都得到了提拔，唯独有个名叫王富生的，始终没有升赏。王富生很委屈，找了一个机会，双膝跪下对张齐贤哭诉：“老爷，我侍奉您多年，那些和我同来的仆人，都提升了。为啥不提升我呢？”说罢哭泣不止。

张齐贤脸一沉，说：“如果不和你说清楚，你还怪我一辈子呢！你记得在江南的时候，一次宴会上，你偷了几只银杯的事吗？这件事我藏在心中三十年了！我是宰相，任免百官，自然要提拔德才兼备之人。而你是小偷，怎能让你做官呢？所以只能让你留在我身边，免得危害百姓。”

他说这话也在理，但他接着又说：“我今天指出你的行为，你自然觉得羞惭，这样一来，你留在我身边也不合适了。现在给你一笔钱，另谋生计吧！”他担心对方日后挟恨报复，这就有点小心眼了。

张齐贤退休后回到洛阳，住在唐代宰相裴度留下的午桥庄，此地风景优美，是洛阳八小景“午桥碧草”之所在。他每天看看松竹，听听琴音，与一帮文人饮酒作诗，优哉游哉，自得其乐。也就是在这段日子里，他写下《洛阳缙绅旧闻记》，共五卷，详细记述了洛阳缙绅的奇闻轶事。

到了７２岁，张齐贤病死洛阳，这位能吃的宰相，临终还满满喝了一碗人参汤。