史（海南崖县），来济为台州刺史（浙江临海），终身不听朝觐。褚遂良从桂州再贬至爱州（今越南清化）。爱州，唐时属藩属九真之地，比天涯海角还天涯海角，年过花甲，连连遭贬的褚遂良，心灰意冷，身心交瘁，连连上书乞求怜悯。但时已为侍中的许敬宗把他的奏书压在案底，根本不予上报，褚遂良年年失望年年望，终于支撑不住，于显庆三年（６５８年），死在了爱州，享年六十二岁，一代书圣，就这样无声无息地化作异域之鬼。

至此，褚遂良、韩瑗、来济、裴行俭等元老重臣集团的骨干相继倒台，武则天觉得，扳倒长孙无忌的时机也到了，于是密令许敬宗、李义府，要想尽一切办法，构陷长孙无忌。

显庆三年（６５８年），李义府上书，以莫须有的罪名诬陷长孙无忌的中表亲高履行及从父兄长孙祥。高宗李治起初还不相信，但架不住武则天的软施硬磨，许敬宗的巧言哄骗，只得当堂下旨，高履行由太常卿外放为益州大都督府长史，长孙祥由工部尚书外放到荆州大都督府长史。

宦官宣旨时，李治惴惴不安地偷眼看着长孙无忌，因事前没给他商量，生怕他不愿意，当堂给自己难堪。谁知，长孙无忌听了旨意以后默默无语，只是垂着手站在那里，面无表情，李治一见，更觉不得劲，早早宣布退朝，躲到后宫去了。

回到家里，长孙无忌心烦意乱，唉声叹气，坐也坐不安，卧也卧不下，于是叫下人弄了几个菜，独自一个人喝闷酒，小酒盅还没端起，门房来报，太子太师于志宁于大人来访，长孙无忌急忙传令，快快有请。