武三思建议下，毁仅建了四年不到的三阳宫，以其材作兴泰宫于万安山。万安宫功费甚广，百姓苦之，左拾遗卢藏用具表以为：

左右近臣多以顺意为忠，朝廷具僚皆以犯忤为戒，致陛下不知百姓失业，伤陛下之仁。陛下诚能以劳人为辞，为制罢之，则天下皆知陛下苦己而爱人也。

疏奏，不从。夏五月，兴泰宫成，则天大帝幸兴泰宫。

说张氏五兄弟虽目不识丁，才不能理政，却依仗女皇这个靠山，位列公卿。按苏安恒的说法，此兄弟五个理应“饮冰怀惧，酌水思清，夙夜兢兢，以答思造。”

然则此五人却欲壑其志，豺狼其心，干起种种卖官鬻爵的勾当。且欺压良善，强夺民产，掠夺民妇，无所不为。直弄得长安城内，里巷汹汹；朝野上下，怨声载道。

值此女皇携二张去兴泰宫避暑之机，朝臣们积极搜集诸张贪赃枉法的材料，以期告倒诸张。

八月十一日，倦政怡养几达三月的则天大帝，自兴泰宫返回神都宫城。主管政法工作的宰相韦安石，就把厚达尺余的指控诸张的材料，摆在了女皇的御案上。

指控材料翔实有力，时间、地点、人证、物证，一应俱全。武则天翻看了一会，心有护短之意，拍拍材料，摇摇头说：“此五兄弟一向挺好，若真有这事，朕还真不相信。”