汉文帝刘恒做藩王时，张武就随侍左右，并负责刘恒的饮食起居。刘恒看张武对自己竭尽诚心，做事很少背离自己的心思，遂将他视为心腹。
　　汉高后八年（前180年），诸吕势力被逐一剪除，刘恒从地方到中央，成为中央最高领导。但考虑到初来乍到，人地两疏，自身安全高于一切，于是汉文帝初登大宝，就提拔张武担任了郎中令（专司负责皇帝安全的侍卫官），汉文帝知道他并不满意，就给他做工作：“爱卿可不要有其他想法啊，朕可是把自己的身家性命都托付給你了。”张武是个聪明人，自然知道这一位置的重要性，尽职尽责，不敢懈怠。
　　但随着时间的推移，张武逐渐恃宠而骄起来，不要说对那些身份低于自己的人，就是见到爵高位显的功勋之臣，他也没有丝毫谦卑之色，甚至公开顶撞，因此状告他的人不在少数。汉文帝为了平息怨怒，便将他贬为恒山郡真定县（今河北正定）县令。没有了皇帝的庇佑，张武才切实体验到人情凉薄、世态炎凉，他痛定思痛，思谋着等待机会，立个奇功，重现昔日的风光。
　　机会还真让他等到了。此时称雄岭南的南越王赵佗趁着汉朝内部不稳，无暇他顾时机，自立“南越武帝”，意欲与大汉帝国分庭抗礼。为了使赵佗臣服，汉文帝决定御驾亲征。凭着对汉文帝的了解，张武暗自揣测：汉文帝为了警戒那些对帝位有觊觎之心的人，必然要破釜沉舟，兵戈相向，不达目的不罢手。而恰好赵佗祖籍就在真定，他的族人及先祖坟茔也都在此。张武平时就是一个迷信风水的人，他认为赵佗能够纵横岭南称雄几十年，一定是赵氏先祖的坟地风水好，有祖宗护佑。如果把赵佗的祖坟毁掉，断了赵氏的风水，赵佗定然不战而退。自己岂不为朝廷立下了首功？
　　但这回他还真没猜对汉文帝的心思。汉文帝此次亲征的目的不是为了大动干戈，武力威慑，完全是奔着收服人心来的，只要赵佗肯取消帝号，臣服朝廷，汉武帝也就既往不咎，根本没想把事做绝。况且赵佗当时只是受人挑唆，并不想真正和朝廷彻底决裂。好在赵佗听说祖坟被挖，并未失去理智，不问青红皂白，举兵兴师问罪。否则，一旦点燃“挖坟”这根导火索，不知要有多少黎民百姓流离失所，饱受战乱之苦。
　　汉文帝当然明白张武不是有意为之，而是猜错了他的心思，好心办了坏事，便只责罚他恢复赵氏祖坟的原貌。张武接到汉文帝旨意，昼夜施工，将破坏的坟茔修缮完毕，又恭恭敬敬地点上三炷香，插在坟前香炉上，方才心安。
　　皇帝的心思还真是不好猜，差之毫厘谬以千里，张武若不是忠心可嘉，肯定要吃不了兜着走。