张安世乃张汤之子，字子孺，少时以父荫担任郎职。他因为善于书写，给事尚书，精力充沛，休息时也不外出。汉武帝出行河东，曾经丢失三箧书，下诏询问，没有谁能够知道书的内容，唯有张安世记得，完整地书写出来。后来买到那些书，加以对照，发现张安世书写的没有丝毫遗漏，汉武帝由此惊奇他的才华，擢拔他为尚书令，升迁为光禄大夫。
网络配图
汉昭帝即位后，大将军霍光秉政。张安世因为言行稳重，为人敦厚，得到了霍光的亲近、重视。其后赶上左将军上官桀父子及御史大夫桑弘羊等人与燕王、盖主谋反被诛，霍光以朝无旧臣为由，上报用安世为右将军光禄勋，作为自己的副手。过了很久，昭帝下诏，封张安世为富平侯。次年，汉昭帝去世，尚未埋葬，霍光禀明太后，转安世为车骑将军，一起征召昌邑王刘贺。刘贺行为淫乱，即位不久，霍光、安世等人一起商议废掉他，另尊立宣帝。宣帝即位，褒赏大臣，加封安世食邑一万零六百户，功劳仅次于霍光，其子张千秋、张延寿、张彭祖皆为中郎将。
大将军霍光去世数月，御史大夫魏相上疏，举荐张安世为大将军，安世之子张延寿为光禄勋，皇帝也打算采纳。安世闻知，十分惧怕，不敢承当，于是请求私下拜见皇帝，婉言推辞。过了几天，宣帝拜安世为大司马车骑将军，领尚书事务。过了数月，罢除车骑将军屯兵，更为卫将军，两宫卫尉、城门以及北军兵马都归他统领。
网络配图
其时，霍光之子霍禹为右将军，宣帝亦以霍禹为大司马，罢免了他的右将军屯兵，以虚尊加之，而实际上是削夺他的权力。过了一年多，霍禹谋反，宗族被灭。安世素来小心谨慎，畏惧被忌，已经内心感到忧虑，而他的孙女张敬为霍氏外属媳妇，应当连坐，这使得他的恐惧，形于颜色。宣帝见到，既感奇怪，又非常怜悯，就向左右询问原因，于是赦免张敬，以安尉安世。安世因而更加恐惧，他主管朝政大事，向来以谨慎周密著称，皇宫内外没有区别。
网络配图
安世曾经举荐了一个人，后来这个人前来感谢，他因此感到非常遗憾，以为推荐贤能之人，使之通达，乃是分内的应有之事，不能藏有私心，所以后来再有表示谢意的，一律不予相见。还有个郎官功劳很高，却没有得到升迁，就告诉安世，安世说皇帝知道你的功绩，我们为人臣子的不应该议论短长，表面上坚决拒绝为他提升。不久，这个郎官得到升迁。安世问幕府长史自己有何过失，长史说他作为股肱之臣，不为国家举贤进能。安世回答说，明主在上，能够清楚地分辩贤能与不肖，为人臣子的加强自己的修养就行了，没有必要举荐士人。他就是这样隐匿名声，远离权势的。
