刘弗陵继位后，由于年幼需要照顾，霍光安排他唯一的姐姐鄂邑公主在宫中担任长公主，照料他的生活。鄂邑长公主凭借长期的照顾权力逐渐壮大，霍光和上官桀都对她非常重视，与她的关系十分密切。
过了一年多，金日磾因病去世，只剩下三个辅政大臣。霍光的大女儿嫁给了上官桀的儿子上官安，两家成了姻亲关系，也形成了同盟。而桑弘羊与霍光的关系并不友好，两人关系紧张，桑弘羊只能在暗地里与霍光对抗，但总体上处于劣势。
公元前83年，刘弗陵已经十二岁，按照汉朝早婚的风俗，他差不多可以结婚了，长公主开始为他挑选皇后人选。
长公主有一个情人，名叫丁外人。丁外人与上官安关系密切，而上官安与霍光的大女儿生下一个女儿，所以上官安让丁外人去找长公主说情，希望立上官氏为皇后。长公主当时以为上官氏是霍光的外孙女，认为霍光会非常同意这个提议，但霍光却坚决反对。他担心上官氏年幼且是上官家族的人，一旦成为皇后，上官家族的势力就会超过自己。
然而，长公主坚持要立上官氏为皇后，并迅速迎接上官氏入宫。上官氏最初被封为婕妤，不久后正式册立为皇后。这件事让霍光内心非常不快。后来，上官安为了回报长公主，上书请求封丁外人为侯，但霍光以无功不封侯为由拒绝了这个请求。这使得他与上官家族和长公主的关系出现了裂痕。同时，桑弘羊计划让自己的几个亲戚入朝任官，也遭到了霍光的拒绝，加剧了他与霍光之间的矛盾。
