羊祜之家族世代为官，与魏国的曹氏和司马氏都是血亲，这样的家庭背景和先天优势可使他不费吹灰之力就脱颖而出。可是羊祜的人生轨迹并没有按照我们的习惯思维来运行，这让当时的人们不能理解甚至觉得他不可理喻。
羊祜博学多才、文思敏捷，长于论辩，而且英俊潇洒，于是地方长官推举他任上计吏之职。这虽是个掌管国家财赋统计和审计的低层官员，但由于岗位特殊，关系重大，所以倍受朝廷重视。但羊祜对此却没有兴趣。可不把他举荐上去，地方官就有失察之过，于是地方官就请他出来担任从事以及秀才，羊祜仍一一婉拒了。
239年，魏明帝曹叡去世，大将军曹爽掌握了实权。为了充实政权班底，他征召羊祜到中央政府任职，羊祜仍然辞不赴命。后来，大权独揽的司马昭又征召羊祜到朝廷为官，羊祜依旧退避三舍。最后，司马昭只好下诏，命令他必须遵旨去做中书侍郎，羊祜这才接受任命。
司马炎称帝后，羊祜因功进爵为郡公，食邑三千户，可他却坚决辞让这些封赏，称：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤。”别人都不择手段地为自己加官进爵，他却执意为自己退官，司马皇帝被他的诚恳深深地感动了，只好给他降了一级，封为侯爵。
羊祜一生中有多次晋升的机会，但每次都被他这样诚恳地婉拒、辞谢掉了。不过有的时候，羊祜却又特立独行勇往直前，令人瞠目。
249年，司马懿夺取军政大权，并诛杀曹氏集团的代表人物曹爽，与之相关的很多人都受到株连。羊祜的岳父夏侯霸害怕遭到杀戮，就投降了蜀国。这可是叛国之罪啊!亲戚故旧们都知道其中的利害，再也不敢上门，唯有羊祜反而比以往去得更勤，唯恐夏侯家遭到不测。
277年，东吴侵入西晋边界，掠走弋阳、江夏等地大量人口。这要换成其他人，免不了要兴师动众反击东吴的挑衅行径。因为这其中有诸多好处：一是可建军功，二是可堵住百姓的嘴，第三也是更重要的，可以堵住朝廷中那些专事吹求的百官的嘴。可慎重考虑之后，羊祜却没有派出一兵一卒。事后，司马炎在一些好事之臣的鼓噪下派人追查原因，羊祜坦然地说：“江夏距离襄阳八百多里，等到得知东吴犯境侵扰这个消息，敌兵早已走了多时。这时候出兵能救得了百姓吗?为了逃避责任而让将士们毫无意义地千里奔波，这纯粹就是削弱自己，而于敌人有何妨碍呢?这恐怕不是负责任的主帅应该做的。”司马炎听后，认可了羊祜的处置。
长期领兵在外，最忌朝中有人进谗言，因此，为了自保，大家都想尽办法努力与朝中大臣搞好关系，特别是得宠的权臣。王衍在朝中也有一定影响，而且是羊祜的叔伯外甥，曾经专门来襄阳拜见羊祜。这不正是个大好机会吗?可羊祜偏偏哪壶不开提哪壶：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”惹得王衍拂袖而去，给自己增加了一个狂犬吠日的小人。
278年，羊祜病逝。朝野闻之，无不大恸。
对羊祜生前的所作所为，他的女婿很不理解：“有所营置，令有归戴者，可不美乎?”其实，羊祜曾对儿子说过这样的话：“人臣树私则背公，是大惑也。”羊祜的“倒行逆施”，都是为国为民，唯独没有考虑他自己。正因为如此，他才会那么深入人心。
