羊祜博学多才，年轻时即有“今日之颜子”的美称。但他不愿为官，虽曾多次被征召，却从不就任。羊祜娶夏侯霸之女为妻，夏侯霸降蜀后，其姻亲多与告绝，独羊祜对妻仍然恩礼如常。

司马昭为大将军后，公车征拜羊祜为中书侍郎。羊祜身为内侍，但对曹魏王室不亲不疏，后主动要求转为外臣。司马昭诛钟会后，拜羊祜为相国从事中郎。不久，羊祜又升任中将军，“执兵之要，事兼内外”，成为司马氏的重臣。

司马炎称帝，封羊祜为中军将军，后又升尚书左仆射，卫将军。晋国为吞灭吴国，最后统一天下，于泰始五年（公元年）任命羊祜为都督荆州诸军事，率本部兵马出镇襄阳。

荆州是晋、吴两国接壤对峙之地，双方多次争战，局势一直十分紧张。羊祜到任后，首先缓和边境的紧张局势。他下令设立乡学，鼓励读书；又开放边界，允许自由往来，受到了江汉百姓的普遍欢迎。

当时吴国在石城（湖北钟祥）设防。此地形势险要，威胁襄阳，是吴国东线的重要军事基地。石城吴军经常袭扰晋国边境，羊祜对此深为忧虑。他巧设诡计迫使吴国罢守石城，撤兵离去。此举使晋吴两国东线的对峙态势发生了重大变化。

羊祜占据石城，原来晋吴两国争执不下的汉水东面的大片土地就全部归晋所有。吴国再也无法直接威胁襄阳，只能转攻为守将东部防线南撤到长江岸边。晋军的防卫兵力也由此而减少一半，羊祜分派节省下来的兵力实行“军屯”，开垦荒田八百余顷，每年收获甚丰。羊祜初来荆州时，“军无百日之粮”；他离开时，已有“十年之积”。

羊祜在荆州任内，曾有一段时间常常轻裘缓带，身不披甲，外出渔猎而影响军政事务。一次又欲夜出，军司徐胤执戟挡住营门，大声说道：“将军都督万里，安可轻脱！将军之安危，亦国家之安危也。胤今日若死。此门乃开耳”。羊祜听后深为感动，改容相谢，从此很少再外出渔猎。

晋国荆州地区在羊祜的治理下，军事实力得到了迅速地增强。晋武帝将汉东江夏诸军都拨归羊祜指挥，并加封他为车骑将军。

泰始八年（公元年）吴国西陵都督步阐举城降晋。吴国将军陆抗发兵围攻西陵。羊祜奉命救援步阐，为陆抗所阻，失利而回，羊祜因而被降为平南将军。