阅读《晋书》中的羊祜传记，“让”字出现了好几次，体现了羊祜的谦让精神。
羊祜“立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财”，这与魏晋时期一些以斗富为乐的人形成了鲜明的对比。羊祜十二岁丧父后，侍奉叔父羊耽、叔母辛宪英甚勤。辛宪英素有贤名，《晋书·列女传》介绍当世女性事迹时，将她列在第一位。羊祜曾送给叔母一床锦被，叔母觉得太奢华了，退了回去。由此可见，羊祜的清俭受到了家庭的影响。
羊祜给后人留下的文字不多，其中有一篇《诫子书》，堪为中国家训史上的名篇。羊祜只有一女，并无子，以兄子为嗣。
这篇《诫子书》首先谈到了自己少年时的求学经历，会说话时，他就开始接受儒家经典的教育，到九岁时便能背诵《诗》《书》，但在乡中没有人称赞羊祜，“无清异之名”，这不免让他感到难过。羊祜由此感叹，他的才华实不如已经去世的父亲，他自谦地表示自己今日能身居高位，并不是靠着自己的能力获得的，而是朝廷给予的恩荣。
接下来，羊祜教育子侄们做人的道理，“恭为德首，慎为行基”，突出一个“恭”字和一个“慎”字。他希望子侄辈“言则忠信，行则笃敬”，不要轻易许诺给人钱财，不要传播荒诞不经的言谈，不要听毁誉别人的话，尤其是毁谤别人的话，若是听见了，不要再去传播。一定要言必信，行必果，“若言行无信，身受大谤，自入刑论，岂复惜汝，耻及祖考”。他希望子侄们能常拿出这封家书来读，时刻提醒自己谨言慎行，勿使自己受辱，亦勿使家庭受辱。
羊祜忙于军国大事，写下家书教育家人的机会恐怕不多，身教重于言教，平时羊祜的谨言慎行即为后人做了很好的示范。羊祜的女婿有一回跟他提建议，何不置办一些家产以便日后享用。羊祜默然不语，没有当即回应女婿的建议。旁人退去后，他对子侄们语重心长地说道：“此所谓知其一，不知其二。人臣树私则背公，是大惑也。汝宜识吾此意。”这话既表明了自己的态度，同时也告诉子侄们他不会留下丰厚的家产。
羊祜欣赏西汉疏广的家教理念。疏广在家书中对子孙表示，自己不会为他们留下丰厚的家产，并不是因为他不关心子孙，而是因为财富未必有利于个人的成长与家庭的发展，他说“贤而多财，则损其志；愚而多财，则益其过”。这几句话，影响了包括羊祜在内的许多人，堪称经典。
