军，并分兵断其退路，使前秦军腹背受敌，迅速崩溃，争渡淮水，梁成等10名将领阵亡，士卒损失1。5万人。初战告捷，对整个战争的胜利起了重大作用。他因功晋龙骧将军、彭城内史。九年，随谢玄北伐，收复了今河南、山东、陕西南部等地区。后曾参与*浙东农民起义军。淝水之战后，东晋朝廷内争复烈。兖、青州刺史王恭、骠骑大将军司马元显、荆州刺史桓玄等为争夺朝权，都拉拢手握强兵的刘牢之。刘对他们先靠后反，反复无常，致使将佐逐渐离散。不久，其兵权为桓玄所夺。元兴元年，被迫自缢。
刘牢之由于曾祖、父亲都曾为晋朝武官，刘家世代以壮勇而着称，刘牢之在此尚武家风下，应也长于武功，后来谢玄在京口募卒，时机一到，刘牢之便投身北府兵之中一展长才。除了尚武的家风之外，刘牢之自身条件也颇为优异。根据晋书刘牢之列传记载：牢之面呈紫赤色，须目惊人，而沈毅多计划。
由此看来，刘牢之除了家风尚武之外，本身亦相貌不凡，且为沈稳刚毅多计谋之人，自身良好的条件加上家风因素，奠定了刘牢之之后在北府兵中能够占有一席之地的基础。
刘牢之活跃的时代背景，是在淝水之战前后到东晋末年之间，其事业也大半在此时期，此时天下的局势是相当混乱的，他能崛起的原因之一，是因为在淝水之战中把握了机运。在西晋王朝灭亡之后，北方为五胡盘据，汉族势力退据江南。公元三一七年，琅琊王司马睿在建康即位重建晋室，是为晋元帝，史称东晋，到公元四二0年刘裕篡晋之间，这个王朝一共维持了凡十一帝一零三年的偏安统治。东晋到孝武帝时，由谢安执政，为了应付北方前秦帝国的南侵，于是谢安命其侄谢玄筹组史上所称之北府兵应战，而这支军团，后来也对东晋后来的政军上有重大影响。刘牢之就是在此混乱的背景局势下崛起，掌握时机，投身军旅，后来更一度掌控北府兵兵权，对东晋末年的局势有一定的影响力。
当时北方前秦最为强大，前秦王符坚四处用兵，逐渐统一了中国北方，并多次侵扰晋国边境，于是朝廷商议要挑选一位能够防御北方的良将。太元二年（377年）十月，谢安便推荐了其侄谢玄。于是晋廷召谢玄回朝，任他为建武将军，兖州刺史，领广陵相、监江北诸军事，镇守广陵（今江苏扬州市）。谢玄随即招募勇士，刘牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等因为骁勇出众而应选。谢玄以刘牢之为参军，领精锐为前锋，百战百胜，号称“北府兵”（北府即今江苏镇江），敌人特别畏惧“北府兵”。后前秦将领句难南侵，谢玄带何谦等抵拒秦兵，刘牢之在盱眙获句难辎重，得到运船无数。战后，刘牢之被任命为鹰扬将军、广陵相。太元八年（383年）五月，车骑将军桓冲率10万大军进攻襄阳，宣城内史胡彬率众至寿阳，声援桓冲。刘牢之则率2000人做为胡彬的后继。
八月，前秦军大举南下，企图灭亡东晋，统一中国（参见淝水之战）。十月，苻融率骠骑将军张蚝等攻破寿阳，慕容垂攻克郧城（今湖北安陆）。胡彬得到寿阳陷落的消息，遂退保硖石（今安徽寿县西北）。苻融命卫将军梁成率兵5万屯驻洛涧（今安徽淮南东淮河支流洛河），并于洛涧入淮水处设木栅切断淮水水道，使胡彬的水军无法东撤。谢石、谢玄的主力部队自东向西推进，因害怕梁成，到达距离洛涧25里处便停止前进。胡彬困守硖石，粮食将尽，派人向谢石报告。不料，信使被秦军截获，并送至苻融处。苻融即报告苻坚，说晋兵人少，粮食不继，宜乘机发动攻击。苻坚得此消息，即将大军留于项城，自领轻骑8000赶往寿阳，倍道就苻融。苻坚等至寿阳，即派在襄阳俘获的晋将朱序前往晋营劝降。朱序仍心向东晋，便借机对谢石说，前秦百万大军还没有全部到达，应赶快攻击其