淝水之战是谢安最大的军事经历，是他一生中浓墨重彩的一笔，即使是在中国历史上也是十分重要的战役之一。谢安是淝水之战东晋方面的总指挥，最后不仅以少胜多，而且是大获全胜，打得前秦至此一蹶不振。
早在377年，谢安就开始了战争的前期准备。他举荐自己的侄子谢玄负责北方的军事防御，自己总管长江下游，而谢玄不负众望招募训练精兵强将，成立了北府军。第二年，苻坚就派兵进攻东晋，花了一年时间攻下襄阳，之后爆发淮南之战，谢安与谢玄全歼敌军。
383年8月，苻坚亲率80多万军队南侵，与谢玄带领的8万北府军在肥水发生决战。最后，东晋以弱胜强大获全胜，前秦方面不仅嫡系部队全灭，还有大量部队溃散，而东晋不过伤亡了5000人。前秦方面各种战略战术上的失误是此战失败的主要原因，而东晋方面能够胜利，作为总指挥的谢安当立首功。
