咸丰元年（1851），洪秀全在金田起义，不到一年，太平天国运动席卷半个中国。清政府下令，让各地在籍官员组织团练。清政府打的主意是，利用地主武装来打击农民起义的势头。

当时，曾国藩的母亲去世，曾国藩丁忧在家。清政府的一道指令，给曾国藩提供的机会。他开始着手练兵。在家乡，曾国藩声誉良好，靠着亲戚、好友、师徒的关系，他建立起一支数千人的地方团练队伍。这支团练，就是后来大名鼎鼎的“湘军”。

咸丰四年（1854），清政府下令，派遣初具规模的湘军去镇压太平天国。出发之前，曾国藩还特意颁布了一道《讨粤匪檄》，檄文写得热烈激昂，意在鼓舞湘军子弟奋勇杀敌。果然，湘军勇猛，竟然抵挡住了当时风头正劲的太平军西征军，抵挡可不光是防守，还一举将西征军赶出了湖南和湖北的境地。

当时，全国各地都有团练武装，为何曾国藩手下的这支团练如此犀利勇猛呢？因为这支初期的“湘军”，在组建时，曾国藩就花了一番心思。首先，招收来的人，一律都是当时的乡民，吃苦耐劳，人又彪悍。而老兵油子和懒惰的市民，一律拒收，这些人会带坏队伍。而军官则与普通士兵不同，他们大多来自曾国藩亲友中的读书人，他们忠君，有献身精神，不会和清廷八旗贵族军官的争权夺利。

军官士兵都招进来了，接着编组。曾国藩把父子、兄弟，以及有他血缘亲属关系的士兵编在同一组织内。真应了那句老话：上阵父子兵、打虎亲兄弟。你想这战斗力能不强么？能不团结一心，同仇敌忾吗？你可别小看这种编组的招数，在当时是个创举，开了中国近代军阀的先河。

然而，让人意想不到的是，在接下来的江西战场上，曾国藩的湘军，却被石达开率领的西征军打得落花流水，一败涂地。两军在九江、湖口一带相遇，石达开连破湘军，甚至还擒获了曾国藩的战船。

一时间，曾国藩怒火攻心，他从未遭受过这样的失败，精神大受打击，险些要投水自杀。据说，当时曾国藩满脸泥沙，披头散发，模样狼狈之极。

此战过后，太平军再度占领了武昌，湘军第一次东征失败。

到了咸丰六年（1856），江西太平军已经控制了江西的八府五十四州，而曾国藩率领的湘军，只能困守在南昌和南康两府之间，进退失据。

不在，恰在这个时期，太平天国的天京内部发生内讧，其领导人相互残杀。前文说过，前文说过，石达开打败了曾国藩的湘军后，太平军内部分裂，为争权夺利内讧相互残杀，杨秀清、韦昌辉、秦日纲等著名将领先后被杀，两万多精锐死于内乱，石达开带了十万精兵出走。太平天国从军事上的全盛时期走向了下坡路。

此时，曾国藩指挥湘军，重新占领了武昌，随后连续攻克了湖口、九江。至此，湘军掌握了江西战场的主动权。

咸丰十一年（1861）八月，曾国藩受命为两江总督，督办江南军务。之后，清军对太平天国的作战，逐渐形成了三个主战场。西线战场，由曾国藩直接指挥；苏南战场，由李鸿章率领淮军开辟；浙江战场，由左宗棠率领的楚军开辟。这样一来，从战略上对天京形成的包围之势。

同治三年（1864），曾国藩率军向天京发起了最后的进攻。曾国藩一贯信奉“乱世须用重典”的思想。所以，在攻克天京城后，他纵容部下制造了骇人听闻的大屠杀事件。

据记载，湘军见人即杀，见屋即烧，见物即抢，一时间，血流成河，成堆的尸体涌入长江，几乎堵塞了江水，在曾国藩的日记里，留下了这样的记载：“分段搜杀，三日之间毙贼共十余万。秦淮河尸首如麻。”“万室焚烧，百物荡尽，而贡院幸存。”“自五代以来，生灵涂炭，殆五逾于今日。”

有人说，曾国藩是“剿灭”太平天国的“元凶”，而这个“元凶”，后来却又一步步登上了“圣相”的高位。其实，曾国藩升官一直很快，三十七岁时，便已官至二品，且声誉良好，被近代不少政界人物封为“官场楷模”。而他在险象环生的仕途之路上，却始终能够安然无恙，这在中国历史上是非常罕见的。

原因是什么呢？首先，曾国藩是一个笼络人才、使用人才的极品高手。他的幕僚个个都是能独当一面的人才，或下笔有神，或擅长理财，或熟懂法令，或精通政务。曾国藩对人才求贤若渴，使投奔他的人络绎不绝。每次有投靠者登门，曾国藩都要发给薪水，让投靠者先安顿下来，吃好喝好住好，然后才会面。