湖南官吏原来就憎恨曾国藩多事，轻视湘军无用，闻其打了败仗，纷纷找骆秉章告状，要求参劾曾国藩，解散湘军。曾国藩自认难辞其咎，便写好遗嘱，暗令曾国葆买回棺木，准备自杀，以谢丧师败北之罪。
　　 咸丰帝接到湘军失败的奏禀，下诏质问曾国藩为何节节失败。曾国藩反倒冷静下来，灵机一动，把手下人原来准备的奏折上写的“累战累败”，改成“累败累战”。又把他买回棺材想死的事，改成“带棺出征，与粤匪决一死战，不获全胜，决不生还”，作为军令状，附在奏折的后面。这本奏折使咸丰帝对曾国藩的看法大为改观，对其十分赞赏，将曾国藩革职留用，仍署理军事。
　　 卷土重来靖港战后，曾国藩对湘军进行了重整。凡溃散之勇皆在裁撤之列。曾国藩的弟弟曾国葆也在被裁之列。而与太平军拼命的彭玉麟、塔齐布、杨载福营则允许大量增募新勇，这样使湘军很快又发展起来了。
　　 1854年7月7日，曾国藩派褚汝航、夏銮、彭玉麟、杨载福领水师4营进逼岳州。7月24日，太平军迎战失利，连夜退守城陵矶要塞。8月9日，陈辉龙、沙镇邦、褚汝航、夏銮4人率部飞舟直达城陵矶下，落入太平军早已设好的伏击圈内，全部被歼，曾国藩闻报“伤心陨涕”。
　　 8月11日，湘军塔齐布在战斗中杀死太平军猛将曾天养，太平军无心恋战，退守湖北。湘军于是水陆并进，乘势入鄂。太平军见湘军气势汹汹，于10月13日夜间弃城撤往田家镇，湘军于是占领武昌。
　　 咸丰帝得知湘军攻占武昌的消息，非常高兴，立即任命曾国藩署理湖北巡抚，并在奏折上批道：“览奏感慰实深。获此大胜，殊非意料所及。朕推兢业自持，叩天速赦民劫也。”他还眉飞色舞地对军机大臣说：“不意曾国藩一书生，乃能建此奇功。”另有一人进言说：“曾国藩是一个已离职的侍郎，身份如同匹夫。乡里匹夫，一呼而起，从者万人，这恐怕对国家来说不是什么好事！”咸丰帝顿悟，以致后来一直严奉祖训，不肯把地方督抚大权交给曾国藩。恰好曾国藩收到其署理湖北巡抚的谕旨时，假意推辞，免得由于丁忧期间立功受职而被人讥笑，有碍“名节”。然而曾国藩的辞谢奏疏还没送到北京，咸丰帝改变了主意，他在曾国藩的奏折上批道：“朕料汝必辞，又念及你要整师东下，署抚空有其名，故降旨令汝毋庸署理湖北巡抚，赏给兵部侍郎衔。”接着又倒打一耙说：““汝此奏虽不尽属固执，然官衔竟不书署抚，好名之过尚小，违旨之罪甚大，著严行申饬。”曾打下重镇不但没有得赏，反受申斥，感到悲哀。且湘军在战后未经休整，又要东征，从而使湘军数年内陷入进退两难的境地。
　　 湘军攻陷武昌后，引起了咸丰帝的猜忌，既授曾国藩湖北巡抚于先，又收回成命于后，曾国藩领会到他受到了清政府的歧视与打击，他从此对清政府产生了委曲情绪，作战时急于求胜以邀宠。在这种情绪的支配下，从武昌东下江西后，指挥湘军陆师奔命作战于长江南、北两岸，仰攻坚城，精锐暗销，最后造成了湖口、九江水师溃败，曾国藩败奔南昌的被动局面。如果曾国藩是湖北巡抚，可以湖北为巢穴，迅速恢复湘军水陆师的元气，整军再战。因为他逃奔南昌寄人篱下，反而与江西巡抚不断闹矛盾，以至参奏陈启迈。陈启迈虽然被革职，可是也增加了清政府对曾国藩的恶感。导致曾国藩被削除兵权，江西湘军陷入了群龙无首的混乱状态。太平军正是在湘军内部矛盾重重的情况下，三克武昌的。1856年春石达开分裂出走，太平天国军事力量大为削弱，军事形势急转直下，武昌、九江相继失守。但是，陈玉成、李秀成利用湘军涣散的时机，创造了三河大捷，全歼湘军主力李线宾以下5000名，乘胜收复舒城、桐城、潜山、太期，巩固了安徽根据地，初步扭转了天京变乱以来急转直下的军事危局。清政府方面军事形势的起落，与曾国藩的起落是有着很大关系的。
　　 合围安庆
　　 1858年6月，太平军发生内讧，石达开率部离开天京进入浙江，连克数县，浙江全省告急。于是胡林翼、骆秉章向朝廷建议起用曾国藩援浙，得到咸丰的首肯。曾国藩接旨，连称“圣恩高厚”，他抑制不住心头的喜悦对曾国荃说：“先大人少时在南岳烧香，抽得一签云：‘双珠齐入手，光采耀杭州。’先大人尝云：‘吾诸子当有二人官浙。’今吾与弟赴浙剿贼，或可兆于五十年以前乎？”曾国藩7月13日接旨，17日即启程就道。8月，石达开领兵入闽，咸丰帝令曾国藩改援福建，曾国藩屯军江西建昌。
　　 当时，太平军在安徽战场大获胜利。8月，陈玉成、李世贤、吴如孝部攻占庐州。11月15日，陈玉成、李秀成部在庐州三河镇全歼湘军李续宾部。李续宾自缢死，曾国藩弟曾国华被击毙。于是清政府命令曾国藩进图安徽。
　　 曾国藩在安徽的首要军事目标是安庆，安庆是天京在长江上游的最后一道屏障。攻下安庆，不仅能够乘势东下进攻天京，同时可以切断太平天国长江南北的物资来源。1860年春，曾国藩乘太平军回攻江南大营之机，向安庆发起了进攻。3月底，曾国藩令曾国荃率领万人驻集贤关外，进逼安庆城下，另安排多隆阿统军万人进攻桐城，抗阻太平军援军；又令李续宜率万人驻青草塥为援兵。6月，湘军攻占枞阳，形成了对安庆的包围。
　　 此时，太平军再破清军江南大营，顺势东取苏州、常州，引起清政府的恐慌，强令曾国藩从安庆撤围东下，救援苏、常。曾国藩以“安庆一军，将来即为克复金陵张本，不可遽撤”为由拒往。6月8日，清政府见曾国藩不动，便先行赏给兵部尚书衔，并撤掉两江总督何桂清，由曾国藩署理。8月10日，改为实授，并授钦差大臣，办理江南军务，大江南北水陆各军均归其节制。自此，曾国藩大权在握，得以大显身手。
　　 1860年10月，英法联军攻入北京，将举世闻名的圆明园化为一堆瓦砾。躲在热河的咸丰帝命曾国藩调湘军北上救驾，可是曾国藩公然置民族大义于不顾，以安徽军情紧急为借口，按兵不动，一意实施他围攻安庆的计划。
　　 为了打破湘军对安庆的包围，太平军在安庆外围与湘军进行了反复较量。1860年12月至1861年8月，英王陈玉成、忠王李秀成等多次率军进入安徽，力图解除安庆之围，均告失败。其间，太平军曾多次接近曾国藩的祁门老营。1860年12月1日，李秀成带大队破羊栈岭进克黟县，距曾国藩祁门大营仅80里，朝发夕至，曾国藩身边仅有三千防兵，曾国藩自料难活，连遗嘱都写好了，谁料李秀成东走浙江，让曾国藩白捡了一条命。12月中旬，太平军兵分三路再次进攻祁门，可惜太平军骁将黄文金与左宗棠军激战负伤，率军撤回皖南，使曾国藩度过了危机。1861年3月23日,李世贤在婺源甲路击败湘军王开琳等营，刘官芳攻入榉根岭，迫近祁门，曾国藩恐惧万分，不料刘官芳闻援兵将至，急急解围而去。曾国藩刚松一口气，又传来噩耗。4月9日，李世贤攻克景德镇，兵锋直指祁门，曾国藩饷道被切断。他悲观到了极点，再次写好遗嘱，安排后事。他写给儿子曾纪泽的信中说：“目下值局势万紧之际，四面梗塞，接济已断，如此一挫，军心尤为震动。”“与咸丰四年十二月十二日夜贼偷湖口水营相仿。”不料，李世贤在乐平与左宗棠交战失利，弃景德镇东走浙江，曾国藩再次保全了性命。
　　 8月，陈玉成调集大军合救安庆，5万大军入集贤关，分十余路猛攻湘军第一道战壕。在猛烈的炮火下，太平军奋勇出击，牺牲数千人终未能冲破。曾国荃指挥湘军，拼死抵抗太平军的援军，同时，用数十万斤火药对安庆守军轮番炮轰。9月5日，曾国荃部轰倒安庆北门城墙，越壕而入，饥饿疲倦的16000名太平军战士壮烈牺牲。清廷得报，赏曾国藩太子少保衔，赏曾国荃布政使衔。
　　 正当曾国藩拼命围攻安庆的时候，咸丰帝于8月22日病死于热河避暑山庄，其子载淳继位，即同治帝。为了巩固统治，载淳于1861年11月20日任命曾国藩统辖苏、皖、赣、浙等省军务，四省巡抚、提镇以下各官悉归其节制。此为曾国藩出师以来受到的最大恩眷。
　　 攻破金陵
　　 曾国藩进驻安庆后，就着手筹划进攻金陵的有关事宜。他坚持“稳慎徐图”的作战指导思想，当湘军攻克安庆，乘胜夺占池州、铜陵、庐江、无为、运漕、东关等重镇后，便停止进攻，进行休整部队，增募兵勇，筹集军饷等准备工作，并建立了我国第一个近代军事工厂安庆军械所。直到同治元年(1862)三月，才发起金陵战役。他本着既定的“欲拔根本，先剪枝叶”的战略方针，决定先进攻江苏、浙江，对金陵取大包围态势，然后分进合击，最后夺取金陵。
　　 这次战略性战役的作战部署是：左宗棠率湘军从皖南入浙，与太平军李世贤部争夺浙江；由李鸿章率新组建的淮军从安庆乘轮船开赴上海，会同雇佣武装“常胜军”与太平军李秀成部争夺苏南；由曾国荃率湘军在水师配合下，进攻长江沿岸各城镇，向金陵进击，直指金陵。同时调多隆阿部由庐州进取浦口、九洑洲，以便南北对进，对金陵城形成合围之势。由曾国藩直接指挥鲍超、张运兰部与太平军争夺宁国、广德、芜湖、巢县、东坝等要地，保障曾国荃部的后方安全，同时策应进攻浙江的湘军。并由李续宜部和其他清军担任阻击皖北太平军、捻军的增援，兼顾战略后方湖北。由上可见，这是一个气势宏大、思虑周密、环环相扣的作战部署。
　　 从1863年到1864年5月，李鸿章的淮军和“常胜军”，先后夺取了苏南的常熟、太仓、昆山、苏州、无锡、常州等重要城市。提督鲍超和冯子材攻占金坛、丹阳，从而夺得了苏南全部城市。在这同时，左宗棠的湘军，在英法帝国主义和外国雇佣武装“常捷军”的支持配合下，攻占了浙江宁波、杭州等城市。这样，就实现了曾国藩的战略大包围的决策，使金陵的太平军陷入了外无援兵，内缺粮草的绝境。这时，曾国藩决定拦击从金陵突围的太平军，命令鲍超部开赴江西追击从苏、浙突围的太平军，并要江西、福建、湖南等省调集兵力进行堵击，不使太平军到处“流窜”。
　　 1864年3月，曾国荃部湘军对金陵形成合围以后，便展开激烈的攻城作战。曾国藩告诫曾国荃提防“穷寇拼命决战”,务必谨慎从事，不可稍涉大意，以实现顺利攻克金陵的“大功”。他还多方筹措银两解拨前方，补发欠饷，以稳定和鼓舞军心士气。经过4个月的苦战，终于在7月19日攻破金陵城，使曾国藩的战略方针得以全部实现。
　　 金陵城内余烬未息，清政府就在8月初给为它卖命的湘军将领论功行赏。曾国藩封太子太保，授一等毅勇侯，世袭罔替，赏戴双眼花翎，开了有清三百年中“文臣封侯”的先例，破格地得到清王朝的最高奖赏。
　　 曾国荃封太子少保，一等伯，赏穿黄马褂，戴双眼花翎。其他湘军水陆将领30多人，各有封赏。
　　 洋务运动：师夷长技以制夷
　　 随着剿灭太平天国革命的逐步深入，以及第二次鸦片战争的平息，使曾国藩对所面临的“内忧外患”至今已极”的形势认识更加深刻。只有寻求“自强”“求富”的方法，才是摆脱清王朝岌岌可危的出路。于是，在攻克安庆之后，曾国藩筹划兴建了近代中国最早的军事工业--安庆军械所，这是中国洋务运动的揭幕。
　　 从反对者到倡导者
　　 1861年，清恭亲王奕訢等奏请以洋药税购买外国轮船枪炮，用以攻剿太平军，以期早日戡定内乱。有旨令曾国藩、官文、胡林翼(官为湖广总督，胡是湖北巡抚)等先行妥为筹议，次第实施。
　　 曾国藩却认为火轮船对于攻打太平军,没有多大用处。他说：“轮船枪炮之所以被人重视，不过因为国人震于其少见，遂使洋人得以炫耀罢了。”可是这事既创议于执政中枢的奕訢，又经皇帝批准期于必行，曾国藩自不敢加以否定，只好赞成购买。在同一奏折中，他认为只要买得若干西洋船炮之后，招募一批聪明智巧的本国工匠，加以仿造，一二年之内，我们就可以与洋人共享船炮之利而并驾齐驱了。后来的事实证明：太平军的平定，得力于西洋船炮的助力甚大(至少李鸿章的淮军是如此)，而仿造西洋船炮的工作，并不像他在衡州仿造广东战船那样容易，耗银千百万，费时数十年，终清之世，犹未达到能与列强相抗衡的水准。这一点曾国藩显然没有料到。
　　 不过，曾国藩逐渐在改变。头一年，他还不以为购买船炮是当务之急，第二年，他却在安庆着手试造中国第一艘轮船了。有一次，他告诉幕僚们说：“中国要讲求自强，基本要务，第一是革新政治，第二是访求人才。而目下最为急迫的下手工作，就是学会西洋制造船炮的技术。一旦我们学会了船炮的制造，那么洋人的长处我们也有了。无论是与洋人和平相处或相互对敌，我们都可有所倚恃。否则，我们与洋人是没有道理可讲的。无论是仇视他们或感谢他们，终将落得一无是处。”曾国藩这一席话是有见地的，只是他把洋人的长处，看作惟有“船坚炮利”而已，则未免仍是当时一般世俗的看法了。