当然，1840年的鸦片战争与以后的第二次鸦片战争中，即使僧格林沁的精锐马队，也抵挡不了英法联军的枪炮，这些事实不能不给曾国藩留下深刻的经验教训。这些是促使曾国藩要募“覃思之士，智巧之匠，始而演习，继而试造”的根本原因。曾国藩畏于太平军的强大攻击力，不得不使他把目光投向了“威力无比”的洋枪洋炮，中国学习西方，师夷长技的运动也由此拉开了帷幕。
　　 太平天国革命失败后，洋务运动趋向高潮，而洋务运动的倡导者就是曾国藩。
　　 设立安庆军械所
　　 1858年曾国藩复出以后，为解决军需在江西便建立了药枪炮等局。但随着剿灭太平天国革命的逐步深入，以及第二次鸦片战争的平息，使曾国藩对所面临的“内忧外患，至今已极”的形势认识更加深刻。只有寻求“自强”、“求富”的方法，才是摆脱清王朝岌岌可危的出路。虽然，第二次鸦片战争已经结束，但从长远考虑，不应在目前的现状上放松警惕。他常与幕僚谈起自强之法：讲求自强的基本要务，一是革新政治；二是寻求人才。而目下最为急迫的下手工作，就是学会西洋制造船炮的技术。一旦我们学会了船炮的制造，那么无论是与洋人和平相处或相互对敌，我们都可有所倚恃。否则，我们与洋人是没有道理可讲的。因此，在安庆军械所建立伊始，曾国藩便决定以全力去制造轮船火器。当他听说无锡有两位奇才--徐寿、华蘅芳时，便请江苏巡抚薛焕四处访求。1861年12月，薛焕将徐寿、华蘅芳送至安庆大营。曾国藩曾对洋人独揽制造机器的技术、权力很是不满，一直图谋思考良策以抵制他们。于是令徐寿在安庆创建机器局。徐寿、华蘅芳的到来,标志着安庆军械所的事业开始了一个新篇章。
　　 1862年7月，在曾国藩大力支持之下，幕客华蘅芳、徐寿等居然造成一部轮船发动机。曾国藩大表满意，他在日记里充分地流露出来：“洋人的智巧奇技，到底被我们中国人学会了。从此以后，洋人再没有可向中国夸耀的东西了。”然而，事实并不像他意料中那么简单。从一部略具雏形的发动机到一艘可以行驶水上的完整轮船，中间还有一大段距离。后来，华蘅芳等虽然殚精竭虑，苦心经营，却迟迟无法拼凑成一艘完整可用的轮船。他才知道自己把事情看得太容易了。
　　 蒸汽机试制成功以后，徐寿、华蘅芳便开始着手试制中国第一艘火木轮船。中国的木造船业，一直名列世界前茅，至清代，造船工场的规模和技术均很发达，这为试造轮船提供了技术条件和技术工人。试制轮船过程中，华蘅芳负责数据的计算与核算，徐寿负责制机。在吴嘉廉、龚云棠、徐建寅等技术人员的密切配合下，于同治元年(1862)春季，连续用了4个月的时间，造成了轮船模型，至是年底终于制成一艘长约二丈八九尺的小火轮。安庆军械所在成立不足4年的时间里，凭借中国人自己的力量，制造火器弹药，尤为可贵的是创造了中国第一台蒸汽机和第一艘木壳轮船，它标志着中国进入制造机器的新时期。因此，它可称作中国近代工业的开始，也是洋务运动兴起的标志。
　　 第一艘铁火轮
　　 1864年，徐寿等在此基础上，开始了放大试制火轮船的工作。天京攻克以后，安庆军械所随曾国藩大营迁到天京，改名为金陵机器制造局。
　　 造船工作屡试屡败，正当万般焦急的时候，华蘅芳等忽然想起了一个人--几年前在上海认识的广东人容闳。容闳毕业于美国耶鲁大学，不但精通英语，具有丰富的西洋学识，难得的是他具有一颗炽热的爱国心，亟思以其所学，为祖国效力。
　　 于是华蘅芳等共向曾国藩进言，请求容闳前来,认为由他主持设立机器厂，于造船制器工作的推行，必然大有帮助。曾国藩马上让最早与容闳相识的张世贵与李善兰，写信速邀容闳到安庆来。容闳来到安庆，和曾国藩见过两次面，曾国藩认为这个青年干练可靠，立即委派他赴美采购“制造机器的机器”，计划将来设立一座机器总厂，由此而衍生各种军火器械的制造分厂。曾国藩奏准赏给容闳五品军功头衔，并交付采购机器的价银6万8千两。足见曾国藩对容闳的信赖和期许之深。
　　 容闳赴美之后，安庆的造船试验工作仍照常进行。到了同治二年十二月，终于装配完成了中国造船史上第一艘火轮船。距离上年发动机的制成，已经过了1年又5个月。这艘船的体积很小，船身仅长约二丈八九尺(9米多)，时速只有二十五六华里。
　　 曾国藩亲自登船试车之后，再度燃起了希望的火花，认为从此中国可以拥有真正的自造火轮船了。他为这艘“模型式”的小轮船命名为“黄鹄”号，意思是中国此后将“一飞冲天”，不必再雌伏在列强的脚底下了。
　　 他计划照这艘船的式样，加以放大，并大规模制造。可是后来发现：要造成与洋船并驾齐驱的真正现代轮船，技术上仍有许多无法克服的困难。而中国当时实在没有足够的财力，供作反复试验的经费；在时间上也是远水救不了近火。因此后来安庆造船所并没有实施扩大制造的计划，连那艘已经造就的“黄鹄”号也不知所终。这次造船最后证明仍是失败了。
　　 失败并没有沮丧曾国藩力图振作的意志。相反，从失败的经验中，他更看清了中国自造轮船军火的重要性。惟有中国自身具有这种能力，才能摆脱外国的挟制，达到自立自强的境地。他一方面翼图采购机器，一方面也在寻找其他的机会，获取生产轮船军火的能力。
　　 1865年，一个新的机会来了。李鸿章在上海购得英人铁厂一座，其中设备以造船机器为主，附带也有制造各种军火枪炮的机器。
　　 对于学习西洋造船制器，李鸿章的热心，犹在老师曾国藩之上。得了这座铁厂之后，立即命名为“江南机器制造总局”，将原先已经设立的两所军火局归并入内，扩大制造的范围和规模。曾国藩得到报告，很是高兴，表示全力支持。不久，容闳自美国采购回国的机器一百多种，悉数运抵上海，曾国藩全数批交“江南制造总局”使用。虽然厂中有的是造船机器，但由于经费及技术的限制，起初只能从事枪炮军火的制造，结果成绩很好，产品与西洋不相上下。受到这一鼓舞，曾国藩、李鸿章于是决心更进一步，兼造轮船。
　　 1867年4月，曾国藩准年拨江海关洋税一成约20万两，专供造船之用。一面加聘洋人工程师及工匠，指导华工制造技能，一面责成局内委员，朝夕讨论研究，编译图书，谋求制造技术的改进。同治七年(1868)七月，第一艘局造轮船完工，费银8万两，载重300余吨，逆水时速70华里顺水时速120华里。这是中国人自己制造成功的第一艘真正近代火轮船。
　　 曾国藩亲自登轮，在长江中试航一遭，感到非常满意，命名为“恬吉”号。于是向清廷奏报造船及试航经过。清廷至为兴奋，降谕对曾国藩嘉奖备至。这一艘船是将轮机露出水面的明轮，从第二号开始，便改造暗轮。轮机、汽炉、船身及船上一切配备，完全由中国员工按图制作，外国工匠仅处于咨询顾问的地位而已。这所造船厂直到民国时代，仍在中国海军的修造及维护舰艇工作上，担任着重要的任务。
　　 曾国藩又采纳容闳的建议在制造局之下附设一兵工学堂，招收中国青年入学，学习机械工程的理论与实践，培养各种工程师人才。局中另设“翻译学馆”专译有关制造机械船炮的西书。译书的方式，多数是由局中所聘西洋人口述，然后由精通绘图和算学的华蘅芳、徐寿等加以笔录。译成的书，即交局中印刷所大量刊印，应各方需索，广为散布。
　　 同治末年，已译成书籍数十种，至光绪末年，则多达170余种。翻译的范围，也由制器船炮扩及各种自然科学与社会科学，及至军事、医药等书。国内各地对西学开始有所了解，大多数都是通过江南制造局所译西书而获得的。而这一点知识的种子，不能不说是曾国藩等人所播下的。
　　 曾国藩等人倡导并掀起的洋务运动，使闭关自守的中国看到了自身以外的世界，打开了向西方学习之门。这种开放性的措施，为借鉴、汲取西方先进的文化以及发展本国的科学技术作出了大胆的探索，刺激了中国资本主义的产生与发展，开启了中国近代工业的先河。
　　 自翦羽翼：惧势强之累
　　 在封建官场中混了几十年的曾国藩，对于清政府赐给他高官显爵自然感激涕零。但他懂得功名太盛，权势过大，特别是拥有统率12万湘军的大权，必然会遭到清廷的疑忌，同僚的嫉妒。曾国藩于是毅然决定把这支军队大量裁撤，以自削兵权的办法解除清政府的疑虑，保持已得的名位。
　　 裁撤湘军
　　 1864年，天京攻破，曾国藩让官文列于提疏之首，即有谦让之意，尤其是裁撤湘军，留存淮军。不裁湘军，恐权高震主，如裁湘军，则手中不操锋刃，他想出了一个裁湘军留淮军的策略，可知曾国藩心计之深。
　　 自湘军兵抵金陵起，曾国藩心理反应日趋于紧张忧惧。盖攻拔金陵，为全部战局首功，得失之间，关系成败荣辱。此时湘军声誉日隆，曾国藩亦勋威冠时。他小心翼翼，谨慎矜持，丝毫不敢懈怠，尤不敢稍见骄满之色，当可以“保泰持盈”四字形容曾国藩意趣。见他时时告诫诸弟，已充分流露忧谗畏讥之心情。
　　 湘军主力屯兵金陵外围，正是建立勋功良机，而曾国藩则惴惴不能自安。金陵方在进兵之始，而曾国藩竟已回思退路。即在同治元年秋冬，湘军方攻雨花台进逼金陵之际，曾国藩已作辞职准备。于十二月函商曾国荃，将钦差大臣及两江总督一概辞让，经曾国荃复书反对，始暂打消辞意。最后仍决改于两者之中辞却一席，乃于同治二年四月奏陈朝廷，旨在表明不敢贪恋权位之意。
　　 曾国荃在功名事业渐臻全盛的时候，犹还有百尺竿头更进一步的心念，这与曾国藩的忧谗畏讥，时惧盈满的想法，恰成强烈的对比。所以曾国藩在写给曾国荃的信中，要他时时以此为戒，自己更是身体力行，切实履践。他在一开始就有这种戒惧心情了。他在家书中写道若能从此事机日顺，四海销兵不用，吾引退而长终山林，不复出而与闻政事，则公私之幸也。
　　 他在削平太平天国之乱，湘军声威达于极盛之时，毅然以“湘军作战年久，暮气已深”为理由，奏请裁湘军归乡里，表示无挟军权自重的态度。至于湘军之遣散，实远在攻克金陵之前，曾国藩兄弟原即有所商讨，而非曾国藩个人之最先主张。
　　 裁军启念之机，是在金陵合围之后胜利在望，此时已可开始思考善后问题。曾国藩在致曾国荃信中，确已透露，曾国藩则表示速裁全裁，与当时郁愤之心情有关，在曾国藩家书中皆可察见二人裁军意图与构想。曾国藩毅然裁撤湘军,实际上是完全为应付那群反湘军派而起的。同治初年，曾国藩致李鸿章书：“长江三千里，几无一船不张鄙人之旗帜，外间疑敝处兵权过重，权力过大，盖谓四省厘金，络绎输送，各处兵将，一呼百诺，其相疑者良非无因。”
　　 在裁军上，曾国藩的计谋手法，自是超人一等。在战事尚未结束之前，即计划裁撤湘军。他在两江总督任内，便已拼命筹钱，已筹到500万两。钱筹好了，战事一告结束，便即宣告裁兵。
　　 曾国藩不会一次裁光。大概裁去二分之一，约3万人左右，剩下来的还有3万人。这3万人，一部分由曾国荃统率，一部分由左宗棠带往西北去了，一部分水师由黄翼升统之。其他中下级军官，转入淮军去了。实际上并未大裁特裁，清廷如果逼得太急了，曾国藩的手下有的是兵，要蛮干，大家蛮干，要曾国藩做年羹尧，他是不干的。
　　 从另一角度看，曾国藩是一个通读经史之人，他素抱“花未全开月未圆”主义，万事不要做到尽头，适可而止。
　　 他知道人间随时随地，有乘有除；他敬佩屠羊说是一个功高而不争功的人，可谓读庄子有得。“识时务者为俊杰”，所谓时务，也指时机，是客观形势和时代潮流，凡人要想成就事业，建立功勋，必须认清时务，因机而变，相时而动。如果一味死拼，不讲策略，英雄是英雄，却无人喝彩，终究一事无成，所悔晚矣。曾国藩乃晚清时代的变术宗师，岂会不明此理，他托病裁军，甚至坚忍临辱以处变。
　　 在裁撤湘军的同时，他还奏请曾国荃因病开缺，回籍调养。此时，曾国荃在攻陷天京的所作所为，一时间成为众矢之的。同时，清政府对他也最为担心，惟恐他登高一呼，从者云集，所以既想让他早离军营而又不让其赴浙江巡抚任。无奈，曾国藩只好以其病情严重，开浙江巡抚缺，回乡调理。很快清政府便批准了曾国藩所奏，并赏给曾国荃人参六两，以示慰藉。而曾国荃却大惑不解，愤愤不平溢于言表，甚而在众人面前大放厥词以发泄其不平，致使曾国藩十分难堪。曾国藩回忆说：三年秋，吾进此城行署之日，会弟甫解浙江任，不平见于辞色。时会者盈庭，吾直无地置面目。
　　 曾国藩只好劝慰他，以开其心窍：弟何必郁郁！从古有大劳者，不过本身一爵耳。吾弟于国事家事，可谓有志必成，有谋必就，何郁郁之有？
　　 在曾国荃41岁生日那天，曾国藩还特意为他创作了七绝十二首以示祝寿。曾国藩的至诚话语，感动得曾国荃热泪盈眶，据说当读至“刮骨箭瘢天鉴否，可怜叔子独贤劳”时，竟然放声恸哭，以宣泄心中的抑郁之气。随后，曾国荃返回家乡，但怨气难消，以致大病一场。从此，辞谢一切所任，直至同治五年春，清政府命其任湖北巡抚，他才前往上任。