首批淮军四营抵达安庆。他们是张树声、张树珊、张树槐、张树屏兄弟部；刘铭传部；潘鼎新部；吴长庆部。依次组成“树”、“铭”、“鼎”、“庆”字四营。当新组建的淮军齐刷刷地列队于曾国藩面前时，曾国藩大喜过望，他召见各营将领加以考察，并亲自为淮军订立规章制度。因为担心新建的淮军兵力单薄，曾国藩还从湘军各部抽调兵将，慷慨地交给李鸿章。他们分别是：张遇春部“春”字营；李济元部“济”字营；程学启部“开”字两营；滕嗣林、滕嗣武新勇“林”字两营；陈飞熊部“熊”字营；马先槐部“垣”字营。并将韩正国、周良才亲兵两营送给李鸿章作为“赠嫁之资”。其中，以桐城人程学启部“开”字两营士卒多系安徽，打起仗来非常剽悍。这样，李鸿章初建的淮军，就有了14个营头的建制（每营正勇505人，长夫180人，共685人）。1862年3月4日，曾国藩在李鸿章的陪同下，检阅了在安庆集结的淮军各营。随后，李鸿章又利用了上海士绅的财力，花银18万两雇用了英国商船7艘，将9000淮军分批由水陆运往上海。当淮军分乘7艘船从长江上顺江而下，迎迓着长江温湿的春风的时候，李鸿章知道自己青云直上的机会真正到了。
李鸿章和淮军初到上海之时，由于这群来自乡下的兵勇衣裳褴褛，自由散漫，粗话连篇，当地的士绅很是颓唐失望。李鸿章却胸有成竹，他知道这支队伍的战斗力，对这支队伍充满信心。淮军抵达上海之后，李鸿章一方面整肃军队，去除军队的散漫习气；另一方面，由于在上海见识了洋人军纪和武器的厉害，李鸿章很想借鉴和学习洋人军队的一些做法。为了解洋人军队的情况，李鸿章甚至化装溜上了洋人的军舰。这一看真是让李鸿章感到震惊，李鸿章顿时明白泱泱华夏之所以败给西洋小国的原因了，那是因为洋人部队纪律严明，训练有序，整体化和科技化程度高。这一次见识让李鸿章感受颇多，他暗下决心，要学习西洋人军队的战争方式，购买洋人的武器来对付太平天国。李鸿章说学就学，他立即动手聘请了洋人担任自己部队的教官，并通过大哥李瀚章，向洋人火速购买了3000杆洋枪，充实自己的淮军。
不久，李鸿章的淮军在上海与太平军打响了第一仗。对于此仗，李鸿章做了精心的准备，虽然他一直对于自己的子弟兵有足够的信心，但进入上海的第一仗关系到自己的声望，关系到这支部队是否能在上海站住脚，甚至关系到整个战局的发展。这一场遭遇战打得惨烈无比，太平军在忠王李秀成的率领下，共有数万人进攻上海，交战的地点就在现在西郊一带。据说，在战斗呈胶着状态之时，李鸿章搬来一把椅子往虹桥桥头一坐，亲自督战。太平军用上了火炮，火力非常猛。淮军“春”字营的张遇春部上去没多久，就顶不住了，队伍渐渐退却下来。张遇春刚跑到桥边，正好撞到李鸿章，李鸿章厉声说道：“拿把刀来，把他的头砍了！”吓得张遇春赶忙率众掉转方向又跟太平军去拼命。
战局如火如荼之时，神奇征兆降临——淮军大炮齐发，随着炮响，上海上空突然乌云密布，一场大雨倾盆而下。一向迷信的太平军心理突变，仓皇撤军，慌不择路，自相践踏，死者无数。李鸿章大获全胜。首战告捷，淮军信心爆涨，李鸿章更是踌躇满志。
西郊大捷使整个上海滩瞠目结舌。接下来的8月和10月，李鸿章带领淮军与太平军又正面交锋两次，是由淮军中骁勇善战的刘铭传部和程学启部对太平军的谭绍光部，地点分别是上海西区的北新泾和更外围一点的四江口。刘铭传和程学启都是淮军中有名的猛将，他们打起仗来有一股不要命的劲头。这时候，刘铭传部已在李鸿章的授意下，有了自己的洋枪队了，这更让刘铭传如虎添翼。这两场战斗都获得了大胜。半年之内，三战三捷，不仅使李鸿章在上海站稳了脚跟，也为淮军赢得了相当好的口碑，中外人士不由得对李鸿章和淮军刮目相看。淮军的实力不断壮大，半年之内就迅速扩展至50个营，部队增至2万人。此后，淮军更是急剧膨胀，至攻打天京前夕，总兵力已达7万余人。
有了舞台之后，李鸿章的才干充分显露出来。初步站稳脚跟后，李鸿章从“察吏、整军、筹饷、辑夷”各事入手，积极招揽人才，巩固自己的地位，李鸿章起用了郭嵩焘、丁日昌等一批务实肯干的洋务派官员，建立了以务实干练、通晓洋务为基准的淮军幕府。在军事上，李鸿章正式确立向西方军队学习的目标，在淮军中大规模装备洋枪洋炮，雇请外国教练指导训练，将西洋阵法、号角、口令引入淮军。一开始，那些土里土气、缺乏文化的农民兵并不懂得如何使用洋枪洋炮，李鸿章就让外国教官手把手地辅导。有一次，还发生了在演练中走火引爆弹药炸死20多人的事故。但李鸿章对于学习和改变坚定不移，他说，做任何事都要付出代价，等练到射击百发百中时，便会无坚不摧。
1862年李鸿章的“杀降事件”曾经引起轩然大波。这一年，李鸿章在与太平军的交战中节节胜利，到了年底，李鸿章率淮军发起收复苏州、常州战役，与太平军经过反复激战后，淮军攻克常熟、太仓、昆山等地。在初步扫清苏州外围的障碍后，元宵节刚过，李鸿章制订了三路进军的计划，中路程学启统率，由昆山直逼苏州；北路李鹤章、刘铭传从常熟进攻江阴、无锡；南路则下攻吴江、平望，切断浙江太平军增援的道路。1863年7月，程学启部兵临苏州城下，太平天国忠王李秀成率军从天京赶来救援，与北路淮军大战于无锡大桥角，太平军失利。
这个时候，苏州太平军守将纳王郜永宽等发生动摇，与程学启部秘密接洽，准备投降。程学启将此情况报告给李鸿章，李鸿章承诺对郜永宽等加官封爵，不解散他们的部队，整体划归淮军。李鸿章为了消除郜永宽等“八大王”的疑虑，还让洋枪队统领戈登出面，对承诺作了保证。不久，郜永宽等杀死守城主将慕王谭绍光，开城投降。淮军入城后，太平军八降王仍心存疑虑，率部屯居半城，要求李鸿章兑现承诺，不愿剃发解除武装，索要官衔及编制。李鸿章当机立断，采纳程学启的建议，先下手为强，诱杀了八降将。
后人曾这样描述这一段血腥的场面：李鸿章在苏州娄门外军营会见并宴请郜永宽等人，“甫就席，有军官自外入，投谍李公，李公就谍出。酒行，旋有武弁八人，各手一冠，皆红顶花翎，膝席前，请大人升冠。降酋不知是计也，竟扬扬得甚，起立，自解其额上黄巾，手冠者俟其侧，从官尽起，目注之。转瞬间，八降酋之头血淋漓，皆在武弁之手”。
杀了“八大王”之后，程学启立即派兵汹涌地闯进苏州，“无门不破，无处不搜，无人不魄飞天外”，据说，仅在城内双塔寺庭院内，就杀死太平军3万人。
李鸿章苏州杀降事件在当时引起了很大风波。人们纷纷议论李鸿章心狠手辣，将他与历史上的白起和项羽相比。洋枪队“常胜军”统领戈登也非常不满，认为此事污辱了自己的名声，提着手枪到处寻找李鸿章，要杀李鸿章泄愤。李鸿章一度非常尴尬，他在给母亲的书信当中说：这件事情虽太不仁义，但因为攸关大局，确实是不得已而为之。曾国藩接到李鸿章的报告后，虽然在内心当中也认为李鸿章心狠手辣，但还是写了一封信，对李鸿章安抚了一番。
好在朝廷很快降旨，宣称李鸿章所做的不仅无不妥，而且还做得很好，这才把事件平息。
1864年，曾国藩的湘军攻下天京，轰轰烈烈的太平天国运动失败。朝廷封李鸿章一等肃毅伯，赏戴双眼花翎。这一年，李鸿章41岁，开始步入他人生的高峰期。此后，李鸿章一直青云直上，几乎每隔一两年，他都能加官晋爵——1865年，李鸿章被任命为两江总督；一年之后，他又接替曾国藩任钦差大臣，督办剿捻事务；1867年，剿捻即将结束，李鸿章被任命为湖广总督；1868年，李鸿章加太子太保衔，并升授协办大学士，入京受到慈禧太后的接见，允其在紫禁城骑马，以示恩宠；1870年，李鸿章接替曾国藩任直隶总督兼北洋通商大臣；1873年，李鸿章被授武英殿大学士；1874年，李鸿章被改授文华殿大学士。清廷不设丞相，以文华殿大学士为首辅。在荣升文华殿大学士后，李鸿章曾得意地自撰楹联“已无朝士称前辈，尚有慈亲唤小名”。在当时朝中要臣中，李鸿章算是最为年轻的了。维新变法失败后，慈禧对“四朝元老”李鸿章特加恩遇，赏赐他“方龙补服”，即其穿着的官服允许有龙的图案，如此殊荣，何等显赫！当年李鸿章10首《入都》诗当中有一首：“世路恩仇收短剑，人情冷暖验笼纱；倘无驷马高车日，誓不重回故里车。”到了40岁这一年，李鸿章少年时的志向完全实现了，他完全可以放心裘马锦衣，荣归故里了。
可以说，从一个乡下的布衣青年，最后成为朝廷的重臣李鸿章完全是靠江淮之间这块地方发家的。李鸿章也深知这一点。在发达之后，李鸿章一直舍不得这个地方，李氏家族不仅在合肥一带大量购田置产，连死后，也要将尸骨埋葬在这里。李鸿章的母亲，也即李文安的夫人在北京去世之后，也专门将灵柩从北京经过大运河辗转运回，与李文安合葬在于湾村。在这一带安葬的，除了李鸿章外，还有李鸿章的兄弟李瀚章、李鹤章等
