他考中了进士，授翰林庶吉士。这也是安徽当时最年轻的翰林。李鸿章在翰林院当了一段时间编修之后，对于那种机械八股无所事事的生活方式厌倦极了，觉得英雄无用武之地。正在此时，太平天国运动爆发，朝廷的“国家军队”绿营兵腐朽日甚，不堪一击。朝廷无奈只好借助于民间的力量来“平乱”。曾国藩被派回湖南后不久，办团练、组建湘军，在阻击太平天国的战斗中屡建奇功。朝廷见这条路的势头不错，于是又派了一些京官回乡“练勇”，李鸿章与他的父亲李文安也被先后派回安徽，组织民团与太平天国打仗。
李鸿章回故乡组织民团还有个故事：李鸿章在京时，经常去一个名叫吕贤基的安徽老乡处，吕贤基时任工部左侍郎，旌德人。1853年2月，太平军从武昌顺江东下，攻占安徽省城安庆，杀死安徽巡抚。消息传到北京时，李鸿章正在琉璃厂的海王村书肆买书，听到这则消息后，李鸿章连忙找到吕贤基，怂恿他上书朝廷，调派人马夺回江淮战略要地。吕贤基认为李鸿章很有战略眼光，文笔也好，便让李鸿章代为执笔奏折。结果奏折送上之后，咸丰帝命吕贤基担任安徽团练大臣。吕贤基没想到自己竟被直接派到前线，全家人一时如丧考妣。
吕贤基情急之下对李鸿章说：“君祸我，上命我往；我亦祸君，奏调偕行。”
于是李鸿章与吕贤基一同回到安徽。
李鸿章的回乡之路并不平坦。当李鸿章回到庐州时，这片土地已是满目疮痍，昔日的诗情画意早已消失殆尽，有的，只是战争的残酷和硝烟：庐州失守，安徽巡抚被杀，李鸿章的家乡磨店也被太平军占领。李鸿章一到庐州，即忙着招兵买马，筹备与太平军的战斗。有点出乎意料的是，李鸿章的开局相当好，他很快组织了一支千余人的民团队伍，并且在巢湖一带首战告捷，这一次胜利据说还是清军在皖的首场胜仗。为此，李鸿章受到了朝廷的蓝翎赏赐，官位从七品升至六品。第二年，这个生长在祠堂郢村的合肥东乡人自小便有着很强烈的功名抱负。等到李鸿章24岁的那一年，吏部左侍郎王茂荫保奏李文安回乡“劝勉乡人，团练自卫”，李鸿章的弟弟李鹤章也从家乡来辅佐父亲。在此之后，李鸿章先后随周天爵、李嘉端、吕贤基、福济等清廷大员在皖中与太平军、捻军作战。
接下来的战斗很快变得残酷无比。不久，与李鸿章一同来安徽作战的吕贤基在舒城战败后投水自杀。第三年，李鸿章的父亲李文安，这个一直声称自己平庸无能，但却能培养出好几个杰出儿子的老实官吏在战局僵持中抑郁而死，临终时留下了“吾父子世受国恩，此贼不灭，何以为家”的遗嘱。李鸿章又接二连三地打了好几个胜仗，先是攻克含山，然后又参与攻克了庐州。朝廷为了嘉奖李鸿章，将他的官位一下子提升至四品。
一个人的成功总会引起一连串的忌妒。现在，该轮到官运亨通的李鸿章了，一些谗言开始流传，更有人悄悄打报告给上司，说李鸿章的那些功劳都是偷天陷阱。更让人恼怒的是，来安徽的满族钦差大臣胜保也参了李鸿章一本，说李鸿章贪生怕死，兵败后混杂在土匪中溃逃。类似的小报告因为明显缺乏证据，很快就不了了之。安徽巡抚福济却乘机夺走了李鸿章的兵权。不久，庐州城再次被太平军占领。1857年底，陈玉成率太平军在合肥东乡三河镇，歼灭湘军李续宾部6000余人，李续宾战死，随军的曾国华失踪。李鸿章赋闲在乡，都未得参与。在此期间写了《明光村镇旅店题壁》，抒发胸中的怨气：
巢湖看尽又洪湖，乐土东南此一隅。
我是无家失群雁，谁能有屋稳栖乌。
袖携淮海新诗卷，归访烟波旧钓徒。
遍地槁苗待霖雨，闲云欲去又踟躇。
不久，李鸿章干脆携带家眷出逃，离开了安徽，来到了江西，投奔大哥李瀚章。曾国藩得知李鸿章的去向后，连写几封信给李瀚章，让李鸿章来湘军大营。在这样的情况下，李鸿章来到了曾国藩身边。可以说，这是李鸿章在万般无奈中走出了最为幸运的一步。这样的行为是他走上人生显赫道路的开始。李鸿章在曾国藩身前左右观察和感悟到的，可以说，恰如其分地采了这位大儒的“气”弥补了自己的软肋。李鸿章的性格和气质得到了根本性的升华，为日后成就一番事业，奠定了基础。
1862年，李鸿章40虚岁，在这一年中，李鸿章终于扬起了他人生的风帆，真正地起航了。
1861年9月5日，曾国藩率领湘军收复军事重镇安庆，控制了长江中游的局势，对太平军形成了顺江而下的局面。与此同时，曾国藩的九弟曾国荃部率重兵出击，打到离南京不远的地方。从战略上说，湘军对太平军的战略形势已经由防御、僵持转入战略进攻阶段。
太平军的失势，与其说是败于湘军，不如说是败于自身的内乱。由于太平天国本身的宗教观支离破碎、一知半解，有着浓郁的迷信色彩，缺乏正确的济世理想和组织理念，这样的集团在经过短暂的成功之后，很容易将重心转移到对内部利益和权力的争夺上。攻下南京后不久，太平天国内部爆发了著名的“天京事变”，太平军产生内讧，韦昌辉刺杀了杨秀清，石达开拉起大队人马离开了天京，太平天国的军事和政治力量大大削弱。在这样的情况下，太平天国无奈放弃北上的进攻目标，由战略进攻转向战略防御。安庆失守后，太平天国更是陷入恐慌，他们一方面固守天京，另外一方面把进攻方向转向了富庶的上海一带。这样的行为，很明显不是以取得政权为目的，而是退而求次，准备与清廷各霸一方。1860年，太平军二破江南大营，前锋直指上海。
在沪的江南士绅、买办慌了，他们紧急筹备“中外会防局”，希望西方列强出面干涉，同时选派曾是李文安、曾国藩“同年进士”的钱宝琛之子钱鼎铭，携冯桂芬起草的书信抵达安庆，泣请曾国藩发兵救援。曾国藩大为动容，一连几天与李鸿章商量发兵之事。洞察力惊人的李鸿章向曾国藩提议，应该派重兵深入到上海地区，从东面对南京形成包夹之势。
曾国藩听从了李鸿章的意见。最初，曾国藩是准备让九弟曾国荃领兵东援的，但曾国荃以为攻克天京首功在即，不愿前往上海。曾国藩又考虑着起用湘军名将陈士杰，但陈士杰以母亲老迈力辞，不肯出山。经过反复考虑之后，也因为湘军招募兵士跟不上，曾国藩决定给李鸿章一个机会，他一方面亲拟片稿，力挺李鸿章担任江苏巡抚；另外一方面，曾国藩派李鸿章火速就近在合肥一带招募人马，组建淮军，准备挺进富庶的长江三角洲。
李鸿章像一条潜龙一样终于等来了机会。他知道，这是一飞冲天的时候了。李鸿章立即行动起来，他写了很多信，首先通过父亲李文安当年的旧部张树声招募了合肥西乡三山诸部团练。接着，又通过前来安庆拜访的庐江进士刘秉璋与驻扎三河的庐江团练头目潘鼎新、吴长庆建立联系。潘、刘自幼同学，又同为李鸿章父亲李文安的门生；吴长庆的亡父吴廷香也与李文安有旧交，自然一呼而应。与此同时，李鸿章还命令三弟李鹤章回合肥故乡招募旧部团练，响应投军的有内亲李胜、张绍棠，昔年好友王学懋等，以及父亲李文安的旧部吴毓兰、吴毓芬等（这些东乡团练与西乡周盛波、周盛传兄弟的“盛”字营，均属第二批成军的淮勇，后由陆路陆续开赴上海）。短短几个月时间里，李鸿章即招兵买马数千人
