有一个说法是：有天，曾国藩忽然接到次日进宫召见的谕旨，当晚先在穆彰阿府中安歇。第二天应召到了皇宫某殿，却发现该处并非往日等候召见之地，结果等了很久，部无召见之事，只好悻悻回到穆府，准备翌日再去应召。晚上，曾国藩谈及此事时，穆彰阿问道：“你有否见到壁上所悬的字幅吗？”曾国藩无以回答。穆彰阿为他懊悔，连声说道：“坐失良机，坐失良机，可惜！可惜。”他反复思想了很久，就唤心腹家丁过来，偷偷地关照：“你拿四百两银子去找内监某某，请他速去某殿，就是点着蜡烛也要将壁上所写的字幅抄录下来，这四百两就是给他的劳务费。”第二天清晨，曾国藩觐见皇帝，皇帝所问及的就都是壁间所悬挂的先代皇帝语录。曾国藩对答如流，奏对得体。皇帝极为高兴，对穆彰阿说：“你曾经说过曾国藩此人遇事留心，诚然。”
所以做官升官是要抱好大腿。曾国藩总算找准了门路。
当然，曾国藩更是有才学。十年京官，他交结了不少朋友，人以群分，这些人也多是有才学的，如邵懿辰、郭嵩焘、何桂珍。他们讲究实际，经常商及国家政治大计、经济得失，有时还联系实际进行考察，如曾国藩在工部侍郎任上，就研究舆地学，对各地地理设置非常注意。
曾国藩以读书为本，居官操守廉洁，生活俭朴，为此并以“求缺于他事，而求全于堂上”为勉，自书自居为“求阙斋”。
鉴于长期的与各界人士交往，使曾国藩具备有善于识人、知人善任之才干。
有如江苏忠源不拘小节，“任侠自喜，不事绳检”。曾国藩和他作了几次闲谈，认为他颇有才干，说“是人必立功名于天下，然当以节义死”。塔齐布是绿营游击，曾国藩发现他每次训练士卒，必自执旗指挥，虽然暴风骤雨。亦如同平时，就认为他出类拔萃，大加信用。此外如湘军名将鲍超、杨载福出身行伍，彭玉麟是一个穷秀才，曾国藩在他们穷途潦倒时，就发现他们都是将才，加以提拔、选任。相传，李鸿章组建淮军时，带着刘铭传、潘鼎新等四个部属去叩见曾国藩。曾国藩躲在屏风后观察，故意迟迟不见，等了多时，他人只得耐心，而刘铭传就不耐烦了，即离开座位走来走去，大骂山门。曾国藩看在眼中，后来他对李鸿章说：四个都是将才，而此人（刘铭传）更是帅才，切不可等闲视之。后果应验。
曾国藩确有他的人才鉴定，讲实学，多以诚朴为准，比如他所定的湘军带兵之人，须具备所谓的四条标准：（一）才堪治民；（二）不怕死；（三）不急名利；（四）耐辛苦。所以湘军统兵的营官，多数是读儒书的知识分子和绿营偏裨。他们是湘军的骨干。
因而在他任两江总督期间，幕府人才之盛，湘军将帅之精，据统计后来得以成名的就有182人，其中做到一二品官的，即总督有十四人，巡抚十三人，提督、总兵各有二十人。
这是一个集人才的群体，因而湘军前期在与太平军作战时虽然是屡战屡败，却能屡败屡战，败而仍能凝聚不散。
1852年7月，太平天国进军湖南时，曾国藩被派为江西正考官出京，中途得悉母丧回到湘乡老家。翌年初，咸丰皇帝因武昌失陷，采纳周天爵意见，命湖南和山东、江苏等九省在籍官绅、曾任二三品文武官举办团练。曾国藩是最早从湖南巡抚张亮基处接到谕旨的，开始他推卸，但经好友郭嵩焘和兄弟曾国荃等劝说，终于应邀到长沙筹办团练。
曾国藩到了长沙，就提出要设一大团，把周边各县农民，择其壮健而又头脑单纯的招募来省城编队训练；他还成立了所谓的“审案局”，拿到造反农民；即使有造反嫌疑的，也不作审讯，就借巡抚令旗，重则斩首，轻则亦立毙杖下。他主张对付任何造反的民众，只有用杀才能干净利落。所谓是官府杀人不必据守常例，乡绅捕人不必一一报官，无限止地扩大杀人权限。其中多遍及无辜。据说曾国藩办团的第一天，带领团丁外巡到某村，见有买桃人和卖桃人争吵，问讯原因，买桃人说，我已付了钱，他说没有付。卖桃人说，他没有付钱，想赖我桃子。经审明后。乃是卖桃人说谎。曾国藩命团丁将他捆缚立即杀头。
非杀何以立威，曾国藩就奉行了这样的信条，也为其他官衙和团练做出榜样。
杀人如草不闻声。因而他被称为“曾剃头”、“曾屠胡子”，意思是杀人如剃头发、剃胡子。
曾国藩的作为，咸丰皇帝却极为赞赏，说是“办理土匪，必须从严，务期根株净尽”。
曾国藩的两重性人格，诚朴和残忍兼而有之，王道和霸道交替使用，他的手段高明、认识睿远，这是太平天国远远不能及的。洪秀全、杨秀清等人从此遇到了最强大的对手。
曾国藩写了《爱民歌》和《水师得胜歌》、《陆军得胜歌》，要士兵天天背诵，能说能唱。
曾国藩久历官场，明察时弊。
当时像他那样有经历有识见的高级官员是不多的。
他深知大清王朝的军事支柱绿营已经腐败，所谓是将与将不和，卒与卒不习，胜则相忌，败不相救，各怀携贰，离心离德，因而在与太平天国作战两年有余，所消耗军饷不可说不多，调集将士不可不众，而往往未战先遁，从后尾追，而从来没有与之拦头一战的。所以他要建立一支新的武装部队。
它就是后来人称的“湘军”。
曾国藩的湘军，纯属私人军队性质。湘军只听命于曾国藩。他亲自选拔、擢用与己有关的血缘、亲缘、乡缘和业缘等关系的亲戚故旧、同乡好友、师生门徒出任各军统领、营官。如罗泽南、胡林翼、左宗棠是学友；彭玉麟、李鸿章是门生；湘军高级将领，仅鲍超是四川奉节人。鲍超出身行伍，因在重围中拼死救出胡林翼，由此受到青睐。他所率领的霆军，也被曾国藩视为湘军正宗部队。
湘军基层也很讲究地域观念。曾氏兄弟的直属部队，尤讲究籍贯。曾国荃的吉字中营，不仅是选用湘乡人，且尽用以曾家大院周边十里内的人丁，同乡风俗习惯语言相近，不易隔膜，而更大因素是便于指挥、调拨。曾国藩还规定凡当兵的，都须取具保结，造具府、县、里居、父母、兄弟、妻子、名姓、箕斗清册，各结附册，以便清查，便于控制。所以湘军作战，即使面临困境，也从未出现有临阵叛变的。
曾国藩也很懂得政治宣传传媒的功能。
1854年，湘军出省作战，曾国藩写了《讨粤匪檄》，向太平天国宣战。
《讨粤匪檄》是很有煽动性的。它以“名教”、“人伦”为名，号召全国地主士绅和其他民众群起为“卫道”而战。说太平天国所过之地贫富都受洗劫，被掳者银钱满五两不献出即斩首，妇女不肯放足者即斩其足；又说太平天国崇洋教，弃孔子，将中国几千年礼义、诗书扫地荡尽，还说太平天国到处破神像，毁庙宇，甚至孔庙学宫、关帝岳王，都要焚毁，所谓“无庙不焚，无像不灭”。以此挑动人们对太平天国的仇视。
太平天国领袖们讲究天父上帝，神化自己，如醉如痴，真是走火入魔，他们企图用自己织编的基督教文化替代中华固有的本土文化，这种愚昧、无知，致使当时的人们，只要稍有些文化常识，也会认为是幼稚得可笑。这就为曾国藩代表的卫道者钻了空子。
《讨粤匪檄》也是湘军的政治总纲。它用维护封建伦常组织湘军，也用它攻击、否定太平天国的制度和政策。
为了战胜太平军，曾国藩也很注意湘军基层士兵的伦理教育，他要士兵知道自己是在卫护封建秩序而战。由此，作为一代大儒的曾国藩，竞为士兵需要，编写了《爱民歌》。在湘军建立水师、陆师后，他在南昌又写了通俗易懂易记的《水师得胜歌》、《陆师得胜歌》，要士兵天天背诵，能说能唱，以此宣扬湘军的优势，鼓动他们勇敢作战。赖汉英因主持围攻南昌九十三天，师劳无功，耽误了西征战略部署，被调回天京革职。
1853年，太平天国在派军北伐同时，又派军西征。
西征的目的是为巩固天京安全，夺取安庆、南昌、庐州（合肥）和武昌等长江上游重镇。
本年5月，由春官正丞相胡以晃、夏官副丞相赖汉英和检点曾天养、林启容、陈宗胜等首批西征军，乘船千艘，溯江而上，先后占领安徽和州、芜湖、安庆等地。当时太平军水师有绝对优势，所谓是往来如飞、飘忽莫须，江面上几乎看不到清军的一舟一筏。
6月，西征军由胡以晃、陈宗胜等留守安庆；赖汉英等万余人继续乘船向江西省会南昌挺进，先后攻占江西彭泽、湖口，横渡鄱阳湖。所到之处，当地民众箪食壶浆，送来钱米，前来犒师，使西征军不须运输，不事野掠，足可保证行进。西征军纪律严明，受到沿途民众拥护，南康府民众还将知府恭安、知县罗云锦捆绑了，押送前来。
6月24日，西征军直扑南昌城下。南昌守兵仅千人，江西巡抚张芾见战火逼近，飞檄请求正在九江、拟赴援安徽庐州的已升任湖北按察使江忠源前来解救。江忠源来不及向北京请示，即率军三昼夜疾走四百里，先于太平军前两天到达南昌，与张芾和办理团练的在籍刑部尚书陈孚恩合力防守，全城兵力有五千人，由江忠源统一指挥。
江忠源进入南昌后，对全城作了严密布防，将自己的军队布防在首当其冲的德胜门和章江门，他白日巡城，夜间宿在谯楼，且为整顿军纪，将怯战缒城逃跑的兵勇格杀不论，还将附城民房尽数焚毁，以至将壮丽的滕王阁也夷为平地了。
西征军抵达南昌城下时，方知江忠源部队已抢先一步，立即组织攻城战斗。江忠源在城头督战，强烈的炮火把他的随从都打死了，仍督军不退。几天后，江忠源还分军出城反扑。西征军多日攻城不下，便下船于德胜门、章江门外立栅筑营，开挖地道，深埋地雷。7月9日，德胜门月城地雷爆发，炸塌城墙六丈余，攻军蜂拥而上，江忠源弟江忠济督军几百奋力堵住缺口，破城未遂。
在此期间，西征军多次深挖地道，但又多次为江忠源指挥守军灌水破坏。
7月底，西征军又用地雷炸毁德胜门、章江门城墙二十丈，仍为江忠源率军堵住缺口。
杨秀清闻悉南昌久围不下，由天京派出第二批西征大军，由国宗石祥桢、韦志俊、石镇仑等率领溯江而上，沿途多有民众参加部队。太平天国后期的名将陈炳文、汪海洋都是在此时分别参军的。
陈炳文当时是芜湖茶馆的一个跑堂，他气力过人，可以用一只手抡起满装二三十斤的开水壶，对准碗口浇茶，远距一二尺，了无一失；汪海洋小名二虎，家贫，浪迹江湖，在安徽定远山中为盗。这时来到和州，与兄弟、同伴投奔太平军，隶国宗石镇吉部。
8月4日，第二批西征军二万余人来到南昌城下，与赖汉英合力攻城，仍未得手。于是西征军分出一军，由曾天养带领在南昌周边地区，攻城掠地，堵截敌援。
曾天养勇敢善战，先后攻占丰城、瑞州（高安）、饶州（波阳）、景德镇等州县，各地会党团体，农民造反队伍纷起响应。曾天养军从占领区获得几万石糟粮和军需物质，大力支持了南昌西征军，还源源不断运往天京。曾天养因为作战神速，由此获得了“飞将军”绰号。同年10月，他在安庆被晋升为秋官又正丞相。
南昌久攻未下，而清方援军陆续到达南昌，再要夺取更是困难了。杨秀清便下令撤围南昌。
9月24日夜，西征军扬帆北去，占领九江，由林启容镇守，石祥桢、韦俊等率军进军湖北，开辟新战场，赖汉英就因主持围攻南昌九十三天师劳无功，耽误了整个西征战略部署，被调回天京，革职，命入删书衙删改六经。
因为将杀“吕妖”误听为杀“女妖”，很多妇女就被莫名其妙地惨遭杀戮。
南昌城下，太平军鏖战正急时，石达开已由天京来到安庆，主持安徽战事。
石达开很有战略思想，他认识到安庆地居天京上游，位置极为重要，就努力经营，把城墙加高五尺，周边普筑炮台、望楼，分兵把守，安庆就此成为天京上游第一重镇。
为了巩固安徽地区，石达开还在占领州县推行乡官制度，所谓乡官就是在乡镇也按军队编制，五家为伍，二十五家设一两司马，百家设卒长，以上设旅帅、师帅和军帅，对民众作军事化管理，亦农亦兵，兵农合一。各级乡官直接包办了所属民众的衣食住行，生老病死。太平军每到一地，就设立乡官制度，挨家挨户登记造册，制作门牌，这份门牌对每家的人口、姓氏、性别和户主关系都分别作有详细记录，它其实就是贴在门上的“户口簿”。乡官和门牌，在中国过去是没有的，它正是太平天国农民的创造思维结晶。
一要巩固，二要发展。当西征军由南昌回撤后，分军两路，东路由胡以晃为主帅，向庐州（安徽合肥）进发。
庐州是清王朝在安庆失陷后所设的临时省会。
胡以晃凯歌行进，由集贤关、练潭攻取庐州南面的桐城，击溃侍郎吕贤基所办的团练；胡以晃愤于吕贤基的顽抗，当夜进城时就传令搜杀“吕妖”。传令官一层层地传令下去，“吕妖”竞被误听为“女妖”了。
于是，第二天拂晓，居民还多在睡梦里，很多妇女就被搜获，莫名其妙地惨遭搜捕杀戮，到正午发现差错下令封刀时，无辜妇女已有三千五百多人死于刀下。战争的残酷，倒霉的仍是民众。
太平军乘胜攻打庐州。
新任巡抚江忠源闻讯抱病自六安州星夜赶到庐州。两天后，胡以晃大军才赶到，分兵围攻庐州七门。江忠源亲临城楼督战，晚间也睡在水西门上，他还特制了一面“迅扫妖气”的红底黑边大旗，号令全军，稳定人心。
胡以晃下定决心要攻下庐州，在围城外遍筑木城土垒，向城里发射炮弹。庐州守军主要是江忠源带进城的一千多名湘军和临时招募的乡勇。江忠源向各处求援，各处清军纷纷前来，其中有江南大营的总兵和春和江忠源的兄弟江忠溶。太平军士气旺盛，他们都无法接近庐州城墙。
江忠源严加防守，但庐州知府胡元炜却动摇了。
胡元炜和太平军谈判，打算开门投降。
对于胡元炜的投降，转变立场，有几种说法：一说是因为受到江忠源讥讽；江忠源是听了胡元炜说庐州兵饷已办齐始敢进城的，但却发现并非如此，很不高兴，就假胡元炜身胖，揶揄他说，“你既如此多虑，何以仍长此一身的肉？”也有说江忠源点卯，发现胡所部练勇应有五百，实数却只有一百五十，由此延及；另说是胡元炜捐官的银子，原是太平军给他的，他是因此而献城的。但无论如何，像胡元炜那样的四品知府打出白旗，主动投降，这在太平天国时期是罕有的。
经过三十四天激战，太平军终于夺取了庐州城。
江忠源由亲兵护卫出奔，途中拔剑自杀未成，至金斗门抽隙跳池自杀。
几天后，胡以晃得意洋洋举行了隆重的人城仪式：
开道的是四五十个骑马的军官，一式黄巾黑衫青裤，每人前张黄伞，紧跟的是仪仗队，有杏黄绸蜈蚣旗十对，白心红边，中嵌黑白相间太极图的方旗五对，丈高阔大黄布旗十对，上有胡以晃的官衔，接着是大锣四面，打二十四锤，吹手两班，锣鼓四班，黄绣龙旗一把，在无数刀枪簇拥下，胡以晃乘着八人抬的大红绸绣花玻璃大轿。胡以晃白面有须，戴似财神用的帽式，穿无领大袖红绣花袍，足登缎靴。轿后所跟四五十名军官，亦是一式黄巾，着黄马褂红绸裤，每人持蓝绸旗；胡以晃后，是曾天养，也是坐轿，旗帜仪仗。
太平天国的各级官员非常讲究自己的身份，为了要达到让大家都知道他持有的身份显赫、特殊，最引人注目的就是突出表现在日常生活的衣食住行。
