鹹豐五年二月，信州告急，李續賓與羅澤南公從潯陽火速馳援，接連攻克廣信府城及弋陽等四縣。剛平定東路，便決定西援武昌。先在義寧大獲全勝，後在通山小遇挫折，繼而攻下崇陽，奪取通城，突破羊樓峒，直搗蒲圻，收複鹹寧，一路勢如破竹。最終於十一月底，率軍抵達武昌城下。
湖北巡撫胡林翼欣喜萬分，無論大小事務都隻聽羅澤南公與李續賓的意見。羅澤南公總攬全域性，而具體的作戰方略全由李續賓決斷。李續賓為人寬厚深沉，謙遜不張揚，即使在眾人聚集的場合也終日寡言。每逢作戰，總是派他人攻打敵軍薄弱處，自己則迎戰精銳；分配糧餉軍械時，將精良的讓給他人，自己隻取粗劣的。因此將士們對他心悅誠服，遠近之人都對他敬慕有加。
鹹豐六年三月，羅澤南公中槍殉國，李續賓接掌全軍，將士鬥誌更加高昂，一舉剷除武昌城外敵軍堡壘，擊退石達開率領的援軍。隨後沿城挖掘壕溝，引江水灌入湖中，以長圍之法困住守敵。十一月，再次收複武昌、漢陽兩城。鹹豐帝嘉獎其戰功，加授佈政使銜，記名以按察使任用。不久後，李續賓率軍東進，再次兵臨九江城下。九江守將林啟榮治軍嚴明，深得軍心，城內與小池口、湖口、梅家洲等城相互策應，城外又與安徽廬州一帶的太平軍互為聲援。
李續賓在挖掘長壕圍困九江的同時，又分兵支援江北戰場，派船隊載奇兵夜襲湖口後方。黎明時分，水師主力趕到，埋伏的陸軍同時出擊，一舉攻克湖口、梅家洲兩城。捷報傳至京城，朝廷授予他浙江佈政使之職。次年四月，終於攻克九江，全殲守敵，天下為之振奮。朝廷賞賜黃馬褂，加授巡撫銜。李續賓每立戰功，必獲升遷，數省官民都歡欣鼓舞，如同自己獲得榮耀一般。人們傳頌他的戰績以為樂事，聲名遠播海內外。
當時在京城任職的浙江籍官員上奏，請求朝廷調派李續賓率軍東進救援浙江危局。但湖北巡撫胡林翼認為安徽戰事吃緊，建議留李續賓部繼續經營皖省以鞏固湖北防務。鹹豐帝采納了胡林翼的建議。於是李續賓整頓軍隊進入安徽，一個月內連續攻克潛山、太湖、桐城、舒城四縣。當部隊進駐三河鎮時，一舉摧毀了九座太平軍營壘。此時太平軍將領陳玉成等率援軍從四麵趕來，切斷了清軍糧道。
清軍士氣日漸低落，兵力不足且半數潰散。李續賓率軍激戰整日，自知局勢已不可挽回。當夜，他策馬衝入敵陣，力戰身亡。時為鹹豐八年十月初十日。其餘將領仍堅守營壘，三日後全軍覆冇，六日後桐城守軍亦被擊潰。此役前後戰死者近六千人，無一人投降求生。
奏報送達朝廷，鹹豐帝深感悲痛。親自下詔說：“痛失良將，竟不能善終！但願他的忠魂不滅，來世再如周宣王時的賢臣申伯、仲山甫般輔佐朕躬。”追贈李續賓為總督，在湖北、江西、安徽、湖南四省建立祠堂祭祀，賜諡號“忠武”，授予騎都尉兼雲騎尉的世襲爵位。
李續賓的先輩世代皆有美德。曾祖父李本桂、祖父李詩白，都因李續賓的功勳被追贈為榮祿大夫。父親李登勝，在李續賓殉國後蒙皇恩特加封為光祿大夫。曾祖母張氏、賀氏、王氏，祖母戴氏，母親蕭氏，均被追封為一品夫人。
李續賓為人莊重敦厚，關愛他人卻不尚空談，情意流露於神色，更勝於言辭。即便是其他部隊的將士，或是逃難的百姓，都像對待父兄般敬重他。聽聞他戰死的訊息，眾人無不痛哭哀悼，悲慟之聲令人不忍聽聞。同治二年，朝廷派遣官員前往祭奠。同治三年，清軍收複南京後，朝廷推恩封賞有功之臣，追授李續賓二等輕車都尉世襲爵位。其妻謝氏受封夫人。李續賓育有三子，其中兩人在戰亂中傷亡。
李光久（李續賓之子）被皇帝特賜舉人功名，經引見後授六部員外郎之職，又因兼襲兩代世職，晉封為男爵。其孫二人，名某某。鹹豐九年，將李續賓安葬於湘鄉四十三都黃牯衝星子山南麓。同治八年某月某日，改葬於某鄉某山，其家人請我為墓道碑撰文。我既已簡述其戰功，更當記述其美德並作銘文。銘文曰：
器有洪纖，因材而就。
（器物自有粗細之分，皆因材質而成。）
次者學成，大者天授。
（尋常之人勤學可成器，大才者則天賦異稟。）
嶽嶽李公，表裡完好。
（巍巍李公，德才兼備內外兼修。）
匪琢匪追，動合大道。
（不假雕琢不待追摹，一言一行皆合天道。）
羅公講學，遠紹洛閩；公分其緒，摳衣恂恂。
（當年羅澤南公講學，遠承程朱理學真傳；李公得其衣缽，執弟子禮恭謹求學。）
出而禦寇，戎馬艱辛；入而問道，克己求仁。
（出則為國禦敵，曆經沙場百戰；退則修身悟道，恪守克己複禮。）
誰侮誰尤？責躬獨厚。
（何曾怨天尤人？唯以反躬自省為務。）
胸劈眾流，曾不出口。
（李公胸襟似海，能容百川卻從不自矜。）
負重含汙，浩如山藪。
（忍辱負重，氣量如高山大澤般深廣。）
險趨人先，利居眾後。
（每逢險境必身先士卒，見有利益則退讓同僚。）
豈無贏財？不阜我私。
（豈是囊中羞澀？分明不貪私財。）
不忍己飽，而人獨饑。
（見不得自己飽食而他人捱餓，）
分餉諸軍，蘇槁噓骴。
（常將俸祿分餉三軍，使枯骨得潤，餓殍回春。）
返自潯陽，少憩武昌。
（自九江班師，暫駐武昌時，）
將請於朝，覲親還湘。
（本欲上奏朝廷，乞假歸鄉省親。）
王事有嚴，離局匪遑。
（奈何軍務緊急，不敢擅離職守。）
斯願不遂，茹涕暗傷。
（此願未酬，唯有暗自垂淚。）
遣將分兵，助我東征。
（李公調兵遣將助我東征，）
擇良而予，出以至誠。
（擇其精銳儘數相贈，赤誠之心天地可鑒。）
四分五剖，精銳星散；
（所部兵馬四分五裂，精兵強將儘付他人，）
自攜部曲，疲羸居半。
（自領部卒卻多是疲弱之師。）
損己濟物，近古無倫。
（這般損己利人的胸襟，古來罕有。）
終焉師熠，以仁隕身。
（最終三軍隕落，仁者殉國。）
行類大愚，乃動鬼神。
（看似愚直的行止，竟能感天動地。）
公功久著，爛若三辰。
（公之戰功彪炳千秋，如日月星辰永耀天穹；）
德或不顯，考此銘文。
（公之德行縱未彰顯，此篇銘文足為明證。）
李勇毅公神道碑銘
李續宜，字克讓，號希庵。兄弟五人，其兄李續賓（諡忠武）排行第四，續宜最幼。我已為忠武公撰寫墓誌銘，此處不再贅述其家世。續宜年少時便好深思，刻苦鑽研，能洞察精微之理。師從羅澤南（諡忠節），常以不能身體力行為恥。
鹹豐三年（1853年），羅澤南招募鄉勇救援江西，李續宜隨軍參戰，因戰功逐步升遷至知縣、同知，獲賞花翎，但名聲尚未顯揚。鹹豐六年（1856年）冬，湘軍再次收複武昌、漢陽。湖北巡撫胡林翼（諡文忠）上奏朝廷，稱李續宜立有戰功，隻是其功績被兄長李續賓的威名所掩蓋。朝廷下詔，以知府銜選用，並加授道員銜。此後，他隨兄長李續賓圍攻九江。
鹹豐七年（1857年），李續宜因事到瑞州軍營中見我，隨後便與諸將合兵圍攻瑞州。恰逢皖北大批賊匪北上竄犯蘄州、黃州，李續宜當即從瑞州率領一千七百人回師救援湖北。軍隊抵達黃州後，他與湖北巡撫胡林翼（諡文忠）並馬巡視戰場，勘察地勢，從巴河、蘄水、廣濟至黃梅，六戰連破賊軍無數營壘，最終協同官軍收複小池口。自此，李續宜的威名已與其兄李續賓（諡忠武）不相上下。
李續宜率部集結九江後，其兄李續賓（諡忠武）方得以分兵攻克湖口，接連收複彭澤、小孤山、梅家洲等城。續宜又派偏師擊退湖口賊軍，阻擊進犯麻城、黃安的敵寇。忠武公能全力攻破九江，實賴續宜相助。待湖北局勢大定，湖北巡撫胡林翼（諡文忠）因皖北百姓久陷戰亂，上奏請命忠武公肅清皖北，而留續宜鎮守湖北。朝廷亦深憂江淮戰事，對李氏兄弟愈發倚重。
不久便爆發舒城、三河之變，李續賓（諡忠武）戰死殉國，將士陣亡六七千人，舉國震動。當時李續宜駐守黃州，在悲痛中仍從容處置善後。他私下飲食銳減、悲泣難抑，公開則安撫潰散士卒：思鄉者資遣回鄉，願留者整編入營，發放糧餉冬衣，溫言寬慰；對敗軍將領區彆懲處，擇其賢能者繼續任用。方將事務安排妥當，恰逢胡林翼（諡文忠）因母喪被朝廷奪情起複。二人合力整飭軍務，湘軍由此重振聲威。
鹹豐九年（1859年）夏，太平軍悍將石達開率部進犯湖南，圍攻寶慶府。當時李續宜剛被任命為荊宜施道道員，奉命率軍從湖北馳援湖南。朝廷對其寄予厚望。軍隊抵達長沙後，沿資水西岸進軍，曆經四戰終解寶慶之圍。被困城中的三萬官軍與飽受饑困的百姓得以脫險，軍民歡騰。戰後論功行賞，李續宜被加授佈政使銜。
當時，我與胡林翼正商議合力攻取安慶。我弟曾國荃與將軍多隆阿分彆圍攻安慶、桐城。李續宜從湖南東返，駐軍於兩地之間的青草塥，在掛車河大敗太平軍名將陳玉成，其佈陣之廣，為近世罕見。不久，朝廷擢升他為安徽按察使。
鹹豐十一年（1861年），朝廷又任命李續宜為安徽巡撫。他上疏陳情道：“逆賊為解安慶之圍，必會傾巢西犯湖北，攻我必救之地。湖北乃各路大軍根本，臣應率軍回援，不能立即赴任皖撫。”待他急行軍趕至武昌時，賊軍已攻陷黃州、德安兩府五縣。另有從江西來犯之敵，又攻占興國、大冶等縣。李續宜苦心經營七個月，方纔收複諸城，安慶也因此得以攻克。而胡林翼在此任上逝世，鹹豐皇帝也駕崩。天下同悲。
同治帝即位後，為表彰李續宜收複安慶之功，賞賜他黃馬褂，調任湖北巡撫。不久又改任安徽巡撫。他先到安慶赴任，後移駐六安，多次接到密旨詢問對反覆無常的苗沛霖該剿該撫。李續宜上奏稱：“苗沛霖官至道員，卻公然犯上作亂，在壽州圍困巡撫，破城後大肆屠殺，如今又假意求撫，豈能輕信？不過是借反正之名，收攏周邊勢力，暗中壯大實力。”
皇上采納了他的建議。李續宜隨即解除了潁州之圍，攻克霍邱縣城，安撫各處村寨，暗中瓦解叛軍勢力，同時選拔賢能官吏，安置流民開墾荒地，政績日益顯著。朝廷特授他為欽差大臣。恰在此時，他接到母親去世的噩耗，按製需離職守孝。朝廷命他暫留巡撫職位，他三次上疏懇辭，最終獲準百日假期回鄉治喪。
李續宜因憂思過度舊病複發，整夜難眠，原本就有的咯血癥狀更加嚴重。回鄉守製期間，朝廷六次下詔命他奪情複職。他因喪母之痛未消且病情加重，請求準假四十日調養。後來抱病啟程赴任，又續請四個月假期，並辭去巡撫職務。朝廷體諒他的苦衷，每次都批準所請，但因淮南軍情緊急，又不斷催促他赴任，詔書接連不斷。
到初冬時節，李續宜再次上疏陳述病情。他自知已病入膏肓，最終於同治二年十月二十八日在家中去世，年僅四十一歲。朝廷下旨按總督規格賜予撫卹，在湖南、湖北、安徽三省建立專祠祭祀，追諡“勇毅”。其妻彭氏。其子李光英特賞直隸州知州銜。同治三年某月某日，葬於某處某山；同治八年某月某日，改葬於某山。
李續宜與李續賓（忠武公）兄弟二人都享有盛名，卻都淡泊名利。李續賓為人寬厚，常替人遮掩過失；李續宜則嫉惡如仇，待人較為嚴厲。李續賓作戰必身先士卒，勇猛果敢且思慮周密；李續宜則更擅長運籌帷幄，不計較一城一地的得失。但每逢臨陣對敵，他都能審時度勢，一擊製勝，在成就功業方麵與兄長如出一轍。這裡不再詳述他的戰績，僅摘錄其言論作為墓銘的結語。銘文寫道：
凡戰有機，鬼神翕辟。
（用兵之道貴在把握戰機，如鬼神般變幻莫測。）
靜如山寒，終日闃寂；
（靜時要似寒冬山嶽般沉穩，終日寂然不動；）
動若電飛，百霆齊擊。
（動時須如閃電驚雷般迅疾，萬鈞之勢併發。）
蓄勢宜久，氣囂宜淳。
（蓄力務求持久，氣勢貴在渾厚。）
此公之言，吾耳所聆。
（這些用兵箴言，都是他親口所述。）
凡公勳績，好謀乃成。
（他建立的功勳，皆因善用謀略。）
博籌多算，終格神明。
（運籌帷幄多番謀劃，終能感通神明。）
匪直戰事，學道亦然。
（不僅用兵如此，治學修身亦然。）
精思力踐，誠可達天。
（精思勤行，至誠可感天地。）
立功雖偉，公不自賢，
（功業雖偉，他卻從不自傲；）
立德未競，齎誌九泉；
（德業未竟，抱憾長眠黃泉。）
我銘昭之，永詔萬年。
（我作此銘，昭示後世，永垂萬年。）
唐確慎公墓誌銘
唐公名鑒，號鏡海，祖籍江西豐城，後遷居湖南善化。其家族四傳至唐煥，以舉人身份官至山東平度州知州，這是唐公的祖父。唐煥之子仲冕，考中進士後即任知縣，官至陝西佈政使，這是唐公的父親。平度公因子貴受封通奉大夫。其妻李氏、譚氏均受封夫人。譚夫人去世後葬於山東肥城。佈政使公及其妻寧夫人也都安葬於肥城。唐公遵從父命，將戶籍遷至山東，因此又成為肥城人。
唐公年少時就聰慧過人，勤奮好學，求知若渴，以廩生身份捐資出任臨湘縣訓導。嘉慶十二年考中舉人，十四年成為進士，改任翰林院庶吉士。兩年後授職檢討；又過六年，補授浙江道監察禦史，擔任甲戌科會試同考官和戊寅科順天鄉試同考官。
因上疏議論淮鹽引地問題，遭吏部議處降級，以六部員外郎銜降補。適逢宣宗皇帝即位，詔令內外大臣舉薦人才。諸城劉文恭公劉鐶之推薦唐公，於是被任命為廣西知府。此後曆任平樂府知府、安徽寧池太廣道，調任江安十府糧道，升任山西按察使，轉任貴州按察使，擢升浙江佈政使，再調任江寧佈政使。在外任職前後達二十年之久。
唐公任平樂知府時，妥善處理了亭平民與猛族人的糾紛，化解雙方仇怨，並多次剿滅大盜，使境內治安肅然。當時其父佈政使公已辭官東歸，寓居金陵。唐公得知母親患病，立即稱病辭官，赴江南侍奉雙親。後遭遇父母相繼去世，均歸葬山東肥城，唐公在墓旁結廬守孝，研習禮製。守喪期滿後，按例仍派往廣西，再次出任平樂知府。
道光十二年，廣東、湖南生苗作亂，唐公出巡邊防，肅清境內奸宄，往來於富川、賀縣之間，安撫歸順的熟苗，待之如馴獸孩童般寬厚。設立五原學舍，延請教師教學，各族苗民皆大歡喜。擒獲郡中煽動叛亂的譚於先等十餘人，立即處斬示眾；而赦免被脅迫參與的一千餘人，燒燬其名冊，概不追究。任貴州按察使時，平反冤獄，將功勞歸於下屬縣令，說：“並非我能糾正，是某縣官員來省自行更正的。”在江寧任職期間，賑濟災荒，修複廢弛的政事，各項政務井然有序。
當時總督陶澍患病臥床，唐公代行總督衙門政務，公文堆積如山，賓客僚屬絡繹不絕。他天不亮就處理公務，深夜仍不休息，廢寢忘食，身心俱疲。然而有人卻彈劾他多病服藥，荒廢公務，還羅織其他罪名加以詆譭。朝廷派使者查問，均無實據。宣宗皇帝知道唐公為人正直謹慎，對這些指控一概不予追究。忌憚他的人畏懼他的方正嚴明。不久，唐公被召回京城任太常寺卿，時為道光二十年四月。
唐公潛心研究心性之道，尊崇程顥、程頤等洛閩學派先賢，所到之處皆以此修身，並以此教化他人，還經常著書立說以傳後世。在翰林院任職時，著有《朱子年譜考異》《省身日課》《畿輔水利》等書；在廣西任職時著《讀易反身錄》，守喪期間著《讀禮小事記》。任平樂知府時，延請士人入官署，親自講授學問。設立義塾，教導貧寒學子。
在貴州任職時同樣如此，在江寧任職時也是如此。後來入朝擔任九卿，又著有《易牖》《學案小識》等書，提攜賢才，倡導正學。當時如現任相國倭仁（字艮峰）、侍郎吳廷棟（字竹如）、侍禦竇垿（字蘭泉）、何桂珍（諡文貞）等人，都跟隨他探討道德學問。曾國藩也曾追隨左右，與他研討古今學問。看他身處陋室正襟危坐，精思力行，年近七十仍時刻保持恭敬。其刻苦程度可與先儒比肩，當時賢者恐怕都難以企及。
後來唐公辭官南歸，在金陵書院擔任主講。鹹豐帝即位後，下詔召他入京覲見。他先後十五次麵見皇帝，將朝廷內外的利弊得失詳儘陳述。皇帝見他極力陳說自己年邁體衰，便不再勉強他出仕為官，命他返回江南，為士人樹立楷模。唐公回到金陵後，前來求學的弟子日益增多。因太平軍進犯湖南，他急於回鄉祭掃祖墳。鹹豐三年，便從浙江返回湖南，定居於寧鄉善嶺山，身著布衣，粗茶淡飯，安貧樂道，怡然自得。