武德三年（620）四月二十五日，唐軍與劉武周集團在河東展開決定性戰役。秦王李世民親率精銳於汾水之畔大破宋金剛部，鐵騎所過之處敵軍望風披靡。眼見主力潰散，宋金剛僅率輕騎倉皇北遁，其麾下驍將尉遲敬德臨危受命，在殘軍敗退之際收攏八千餘眾，退守河東重鎮介休（今山西介休市）。這座扼守雀鼠穀要衝的堅城，就此成為決定河東戰局的關鍵據點。
尉遲敬德本名尉遲融，字敬德，朔州鄯陽（今山西朔州）人，出身鮮卑族軍人世家。隋末天下動盪之際，他早年以驍勇聞名鄉裡，初為隋朝地方軍府隊正，因善使馬槊、精於騎射而嶄露頭角。
三年前，大業十三年（617年），隋煬帝遇弑後，尉遲敬德投奔馬邑豪強劉武周，因其在雁門關保衛戰中屢破突厥的勇猛表現，被擢升為偏將。武德二年（619年），劉武周聯合突厥大舉南下，尉遲敬德作為先鋒率精騎三千突襲太原，以夜襲戰術擊潰唐將李仲文部，三日連破七寨，助劉武周攻占李唐發祥之地太原城。此戰中他親斬唐軍驍將張達於陣前，其槊挑敵將鐵甲、馬踏拒馬樁的悍勇之姿令敵軍膽寒。
到了次年（620年）春，他率部沿汾水南下，在晉州（今山西臨汾）會戰中大破唐軍獨孤懷恩部，生俘唐將秦武通，迫使唐軍退守絳州。同年夏，又在澮州（今山西翼城）戰役中以五百輕騎迂迴敵後，配合宋金剛主力合圍唐軍，致使唐將裴寂十萬大軍潰散，創造了以少勝多的經典戰例。這些戰役不僅鞏固了劉武周集團在河東的統治，更直接威脅到關中核心地帶，迫使李淵一度考慮放棄河東。
直至（620年）四月，李世民在柏壁之戰中擊潰宋金剛主力，尉遲敬德方從澮州前線回師救援，退守介休城時仍保有八千精銳，其部隊以\\