1876年，李堯臣出生在習武之風盛行的河北冀縣李家莊。他自幼習武，14歲已在武林嶄露頭角，18歲進入北京會友鏢局當鏢師。會友鏢局當時居北京八大鏢局之首，中國近現史上的不少歷史事件與之相關。為了彌補鏢局史料的空白，新中國成立后，李堯臣作為政協委員把自己在會友鏢局的經歷詳細整理成文，刊登在全國政協的文史資料選輯中。從保皇杠、擒土匪、保護前門外商業區和三次見到西太后的經歷中，人們依稀可以領略到青年時代李堯臣的風采。

李堯臣終生倡導武術。他經常說，一人練武，可以強身;全家練武，可以強族;全民練武，可以強國。1921年，會友鏢局解散后，李堯臣在天橋水心亭開辦武術茶社，這里方圓二十丈，能容納上千人練武。李堯臣是三皇炮捶、綿掌的重要傳人之一，諗熟拳械及軟硬功夫、暗器，尤精六合刀、大槍等械。抗日烽火燃起，李堯臣應佟麟閣將軍之邀，出任29軍武術總教官。為增強士兵的白刃作戰本領，李堯臣濃縮傳統刀術中的精華，創編了一套實戰性很強的無極刀法，交戰時既可劈，又可刺。喜峰口戰役中，學了無極刀法的大刀隊驍勇善戰、如有神助，手刃鬼子近百人，追殺日寇60余里，繳獲大炮18門。從此使日本兵聽到大刀隊就膽顫心驚。直到“七七”事變，李堯臣一直保留著他與29軍將士們夜練大刀時用過的一盞馬燈。跟李堯臣學過武術的人很多，京劇武生泰斗楊小樓演鬧天宮的猴拳和梅蘭芳演虞姬的劍法，都是李堯臣傳授的。

為了捍衛民族尊嚴，李堯臣兩次與日本武師比武的故事曾廣為流傳。1931年“九一八”事變之后，日本侵略者越來越猖狂。他們公開在北京、天津、南京、上海設下比武擂臺，向中國人挑釁。李堯臣與師叔焦朋林憤怒登臺。他在南京打擂那天，全城轟動。日本武師連發三個大力拳，都被李堯臣輕巧閃過。看清路數后，李堯臣只一招白鶴亮翅，挑中對手下巴，便使日本人直栽臺下，為中國人長了志氣。

日本侵略者占據北京后，敵偽將李堯臣抓起來，強逼李堯臣與日本武師武田熙當眾比武，李堯臣勝了，可以放人;李堯臣輸了，必須磕頭拜武田熙為師。比武地點定在東便門蟠桃宮，時間選在農歷三月三，正逢廟會。比武那天，日本兵在擂臺周圍荷槍實彈。武田熙生得高大兇悍，善柔道，還會中國的八卦。交手之際，李堯臣在臺上理直氣壯地要武田熙當眾宣布比武條件，此時臺下人如潮涌。第一回合，李堯臣只一個順手牽羊，就將武田熙摔了個狗吃屎。第二回合，李堯臣運用綿掌控制得武田西抓不住、打不著、推不動、站不穩，待武田熙招數用盡，李堯臣一發內力將武田西扔出一丈多遠。武田熙惱羞成怒，從地上爬起來，抽出日本憲兵手中的兩柄戰刀，又要與李堯臣比試刀法。時間不過三分鐘，武田熙已被李堯臣的刀鋒裹挾得直喘粗氣。李堯臣順勢飛起一腳，踢在武田熙的手腕上，戰刀脫手，武田熙疼痛難熬，蜷縮在地上。臺下呼聲四起。李堯臣趁機揚長而去。

新中國成立后，李堯臣受到黨和國家的關懷和重視。毛主席、周總理等中央領導人多次請他到中南海懷仁堂去作武術表演。全國及北京的武術比賽多次請他作裁判長。雖然已是高齡，李堯臣依然事事走在前面：抗美援朝時，為了給前方捐獻飛機大炮，他率領子女和弟子四處義演;為了祖國的經濟建設，他支持孩子到邊疆和內地去工作;1966年，他把39件自己心愛的有文物價值的古代兵器上交給國家。

李堯臣一生做過很多好事，幫助過很多人。國民黨統治北平時期，地下共產黨員楊世義(化名楊春)被捕，李堯臣得知后，不顧自己的身家性命，主動出頭聯合29軍有地位的老友為楊世義擔保，獲釋后親自接他出獄。李堯臣為普及武術教過的人成千上萬。他的弟子很多，不少人在中國武術史上占有一席之地，其中比較晚的弟子李宗儒曾獲得全國武術觀摩大會金牌。