按正史記載，作為浴血沙場能征善戰的將軍，張遼當為曹魏陣營的第一人。《三國志》將張遼列為曹魏五大將之首。王歆更贊曰：“曹魏多名將，而張遼為第一。”

《三國志·張遼傳》中曾提到張遼“本聶壹之后，以避怨變姓”。張遼的先祖聶壹，就是漢武帝時期著名的“馬邑之謀”的始作俑者。史載，在西漢元光元年(即公元前134年)，雁門馬邑一帶的豪商聶壹出于對匈奴的熟悉和對西漢王朝邊患不息的焦慮，通過人向漢武帝建議：和親之后漢朝已經取信于匈奴，只要誘之以利，必定能將之擊潰。于是聶壹奉命以自身作餌，親到匈奴陣營，向當時的軍臣單于詐降，更稱自己能斬殺馬邑縣令，迫使馬邑舉城投降，然后可盡得該城財物。單于信其言，又貪其利，便立刻策劃起兵。聶壹回漢后，以一名罪犯的首級訛稱為馬邑長吏之頭，以示時機已至，引誘匈奴軍深入重地。

漢武帝派出五位將軍連同車騎步共三十萬在馬邑設伏。這五位將軍是衛尉李廣驍騎將軍，太仆公孫賀輕車將軍，大行王恢將屯將軍，太中大夫李息材官將軍，御史大夫韓安國護軍將軍。各位領軍都隸屬韓安國，約定在單于進入馬邑時縱兵出擊。

計劃本來順利進行，詎料單于走到左云一帶時，發現城野之間只見牲畜，不見一人，于是起了疑心。他派兵攻下一個碉堡，俘虜了一名尉史。該尉史揭穿了早已有三十多萬漢軍埋伏在馬邑附近的真相，悉破陰謀的單于大驚退軍，漢軍設伏全無用武之地。“馬邑之謀”亦以失敗告終。聶壹一片丹心付于荒草，不但無功，還成了漢、匈兩方都懷疑的人。為了避禍，他改姓為“張”。

三百年后，老張家有一個男娃出世了，他便是張遼。張遼年輕時，曾經做過郡吏。東漢末年，因其武力過人，被并州刺史丁原召為從事，并派他帶兵到京城。后來又被大將軍何進派去河北招兵買馬，張遼回來時，189年，何進的勢力已被消滅。于是又歸附董卓，后來董卓兵敗，張遼又帶著手下的將士們歸附呂布，擔任騎都尉。198年，呂布在下邳被曹操擊敗之后，張遼率部投降，被拜為中郎將、賜關內侯，并擔任魯相。后因戰功被晉升為裨將軍。

張遼歸降曹操以后，跟從曹操轉戰南北，討袁紹，平河北，征荊州，戰孫權，屢立戰功，與曹仁、夏侯淵、張郃、徐晃被并稱為曹操的五大良將。曹操剿滅袁紹的勢力后，派遣張遼管轄魯國各縣，并跟隨夏侯淵剿滅東海的昌豨，成功勸降。后隨曹操去黎陽剿滅袁譚、袁尚聯軍，因戰功而升為中堅將軍。

曹操返許，命張遼和樂進攻下了陰安，再隨曹操再攻下鄴。更攻下了趙國、常山。205年，隨曹操成功剿滅了袁譚，攻下海濱，并擊敗遼東的賊兵。張遼引軍還鄴城時，曹操親自出迎張遼，更與張遼共載一車，并封張遼為蕩寇將軍。

接著張遼又率軍攻打荊州，平定了江夏各縣，在臨潁屯兵，受封為都亭侯。207年，隨同曹操進攻于柳城的袁尚，途中遇上烏桓軍。張遼壯氣奮發，勸曹操即時赴戰，曹操壯其行為，親自把所持的麾旗授予張遼。遼遂引軍突擊，大破敵兵，親斬單于蹋頓於陣前。

那時候荊州尚未安定，隨后張遼還駐荊州時，軍中忽有謀反者騷動起事，半夜驚亂起火，全軍亂作一團。此時張遼顧謂左右道∶“不可驚動。這一定不會是全營盡反，必然是引起叛變之人，想藉此惑亂他人而已。”于是傳令軍中，只要不是反亂者安坐勿動。而張遼則帶領親兵數十人，守立于陣中。很快騷亂就平息了，軍中隨即擒獲首謀者，并將其斬殺，徹底平息了事態。

其時盧江人陳蘭、梅成占據氐等六縣作叛，曹操于是遣于禁、臧霸等討梅成，又命張遼督領張郃、牛蓋等討陳蘭。當時梅成詐降于禁，于禁引軍便還。不料梅成趁機率眾往投陳蘭，二人據險扎營于天柱山自守。張遼意欲進山，諸將皆說∶“此山道路險惡，很難深入用兵。”而張遼卻說：“這正是所謂'一與一，勇者得前耳 '(只有勇者可以前進)。”于是進至山下安營，起兵攻擊，終于斬下陳蘭、梅成首級，盡虜其眾。曹操論諸將功勞，說：“登天山，履峻險，以取蘭、成，蕩寇 (蕩寇將軍張遼)功也。”

張遼不僅長于征伐，而且頗有戰略眼光。建安十二年曹操遠征袁尚時，張遼勸諫說：“許昌，現在是天下的都會。天子(漢獻帝)正居許昌，您千里北征，如果劉表派劉備偷襲，挾持了天子而號令四方，形勢就危險了！”果然，曹操北征之后，劉備即向劉表建議襲許，而劉表不能用其計。但就當時形勢而言，在劉表為失計，在曹操為僥幸，張遼的擔心是很有見識的。

張遼在其二十余年的戎馬生涯中，攻無不克，守無不固，其為將之勇力和智略皆有可觀。張遼軍旅生涯最輝煌的巔峰是對孫權的合肥之戰。208年，曹操于赤壁之戰大敗，派張遼、李典、樂進率七千余人駐合肥，并派護軍薛悌送函給張遼，函署“賊至乃發”。建安二十年(215)八月，吳主孫權親自率兵十萬圍困合肥。此間，駐守合肥的曹軍僅七千余人。兩軍對陣，眾寡懸殊。偏偏在這危急關頭，曹操又親自率兵西征在外，一時無法派遣軍隊來援救合肥。遇此嚴峻形勢，對于駐守合肥的曹軍來說，實在是兇多吉少。守將樂進、李典相覷無奈，猛將張遼見此拍案而起曰：“曹公今遠征在外，若坐等曹公派援軍來救，即便援軍來到，那時吾等也早被吳軍擊敗。現在唯一的上策，是在吳軍尚立足未穩之時，主動出擊，挫其銳氣，方能安定眾心，鼓舞士氣，得以守住城池。成敗之機，在此一戰，諸君何疑？”

李典與張遼素有隔閡，然在此危急關頭，聞張遼之言，便慷慨陳詞曰：“此國家大事，既然將軍主意已定，奮不顧身，吾等能以小私而舍棄大義乎？”于是，張遼夜募敢從之士八百人，于破曉時突殺吳陣，直戰至日中乃休戰，使吳軍遭受重創。此戰中，“(張)遼披甲持戟，先登陷陳，殺數十人，斬二將。”孫權猝不及防，10萬大軍被逼迫退守到一片高地。后來見張遼兵少，“乃聚圍遼數重”。張遼軍左沖右突，勇不可當，一度與數十人殺出重圍，后見自己的大部人馬還在圍中，又折返回陣，救出自己的部下。孫權的軍隊“皆披靡，無敢當者”。一場大戰從清晨殺到中午，“吳人奪氣”，孫權只好撤退。

后孫權“守合肥十余日，城不可拔，乃引退”。當孫權與諸將行至逍遙津北時，恰為張遼偵知。遼即率步騎突然而至，甘寧與呂蒙等吳將與遼力戰，凌統則率親兵護權出圍。當孫權退至逍遙津橋時，見橋南已拆、丈余無板。在此危急關頭，孫權近監谷利急中生智，于孫權坐騎后猛著一鞭，使孫權借助奔馬之勢飛橋而過，幸免于難。此戰史稱張遼威震逍遙津，是三國時期魏吳相爭中創下的一次以少勝多的著名戰例。

此役后曹操大贊張遼，拜征東將軍。建安二十一年，曹操又征孫權。軍到合肥，曹操巡視昔日張遼作戰的地方，贊嘆良久。后來繼位的曹丕曾評價說：“合肥之役，遼、典以步卒八百，破賊十萬，自古用兵，未之有也。”并贊其“此亦古之召虎也。”《三國志魏書十七張遼傳》(召虎是與方叔、尹吉甫、秦仲等齊名的東周大將。)

此后，張遼以征東將軍之職屯兵居巢(今安徽桐城南)，防范孫權。曹丕接任王位后，改遷張遼為前將軍，也封其兄及子為列侯。孫權再叛，曹丕遣張遼還屯合肥，晉爵都鄉侯。曹丕準其母乘車及兵馬送其家人到他駐軍的地方，這在當時是至高榮譽。后曹丕稱帝，封張遼為晉陽侯，增食邑至兩千六百戶。黃初二年，曹丕還特別替張遼建造屋舍，替他母親興建殿室，又把跟隨張遼的步卒封為虎賁。

張遼不幸在此時得了疾病。曹丕便遣侍中劉曄帶太醫視疾，甚至親到其營執其手問候，賜其御衣，更派太官送御食。待張遼之疾稍愈，遼即還屯。正當其時，孫權復叛，黃初三年，曹丕遣張遼乘舟，與曹休到海陵臨江駐防。孫權知張遼至此，告誡部下說：“張遼雖病，不可當也，慎之！”其畏張遼如此。同年，張遼抱病與曹休伐吳，打敗吳將呂范。

不久張遼病篤，逝于江都，魏失棟梁，一代名將就此隕落。曹丕為之流涕，謚曰剛侯。其子張虎嗣其爵位。