歷史上的紀曉嵐遠沒有電視劇上演的那般灑脫自如，當時他不但得了個“娼優大學士”的外號，其本人很多事也經常被人引為笑談。

乾隆時期，北京達官貴人們都嗜好淡巴菰(煙草)，乾隆當時尤其如此，煙癮很大，一天都離不開。后來乾隆突然無故咳嗽，太醫診治后說：“病源在肺，恐怕是吸食淡巴菰所導致的。”乾隆聽后便命太監不準再拿這個東西進來。過了一段時間后，咳嗽病倒好了，乾隆于是對淡巴菰極為厭惡，并勸告其臣僚也不要嗜好此物。

煙草其實是輕微的毒品，一旦吸食也很難戒除。紀曉嵐當時為翰林大學士，煙癮最大，人稱“紀大煙袋”。他并不理會乾隆的勸告，每日仍舊拿個特大煙袋，里面貯滿煙絲，張口就吸，毫不顧忌別人感受。

有一天，輪到紀大煙袋在館中當值，他工作忙完，便把煙點上，剛美美的吸上兩口，突然間太監宣他進見皇上，紀大煙袋一著急，便把煙袋插入靴筒，隨后入朝覲見。不巧這次乾隆問的事情多，沒多久，紀大煙袋覺得腳上發熱發燙，但正被皇上問話，又不敢亂動，不料，他的靴子突然冒煙，原來煙袋的火沒有熄滅，結果把襪子給燒著了。紀大煙袋痛得要命，眼淚鼻涕直流。乾隆大驚，問他怎么回事，紀大煙袋說：“臣靴筒里走水”。(當時北方人把失火叫走水)

乾隆大笑，讓他立刻出去解決。紀曉嵐忍著痛，疾步跑到門外，把靴子一脫，里面早已是皮焦肉爛，好不凄慘！讓人發笑的是，紀曉嵐平時走路特快，同僚們戲稱他為“神行太保”，這次被燒了以后，紀曉嵐一個多月都走路一瘸一拐，人又送綽號“李鐵拐”。

據說，后來乾隆過問此事，讓他為這事寫檢討。紀曉嵐好文才，援筆立就，里面有這么幾句：“褲焚，帝退朝曰：‘傷脛乎？不問斗’”。這個馬屁拍得很到位，乾隆心頭一喜，便賜給他煙斗一枚，準其在館吸食，紀曉嵐也得意的說自己是“欽賜翰林院吃煙”云云。

紀曉嵐不但“欽賜吃煙”，而且還有一個“奉旨納妾”的故事。《棲霞閣野乘》中說，紀曉嵐自幼稟賦超于常人，能夜間視物，一日不御女，則肌膚欲裂，腳要抽筋。《蟲鳴漫錄》里也說，紀曉嵐自稱是野怪轉身，不吃米，光以肉為飯，一日須御數女，五鼓入朝一次，歸寓一次，午間一次，薄暮一次，臨臥一次，一次也不能少，有時候乘興而幸，也是常有的事。

紀曉嵐在編輯《四庫全書》的時候，有幾天特別忙，一直在館中上班。由于幾天沒有碰女人，紀曉嵐兩眼暴赤，臉色血紅。乾隆皇帝在路上碰到他，見他這副模樣大吃一驚，便問他生了什么病，紀曉嵐不敢隱瞞，便把實情托出。

乾隆大笑，后來派了兩個宮女給紀曉嵐伴宿。《四庫全書》編好后，又讓紀曉嵐把兩女帶回家中。紀曉嵐十分得意，經常在別人面前夸耀，自所謂“奉旨納妾”是也。

不過，乾隆也沒少戲弄紀曉嵐。乾隆有一次南巡來到金山寺，紀曉嵐也隨同在側。乾隆一時興起，想給金山寺題一個匾，但想了半天也沒想出什么好名字，于是就取筆在紙上假裝寫了幾個字，便遞給紀曉嵐問：“你看這幾個字如何？”紀曉嵐拿過來一看，是無字天書，幸好他隨機應變得快，便說：“好一個‘江天一覽’！”乾隆大悅，便重新拿起筆題了這四個字。(此是“江天一覽”故事的另一版本)

還有一次，紀曉嵐奉命在翰林院編纂《四庫全書》，因為工程浩大，紀曉嵐和同事們日夜趕工，時值盛夏，天氣酷熱，紀曉嵐身體肥胖又怕熱，往往汗流浹背，衣服盡濕。后來紀曉嵐干脆把衣服除去納涼，同事的閣臣們也學他的樣子，脫了衣服在里面工作。

后來這事被乾隆知道，便想去捉弄他一下。某天，乾隆有意走到翰林院，正好紀曉嵐和同事閣臣數人光著膀子在那里談笑風生，大家見乾隆走了過來，慌忙穿衣不迭，紀曉嵐因為眼睛近視，一時間找不到自己的衣服，穿衣不及，慌忙中鉆到了椅子下面。

乾隆見了大樂，便一屁股坐在上面，紀曉嵐躲在下面喘息而又不敢動。乾隆在椅子上面坐了兩個時辰不說話，也不走。因為天氣酷熱，紀曉嵐不能忍耐，見過了那么長的時間，便伸頭問同事們：“老頭子走了沒有啊？”

乾隆大笑，諸人也笑，乾隆讓紀曉嵐出來，故作不悅說：“紀昀無禮，何得出此輕薄之語？你要解釋得過去就放過你，要說不過去就殺你的頭。”紀曉嵐大為尷尬，說：“臣尚未穿衣。”乾隆便命內監代他穿上，又訓斥道：“你膽子不小，你為什么叫稱朕為老頭子啊？”紀曉嵐眼睛一轉，說：‘京城中人都是這么稱呼皇上的啊，皇上叫‘萬歲’，豈非老乎？君是‘元首’，得非‘頭’乎？皇上為天之子而子萬民，所以叫‘子’啊。”乾隆見難他不住，便呵呵一笑走了。

紀曉嵐被乾隆捉弄，找到機會他也要捉弄捉弄和紳。有一次，和紳家修花園，建了個亭子，請紀曉嵐幫他寫個亭額，紀曉嵐揮筆而就，寫下“竹苞”二個大字，和紳見兩字寫得龍飛鳳舞，十分開心的把它給掛了起來。沒多久，乾隆臨幸和府參觀新花園，抬頭看見亭上的匾額，便問是誰寫的，和紳得意的說是請紀曉嵐寫的，乾隆大笑，說：“你上了他的當了！紀曉嵐這是在罵你家‘個個草包’啊！”和紳氣得半死，又無可奈何。

紀曉嵐讀書多又天性詼諧，平時也愛講笑話故事，每次入宮當值沒事的時候，太監就喜歡纏著他講故事，紀曉嵐不勝其煩。有一次，紀曉嵐又被某太監纏上，讓他講個故事，紀曉嵐說最近沒故事，某太監非得讓他說一個，現在編也行。紀曉嵐便故作思索狀，說：“有了。說有一個人。”說完，便閉嘴盯著太監看。太監見他不說了，便催促道：“這個人下邊還有何事？”紀曉嵐說：“下邊沒有了。”太監知道被其揶揄，大笑而去。

紀曉嵐有一次為某詞林朋友的太夫人祝壽，朋友請他作首詩，紀曉嵐站了起來，清了清嗓子，眾人都作洗耳恭聽狀，紀曉嵐便道：“這個婆娘不是人。”眾人大驚，以為大不敬。紀曉嵐見效果達到，便從容續道：“九天神女下凡塵。”眾人一聽，贊這句說得好。紀曉嵐話鋒一轉，又道：“生下兒子去做賊。”眾人愕然，朋友也很是難堪。不料紀曉嵐笑道：“此子卻好，偷得蟠桃壽母親。”眾人聽后大樂，一時傳為佳話。

紀曉嵐是個聰明人，但他的聰明在當時往往被人視為可笑之物，這大概就是乾隆視紀曉嵐為娼優的緣故罷。