據民間傳說和有關資料，司馬遷的妻子柳倩娘是成紀人(今甘肅秦安縣北)，而且是西漢名將李廣的外孫女，父親柳振庭是一位詩書畫都極好的讀書人。柳倩娘貌若天仙頗有才學據民間傳說，柳倩娘在父親的影響下，五歲時隨父親學畫，愛在墻上畫小動物，十歲時就畫山水人物、花卉鳥木，在鄉里被夸為小畫家。十五歲通讀《六經》，翻讀《莊子》、《離騷》等名著。十五歲時隨母親赴長安看望外祖父李廣，看到司馬遷文章便想拜師學藝，并在表兄李陵的幫助下偷偷目睹司馬遷真容，便暗許芳心。誰料，貌若天仙、體如輕燕的柳倩娘卻被李廣利看上，意納為自己的小妾。柳倩娘寧死不從，后為躲避李廣利逼婚，暫躲在太史府司馬遷處，從此與飽學多才的司馬遷相知相識，結下好姻緣，但是李廣利卻與李陵、司馬遷結下冤仇。

陪司馬遷跋山涉水寫《史記》

柳倩娘還自告奮勇，隨同司馬遷，走訪名山大川和歷史名勝，先后到江淮、廬山、九凝山、長沙等地，邊走訪邊收集史料，還為史料制圖而風餐露宿，幫助司馬遷為撰寫《史記》積累了詳實而有價值的史料。

司馬遷與柳倩娘結婚后，在司馬遷整理父親和壯游長江南北，出使西南及扈駕遍游全國所得的史料時，柳倩娘不僅操持家中一切事務，更幫其落實考證資料。在司馬遷被宮刑后，更是無怨無悔地鼓勵司馬遷要完成其父親的遺志。

在司馬遷再次入獄時，柳倩娘深明大義，帶著《史記》正本，藏匿于尼姑庵中，隱明埋姓且受盡苦難，直至《史記》有出頭之日時。

純粹、正派、高尚，是司馬遷的本質形象，這形象鑲刻在中華文明的史冊之中，鑲刻在人們的心里。因而在為司馬遷建立祠堂，并在祠堂中樹立司馬遷塑像的時候，他理應黑須垂灑，怡然飄胸。早在公元310年建立的司馬祠，是沒有司馬遷塑像的。公元1125年，韓城縣令尹陽，應當地鄉賢和司馬族人的請求，主持修建了太史司馬遷祠。祠中需懸掛司馬遷畫像，尹縣令翻遍宋版典籍中所有司馬遷的畫像，都是處宮刑后無胡須的“婦人像”。司馬族人不同意留這樣的畫像，并提出了找到真相的線索。

司馬遷入獄后，柳倩娘為保藏《太史公書》，忍痛別夫，改名換姓，返回司馬遷的故鄉韓城，遁入空門。司馬遷遇難后，她與兒子司馬臨、司馬觀，通過女婿楊敞、外孫楊惲，將司馬遷的骨骸運回安葬，并植柏為記，朝夕相守。柳倩娘從司馬遷20歲開始至55歲，每年給司馬遷畫一張年譜像，共畫了35幅。司馬遷48歲之前的畫像，都是黑須垂灑，怡然飄胸的。但這些畫像在司馬家族慘遭劫難中散失了。尹縣令認為，司馬遷的故鄉說不定就有人收藏。于是派人四處打探，終于在芝川鄉間，覓得司馬遷壯年的留須畫像一幅。畫像線條細膩流暢，容貌逼真傳神。尹縣令拿來叫司馬族人辨認，一見畫像，司馬族人紛紛拜倒在地，失聲痛哭。根據這一畫像，尹縣令舉薦曾為孔子塑像的大師為司馬遷塑像。

民間是這樣傳說的：

司馬遷的有須無須為什么會引起人們的爭論呢？其中流傳著一段辛酸的故事：司馬遷受宮刑后，隨著生理的變化，他的聲音和行動也隨之變化如婦女，胡須漸漸脫落無遺。司馬遷的夫人柳倩娘是一個畫家，對丈夫一生的各個時期的容貌，都畫有影像。有一年，他的兒子司馬江，突然來到芝秀庵，言及他反漢，上了太行山。獨身潛行京都長安，探知父親的遺體，將遺骨搬回家鄉，通過鄉老，葬于新遷的村莊老牛坡。特到庵中，請母親脫離險境，同到太行山，以便行孝養老。

臨別之時，柳倩娘由箱中取出久藏的丈夫影像說：“兒呀！這是你父遺容三十幅，你當視作傳家寶，代代相傳，他年有機會為你父塑像的時候，千萬牢記，不要塑他宮刑后的無須相，要塑他宮刑前的長須相”。

司馬江問道：“塑像應以后期為準，為何要改后者為前者呢？”柳倩娘痛哭道：“兒呀！昏君陷害忠良之士，將你父判了宮刑，用意險惡。他們侮辱你父雖系男子漢大丈夫，實則與婦女一般無用，這是咱們家門的奇恥大辱！你們做子孫的，在給他塑像時，一定要塑出他的大丈夫的真容貌。若塑了無須的‘婦女臉’，豈不是承認自己淪為無用之輩嗎？”

因此，現在人們看到的司馬遷塑像是留著長須的。