張學良一生結過三次婚，原配夫人是于鳳至，第二個夫人是谷瑞玉，第三個夫人是趙一荻，即趙四小姐。人們都知道于鳳至和趙四小姐，對谷瑞玉知之甚少。于鳳至聰明伶俐，文采出眾。在張家大院的小一輩女人中，于鳳至最受張作霖重視，不僅由于她品貌出眾，還因為他十分珍視同她父親于文斗的舊誼。當初張作霖上門提親時，張學良在奉天(瀋陽)求學，追求他的高官之女甚多，他對出身低微的于鳳至根本看不上，便在奉父之命相親時，寫了一首《臨江仙》詞嘲諷她，暗示于家巴結自己家。于鳳至當即回敬了張學良一首《臨江仙》。張學良讀罷大吃一驚，同意迎娶于鳳至。與張學良結婚以后，于鳳至為了在張家立足，堅決要求進入東北大學讀書深造。

谷瑞玉，人稱「隨軍夫人」，1904年2月出生于天津楊柳青的大戶人家。1922年7月，谷瑞玉出席家宴時有幸與張學良結識。谷瑞玉天生麗質，通曉英語。一年之后，谷瑞玉任張學良的英語翻譯，二人感情日篤。1924年9月，第二次奉直戰烽火再起。谷瑞玉在前線陪伴張學良度過了最困難的時刻，迎來了東北軍的最后勝利。張學良與谷瑞玉相戀的情況傳到張作霖的耳朵里，他只好默許。1924年10月，張學良與谷瑞玉在天津結婚。

1928年2月，張學良升任第三方面軍團總司令，駐防保定。谷瑞玉獨自居住在津門，學會了跳舞、泡酒吧等，經常打麻將至深夜，還經常到北京聽戲數日不歸。數月后，張作霖在皇姑屯遇難。在秘不發喪期間，谷瑞玉未經許可獨自返回瀋陽，引起了日本關東軍的注意。日本報紙稱張作霖在皇姑屯必死無疑，否則一向與大帥府關系并不密切的谷瑞玉是不會在張學良不在奉天的情況下獨自返回關東的。

隨后，谷瑞玉與張學良的裂痕越來越大。1928年冬天，奉系舊軍閥楊宇霆等陰謀取代張學良。楊宇霆千方百計收買谷瑞玉，張學良曾提醒她別上楊宇霆的當，她卻我行我素。12月，楊宇霆假藉為父祝壽為名，請谷瑞玉與張學良來家赴宴。張學良隨谷瑞玉前往后，險遭到日本浪人的暗算，幸虧于鳳至早已識破楊宇霆的圖謀。張學良對谷瑞玉的誤解更深，婚姻名存實亡。1931年1月，張學良與谷瑞玉解除了婚姻關系，在天津英租界為她購買了一幢小樓房，又給了她10萬元生活費。

趙一荻原名趙綺霞，原籍浙東蘭溪，1912年出生于頗有名望的官宦之家，因在家中排行老四，被稱為趙四小姐。趙四小姐十分美貌，冰雪聰明，十四五歲就成為《北洋畫報》的封面女郎。1927年，趙四小姐在天津的舞會上認識了張學良，兩人一見鍾情。隨后，張學良一有空閒就和趙四小姐散步、聊天、打球、下棋、談論新詩。父親趙慶華知道女兒與有婦之夫在一起，一氣之下將趙四小姐軟禁起來。在六哥趙燕生的幫助下，趙四小姐與家人不告而別，去東北投奔張學良。趙慶華從此辭離仕途，退隱而居。

趙四小姐以張學良秘書的身份搬進帥府后，非常感激于鳳至的寬厚仁德，對她更是恭順敬重。二人和睦相處，情同姐妹。1929年，趙四小姐為張學良生下了唯一的兒子張閭琳。「西安事變」后，趙四小姐陪張學良開始了漫長的幽禁生涯，二人相依為命。幽禁期間，張學良作出了痛苦又無奈的決定，和于鳳至解除婚姻關系。于鳳至回信，卻滿紙都是對張學良和趙四小姐的祝福。1964年3月，二人離婚。1990年1月30日，于鳳至去世。1964年7月4日，張學良與趙四小姐正式結婚。2000年6月22日，趙四小姐病逝于美國夏威夷。2001年10月14日，張學良也在美國夏威夷病逝，享年101歲。