孔祥熙利用手中所掌握的權力，在使國家壟斷資本不斷膨脹的同時，也使自家的資財隨之迅速增長。孔在從政前雖也有些資產，但主要是商業資本，他家的山西裕華銀行只是商業資本的保姆，工業資本則多半是他人依附或偶爾為之。孔夫人宋靄齡性格干脆利索，善于決斷。孔祥熙性格中則有膽小優柔的一面，夫人的果斷推動著他營私舞弊的“特長”更上一層樓。

抗戰前，宋靄齡曾伙同宋子良、陳行、徐堪等在上海組織七星公司，專做證券、標金、棉紗、面粉等的投機，在交易市場上多次掀起風潮，引起對手的怨恨和輿論的抨擊，但由于有蔣介石和宋美齡的庇護，終于無事。

抗戰初期，宋靄齡僅在套取外匯的投機中，據說就“撈了800萬英鎊”。1939年時，宋靄齡在美存款，居重慶政府“所有要人在美國銀行中的存款的第一位”，被美國記者賽利文稱為“中國人民的錢袋”。孔的長子孔令侃在21歲時，便被蔣介石指派為中央信譯局常務理事，肩負實際責任。他利用進口軍火大獲巨額回扣，抗戰期間利用西南運輸公司，掌握“國家專運”特權，趁機裝運私貨，走私販私，獲取暴利。孔令侃“經商賺錢”的本領，曾經受到孔祥熙的夸獎。

孔的次女孔令偉在重慶掌管祥記公司、廣茂興、晉豐泰等企業，利用當時“工不如商、商不如囤”的情況以及豪門權勢，大搞囤積居奇等不正當經營，大發國難財。

孔祥熙撈取巨大實惠的同時也惹來許多麻煩。在他操縱控制的一次金融風潮中，上海灘黑道大亨杜月笙投機不成，遭受巨額損失，氣急敗壞之下，徑直到孔宅索要賠償。以孔祥熙的勢力其實根本不懼怕杜月笙，大約他畢竟心里有鬼，就找了個油水豐厚的行政院建筑工程讓杜承接，算是擺平此事。

國民黨統治區的廣大民眾，對“四大家族”在抗戰后期的獨裁、貪婪、不恤民生的所作所為日益不滿。1944年5月，中國西南實業協會、遷川工廠聯合會、中國全國工業協會等五個工業團體共同擬就《解決當前政治經濟問題方案建議書》，送交國民黨五屆十二中全會。其后，黃炎培等30人發表《民主與勝利獻言》，要求國民黨改弦更張，實行民主政策。國民黨內與孔家爭權爭利爭寵的各派系也趁機而動，予以抨擊。

1944年11月，在政壇風云變幻中，孔祥熙迫于壓力，終于辭去財政部長等要職，結束了把持中國財政的日子。但由于蔣介石的庇護和壓制，孔家貪污蠹國的丑行一直未曾得到徹查和應有的懲處。

孔祥熙辭財政部長職后，滯留在美國半年有余。1945年，他辭去行政院副院長，7月離美返國，同月辭去中央銀行總裁和四聯總處副主席職務，10月辭去中國農民銀行董事長職，至此僅保留了中國銀行董事長的職務和國民黨中央執行委員的頭銜。

為了謀求東山再起，孔祥熙也曾進行過一些活動，1946年當選為“國大”代表，但由于政學、CC等派系的抵制，復出無望。1947年秋，他以接獲宋靄齡在美病重的電報為由，匆匆離滬去美國，避開政治風浪，1948年1月又辭去中國銀行董事長職務，徹底淡出政治舞臺。

蔣介石集團退處臺灣，曾聘孔祥熙為“資政”。1962年，孔赴臺灣暫住，1966年舊病復發赴美治病，1967年8月16日因心臟病在紐約去世。