洪武三年，明太祖朱元璋大封功臣，說：“善長雖無汗馬勞，然事朕久，給軍食，功甚大，宜進封大國。”(《明史·李善長傳》)李善長被授開國輔運推誠守正文臣、特進光祿大夫、左柱國、太師、中書左丞相，封韓國公。在朱元璋加封的開國六大國公中，“善長位第一”，統兵征戰的徐達次之。而與李善長一樣為朱皇帝造反稱帝出謀劃策、運籌帷幄且決勝千里的劉伯溫，只得了一個誠意伯、御史中丞。

李善長與劉伯溫相比，確實不一樣。李善長雖不是進士出身，也非元朝官員，更沒有劉伯溫那么多神機妙算，但他也有不少真本事。他“少讀書有智計，習法家言，策事多中”。尤其他自薦追隨朱元璋以來，“為參謀，預機畫，主饋餉”，被朱元璋甚是親信。

朱元璋無論是做大元帥、中書省平章，還是稱吳王、做皇帝，都是以李善長為文官首臣。李善長“明習故事，裁決如流，又嫻于辭命”，為朱元璋的前線軍馬籌集糧草、兵餉，源源不斷，在后方總理日常事務、制定典章賦稅，都是一把好手。故，有人認為李善長之功，既有蕭何之能，也有張良之才。

李善長曾斟酌元制、去其弊端后，請求專賣兩淮之鹽，設立茶法，對加強百廢待興的明初財政，很有實效。他還逐步恢復制錢法，開礦冶鐵，制定魚稅，國家財富日益增長，百姓也不再貧困。朱元璋登基后，開國大典，冊封大典，均由李善長為大禮使。朱元璋親征，李善長留守，“一切聽便宜行事”。朱元璋“定天下岳瀆神祗封號，封建諸王，爵賞功臣，事無巨細，悉委善長與諸儒臣謀議行之”。

朱元璋成了天下的主子，李善長做了真正的宰相，皇權和相權不斷博弈、沖突，朱元璋本想利用劉伯溫制衡李善長以及后來胡惟庸，但是未果，甚至突然暴卒，且涉及胡惟庸。李善長“外寬和，內多忮刻”，日益自專，只要有人稍微冒犯他的權威，就定罪貶黜。掌管御史臺的劉伯溫依法力爭，李善長仍盛氣凌人，逼得劉伯溫“不自安，請告歸”。這些，也是大權力控的朱元璋洞察入微，尚待發酵。

洪武四年，李善長“以疾致仕”。朱元璋甚是慷慨，賜大量的土地、塚戶、佃戶、儀仗士，擢升李善長弟弟李存義為太仆丞，還把女兒嫁給李善長的兒子，封其為駙馬都尉，要公主在李家嚴守婦道。

李善長辭職，朱元璋先后封汪廣洋和李善長舉薦的胡惟庸都為右相。汪廣洋鑒于朱元璋與李善長的矛盾，事事請示皇帝，上書打壓前丞相：“善長狎寵自恣，陛下病不視朝幾及旬，不問候。駙馬都尉祺六日不朝，宣至殿前，又不引罪，大不敬。”

看來離職不離京的李善長，對皇帝也不關心了，恃功而驕，就連皇帝大病十天不上朝這樣的大事件也不聞不問，就連其子做了皇家駙馬，也是皇帝宣進宮問安也不認錯。他們似乎認為朱元璋給與李家最隆重、最高規的恩賞，是在討好李善長，故不斷不收斂，反而更加驕縱。

朱元璋將原元帥府的令史汪廣洋擢升為右相，但能力有限，不久被后起之秀胡惟庸與老奸巨猾的李善長聯手弄走。汪廣洋看似對李、胡敬而遠之，但著實能耐不濟，不是對手。李家父子如此對待朱元璋，朱元璋心里自然不舒服，削減了他一千八百石歲祿。汪廣洋不爭氣，沒出成績，朱元璋把他貶到廣東行省做參議，而要李善長重新出山，和朱元璋的外甥兼養子、曹國公李文忠總理中書省、大都督、府御史臺，同議軍國大政。善長雖老，做事仍有作為，幫忙打理御史臺，很快見成效。

不久，京城有一批罪犯被判流放戍邊，李善長幾次出面請免掉一個叫丁斌的。朱元璋本來對李善長就有了不少猜忌和惱怒，于是抓來丁斌審查，丁斌重提李存義與胡惟庸勾結。朱元璋重新把李存義下獄，李存義咬出李善長和胡惟庸謀反有牽連。