清光緒七年(1881年)十二月二十四日，時(shí)年44歲的張之洞出任山西巡撫。一到山西，張之洞即發(fā)現(xiàn)完全出乎意料。原本富庶的山西，受中俄貿(mào)易等原因影響，晉商已呈衰落勢(shì)頭。1877年山西全境大旱，糧食絕收，民間普遍靠草根樹皮度日，個(gè)別地方甚至“易子而食”，而朝廷賑災(zāi)不濟(jì)，賑災(zāi)糧款被侵吞挪用放貸，民間元?dú)庖恢蔽椿謴?fù)。所謂的山西“政清事簡(jiǎn)”，竟是官員自身懶惰昏庸的托詞。前幾任巡撫或不理政事，或昏庸貪腐，或廉潔但懦弱，導(dǎo)致全省官場(chǎng)吏治腐敗，風(fēng)氣懶散。多年積習(xí)傳染導(dǎo)致的“懶”“散”二病遍及山西全省，官民同病，“懶、散之極，將有魚爛瓦解之憂”。

除通省懶散之外，張之洞還深切憂慮到，“晉患不在災(zāi)而在煙”。當(dāng)時(shí)山西民眾普遍吸食鴉片，“有嗜好者，四鄉(xiāng)十人而六，城市十人而九，吏、役、兵三種，幾乎十人而十矣。人人枯瘠，家家晏起。堂堂晉陽，一派陰慘敗落氣象，有如鬼國(guó)”。除吸食鴉片外，山西全省還大范圍種植鴉片，1877年山西大旱餓死人數(shù)眾多，部分原因也在于山西土地多種罌粟而非糧食，遇災(zāi)荒后農(nóng)民手中有錢無糧而造成。

以儒家經(jīng)世濟(jì)民思想立身的張之洞面對(duì)此種情況，不畏眾人非議，從整頓吏治和作風(fēng)入手。張之洞以巡撫身份發(fā)布的第一道命令，就是考察干部，要求全省各級(jí)官員在半個(gè)月內(nèi)，將對(duì)下屬的獎(jiǎng)懲意見配合具體的實(shí)際業(yè)績(jī)報(bào)送巡撫衙門，并特意強(qiáng)調(diào)要?jiǎng)?wù)求實(shí)際，不能以官場(chǎng)套話應(yīng)付。同時(shí)，張之洞發(fā)揮自身表率作用，堅(jiān)持“其身正，不令而行;其身不正，雖令不從”，每天丑正二刻(凌晨?jī)牲c(diǎn)半)起床，寅初(三點(diǎn))批閱文件，辰時(shí)(七點(diǎn))約談下屬官吏，根據(jù)上級(jí)評(píng)價(jià)和自己判斷來了解官員。此外張之洞還將家丁從三名減至兩名，負(fù)責(zé)全部文書收發(fā)管理、引見接待賓客、外出跟隨等雜務(wù)，來壓縮財(cái)政開支。面對(duì)張之洞整頓作風(fēng)的舉措，山西官場(chǎng)如遇地震，習(xí)慣了巡撫尸位素餐任事不管的各級(jí)官員眾議沸騰，對(duì)張之洞“多事”之舉大加指摘。“省城局面，大有聯(lián)為一氣，口眾我寡之勢(shì)”，明里指責(zé)張之洞不合儒家治理思想的輿論壓力，加上布政使葆亨、冀寧道王定安等人暗里糾合親信使絆子打橫炮的阻力，使張之洞治理整頓的第一步就面臨嚴(yán)峻考驗(yàn)。

面對(duì)眾口一詞的壓力，張之洞“咬定青山不放松”，以“天人戰(zhàn)勝，看此一兩月耳”來堅(jiān)定信心，毫不動(dòng)搖推行整頓。對(duì)于暗處的阻力，張之洞啟用李秉衡、馬丕瑤等廉明官員，委以重任，“一人兼二事，甚或三事”，強(qiáng)力推進(jìn)自己的治理舉措。張之洞上任4個(gè)月內(nèi)，共上奏朝廷保舉賢良人才59人，自己考察發(fā)現(xiàn)的操守廉潔、勤政愛民、賑災(zāi)得力的官員直報(bào)朝廷予以嘉獎(jiǎng)，用選拔干部的正確導(dǎo)向來輔助整頓。同時(shí)，張之洞查明旱災(zāi)以來貪腐、克扣、擾民、昏聵等官員9名，上奏朝廷予以革職至降職不同處分，大大震懾了暗中使壞破壞整頓的葆亨等小集團(tuán)氣焰。經(jīng)過不到半年的勵(lì)精圖治，張之洞逐漸扭轉(zhuǎn)了官員的懶散作風(fēng)，走出了最為艱難的困頓時(shí)期，認(rèn)識(shí)到“晉事大有可為”，“今日之晉，雖不能為強(qiáng)國(guó)，足可以為治國(guó)，斷不至如從前之頹墻倒壁、烏煙瘴氣也”，“朝廷若假以三年，當(dāng)為國(guó)家治之”，展現(xiàn)出對(duì)治晉圖強(qiáng)的強(qiáng)烈信心。

經(jīng)過初步整頓之后，張之洞于任職半年之際，向朝廷上《整飭治理折》等五封奏折八份附片，系統(tǒng)匯報(bào)了自己治理山西的執(zhí)政思路，其中包括養(yǎng)民務(wù)本、養(yǎng)廉課吏、去蠹理財(cái)、輔農(nóng)興利、重士善俗、固圉圖強(qiáng)等六個(gè)方面二十種具體舉措，展現(xiàn)出以“治國(guó)平天下”為己任的特點(diǎn)。在整肅吏治方面，張之洞發(fā)現(xiàn)官員貪腐不盡職，不計(jì)官職高低一并查處。針對(duì)山西省財(cái)政賬目胡亂不堪的情況，張之洞選派清明廉潔官員負(fù)責(zé)成立清源局，逐筆清理30余年未清理的財(cái)政賬目。清查中發(fā)現(xiàn)藩司葆亨和冀寧道王定安存在貪腐行為，張之洞毫不顧忌二人為當(dāng)時(shí)朝廷紅人、兩廣總督曾國(guó)荃的親信，而上奏朝廷將二人革職充軍。有一個(gè)黑惡勢(shì)力糧油商人劉定邦(納捐得游擊銜，從三品，無實(shí)職)，張之洞發(fā)現(xiàn)他雇用打手強(qiáng)買強(qiáng)賣等不法行為，下令將其秘密逮捕，查明罪行后革職充軍，一并掃除這一黑惡勢(shì)力。除此之外，張之洞先后上奏朝廷，對(duì)屢發(fā)盜案而不能盡職破案的地方現(xiàn)任和前任文武官員11名分別給予嚴(yán)懲;革職查辦對(duì)私自侵吞稅款的官員3名;降職處理4名不法綠營(yíng)武官。對(duì)于發(fā)現(xiàn)的不法官員，即使已經(jīng)調(diào)任外省，張之洞一并上奏朝廷，要求他省協(xié)作抓捕后回晉治罪。

針對(duì)山西全省的煙患，張之洞特意研究制訂了系統(tǒng)的禁煙措施：一是幫助煙民戒煙。效仿李鴻章在天津設(shè)戒煙局的做法，大量購(gòu)買戒煙藥品免費(fèi)發(fā)放。二是嚴(yán)禁種植。明確嚴(yán)禁種植罌粟的同時(shí)，根據(jù)各地情況由農(nóng)民自行選擇種糧、棉或經(jīng)濟(jì)作物，對(duì)特別困苦的農(nóng)民免費(fèi)提供糧種。三是親自抓落實(shí)。逐一過目各縣報(bào)告，逐一批示，并反復(fù)組織州縣之間互查。如對(duì)崞縣與其所屬代州上報(bào)不一致之情況，張之洞要求該縣令親自查訪，不能單純相信鄉(xiāng)保的保證，并指出“該令向有篤守積習(xí)，自系聰明之病，毋再以此嘗試也”。又如對(duì)繁峙縣報(bào)僅種數(shù)畝的情況，批示“該令素欠精明，大率聽信丁役欺己之言，因即用以欺騙上司耳。現(xiàn)委雁平道往查，務(wù)得實(shí)在。該令好自為之，勿以多年讀書辛苦之官，棄之于‘昏、惰’兩字也”。由上述批示也可見張之洞對(duì)各縣縣令性格的了解熟稔程度。四是獎(jiǎng)懲并舉。張之洞對(duì)禁種成效突出的官員優(yōu)先保舉，對(duì)初辦不積極、經(jīng)督查后才盡力的進(jìn)行警告，對(duì)承辦不力的留用察看，對(duì)虛報(bào)瞞報(bào)的請(qǐng)旨撤任。五是立足實(shí)際不急功近利。張之洞上奏朝廷指出，從各地上報(bào)情況、本省戒煙藥物銷量和外省進(jìn)入山西之鴉片數(shù)量綜合判斷，全省總體禁種80%，如能同心協(xié)力堅(jiān)持，“三年以后，可期此害永除”。

對(duì)于治理山西的舉措，張之洞自稱是“儒術(shù)經(jīng)常之規(guī)”，意思是經(jīng)過歷史檢驗(yàn)的治理方法。經(jīng)過實(shí)際推行，山西省財(cái)政比清查前增多白銀七萬余兩、核銷欠款五十萬余兩，賬目混亂之弊一應(yīng)掃除，財(cái)政負(fù)擔(dān)大大減輕。后御史建議朝廷在全國(guó)推廣山西清查庫(kù)銀的章程做法。作風(fēng)整頓建設(shè)方面張之洞裁汰陋規(guī)，改革公費(fèi)報(bào)銷制度，禁止饋送官員水禮等，僅第一年一次就裁減巡撫衙門辦公經(jīng)費(fèi)一萬九千余兩和伙食補(bǔ)貼六千兩，將全省辦公經(jīng)費(fèi)逐項(xiàng)研究進(jìn)行裁減，一并廢除“查庫(kù)門包”等陋習(xí)，貧苦州縣全免原來負(fù)擔(dān)的山西省公費(fèi)，非貧苦州縣將原承擔(dān)公費(fèi)份額減半。經(jīng)統(tǒng)計(jì)全省上下僅裁減公費(fèi)一項(xiàng)全年節(jié)省開支七萬八千余兩。在養(yǎng)民撫農(nóng)方面，張之洞根據(jù)山西承擔(dān)差徭、攤捐等情況，在全省以魚鱗冊(cè)清查土地，上奏朝廷前任地方官員虛報(bào)墾荒田畝數(shù)量的情況，以減免百姓錢糧差徭;清理全省負(fù)擔(dān)各類朝廷攤派，請(qǐng)朝廷允許以地方賦稅折抵山西應(yīng)上交朝廷之平鐵五年，不再向山西攤派本地不再出產(chǎn)的綢絹紙張。在張之洞與山西官民的共同努力下，山西人民之負(fù)擔(dān)大大減輕，旱災(zāi)所傷的民眾元?dú)庖仓饾u恢復(fù)。