清朝末期興辦洋務，因為開平煤礦正式投產后，大量的煤炭要運往外地，為解決煤炭運輸問題，有人提出學習英國發展鐵路運輸。光緒七年(1881年)，李鴻章指派唐廷樞策劃修建唐胥鐵路。修建這條鐵路的目的，是解決開平煤的外運問題和謀取開平煤礦更大發展。開平煤礦所產原煤，除自用和就地銷售外，主要銷往天津。唐山距天津二百四十里，要從陸地運往蘆臺，然后改為水路，從大沽口到天津。運量很大，僅靠馬拉運費很高。如果唐山至蘆臺發展鐵路，火車運煤，既減少運輸的麻煩又能降低成本。

唐廷樞在1877年9月請準開礦報告中，原有由開平至蘆臺修建一百里鐵路的計劃。因辦礦資金不足，擬先修建開平至胥各莊一段。1878年發生在上海的吳淞鐵路傷人事件，引發了對開平煤礦的“阻路”風潮，頑固派借口唐山靠近帝王陵寢，機車駛動“震動陵寢，噴出黑煙有損稼禾”，大加反對，清政府收回批準，筑路計劃未能實施。于是唐廷樞便將修路之事放下，開始籌劃挑河運煤。當時挖了一條東起豐潤縣的胥各莊，西至寧河縣蘆臺河口閻莊的運河，因胥各莊至唐山的地勢逐漸升高，無法開河。李鴻章授意唐廷樞再次奏請修建運煤輕便鐵路，申明為免于震動東陵，用騾馬牽引。李鴻章為此積極斡旋，清政府最終同意修建鐵路。據《中國交通史》記載，唐胥鐵路于光緒七年(1881年)五月十三日興工，六月五日釘第一枚道釘，十一月竣工。唐胥鐵路僅長十九華里，它是我國第一條自建鐵路，確立了中國自己的鐵路標準軌距。唐胥鐵路東起唐山，西南至胥各莊，總占地近二百六十畝，工程造價二萬五千兩白銀。采用由英國進口每碼30磅的輕鋼軌，軌距采用英國標準。1881年底唐胥鐵路開始投入使用，用騾馬在鋼軌上拖曳煤車，稱為“馬車鐵道”。1882年6月，開平煤礦全面投產，牽引力小、速度慢的馬車鐵道難以滿足運輸需要，才改為使用蒸汽機車。

中國的鐵路從這里延伸出去，這里是中國鐵路之源，也是我國鐵路建設的偉大開端。隨著開平煤礦的發展，唐胥鐵路不斷延伸。1886年，為了解決冬季河流封凍影響運輸、阻礙煤礦發展的問題，在李鴻章倡導下，成立開平鐵路公司，招集商股二十五萬兩，并由胥各莊往西續建鐵路九十里至蘆臺，1887年5月竣工。1888年，延伸至天津。唐胥鐵路往東1890年修至古冶，1893年修至山海關，使津榆鐵路全線貫通。唐胥鐵路不斷向東西延伸，1896年由北京到山海關全線貫通，稱為關內鐵路，為清政府所有。

1881年，唐胥鐵路正式投入使用后，開平鐵路公司收購唐胥鐵路和修理廠(現唐山機車車輛廠前身)。是年底，在李鴻章的倡導下，由英國工程師金達繪圖設計，開平鐵路公司采用礦場起重鍋爐和從卷揚機上拆下來的發動機等舊料，以及從國外當廢鋼買進的三對動輪，用舊井架的槽鋼制成的底盤、車體，制造出了一臺牽引力100余噸、時速5公里、總造價不超過80英鎊的蒸汽機車，這是中國自行制造的第一臺機車。當時開平礦務局的英籍總工程師，仿造史蒂芬孫1829年設計的著名機車“Rocket”號為之命名為“RocketofChina”(“中國火箭”號)。參與制造的中國工匠又在車頭兩側各鑲嵌了一條金屬刻制的龍，因此又被稱為“龍”號機車。“龍”號機車長18英尺8英寸(約合5.7米)，只有三對動輪而沒有導輪和從輪，軸式為0－3－0，輪式為0－6－0。金達不動聲色地讓機車行駛了幾個星期，不久便被清政府命令停駛，只好恢復馬拉火車的運輸原狀。1882年，由于開平煤礦的產量劇增，馬拉火車已經不能滿足運輸需求，金達又重新打起了機車的主意，設計和制造了第二輛機車。這臺機車設計規范、制作精良，遠勝于第一臺，甚至可以和同時代的外國機車相媲美。由于清政府剛剛建成的北洋艦隊急需燃料，通過李鴻章和開平礦務局的上下疏通，蒸汽機車又投入運營。

為了保障機車的正常行駛，開平礦務局還建立了胥各莊鐵路修理廠。光緒十年(1884年)，唐胥鐵路向西延伸至塘沽，由開平鐵路公司接管，修理廠由胥各莊遷至唐山西馬路，改成唐山修車廠。關內鐵路總局在唐山修車廠以南買地興建新廠，老廠陸續遷至新廠，于是這里被唐山人稱為“南廠”。這是中國鐵路史上的第一個機車廠，是現在中國北車集團唐山機車車輛廠的前身。中國鐵路機車車輛工業在這里起步，制造出中國第一臺蒸汽機車，宣告了鐵路機車車輛“中國制造”的開端。在一百多年的發展過程中，唐山機車廠接續制造了：中國第一輛軌道檢查車、第一列雙層內燃動車組、第一輛擺式客車、第一輛70%低地板車、第一輛中低磁懸浮工程化樣車等，創造了中國鐵路發展史上的諸多第一。