胤祥的生母章佳氏，在康熙帝后妃中并沒有顯赫的地位，她出身一般，是滿洲鑲黃旗參領海寬的女兒。而且她享壽也不長，康熙三十八年(1699年)去世，身后留下了14歲的胤祥、13歲的皇十三女和9歲的皇十五女。

胤祥在康熙帝的三十六個兒子中，排行十三，幼年喪母之后，胤祥便由胤禛的生母烏雅氏撫養，胤禛比胤祥大八歲，可能是命運的安排，胤祥一生和他的四哥最為親善，并影響了他的一生。

胤禛是烏雅氏的第一個兒子，不過這個兒子并不是自己親手撫養的，而是給了孝懿仁皇后撫養。皇后只生過一個女兒，不幸早夭，故而將胤禛抱去撫養以填補無子之痛。烏雅氏雖然舍不得兒子，但皇后能看上自己的兒子，這也是天大的面子，家世平凡的烏雅氏，又有什么可以抱怨的呢。

胤禛作為哥哥，自然承擔了教育弟弟胤祥的任務。由于康熙早年已經確立了太子，名分已定，其他皇子自然沒有非分之想。胤禛將主要的時間花在讀書上，對這個小自己八歲的弟弟，自然也花了更多的時間照顧。成年后，胤祥還時常回憶起皇兄教自己數學的經歷。

幼時的胤祥，虎頭虎腦，一幅淳樸的形象，備受康熙喜愛。對于皇父，胤祥也是無與倫比的崇拜。一次康熙帝與諸子在宮內游玩，年幼的胤祥也跟著同游。康熙與眾皇兄走過之后，胤祥未能跟上，一個人被落在后面。

呆萌的胤祥，突然做出了驚人之舉，他趴在地上，像條寵物狗一樣“尋履跡伏地嗅之”，想以此追蹤父皇的蹤跡。

在康熙的心目中，胤祥總是很體貼，也很聽話，時刻都能想父皇所想，認為他“生秉粹質，至性過人”，對他也格外寵愛。

康熙三十七年，十三歲的胤祥第一次跟隨父親去盛京，拜謁遠在遼東的大清先祖們的陵寢。此后無論是巡游江南，秋圍塞外，視察河工，康熙總是將胤祥帶著身邊。

康熙一生共有六次南巡，胤祥陪同了四次。康熙四十二年，胤祥跟隨父皇南巡。由于胤祥書法不錯，康熙特命胤禛與胤祥一起書寫對聯，在群臣的注目下，胤祥一氣呵成，文墨工敏，群臣無不稱贊。

然而，胤祥的命運和性格，在康熙四十七年皇太子胤礽被廢之后，發生了翻天覆地的改變。

蘇州人何焯，早年落魄，在蘇州靠教授私塾為生，后來經過李光地的推薦，以草澤遺才而入南書房，并奉旨在八阿哥胤禩府中擔任老師。

何焯在給友人的信中提到：“十三殿下乃康熙帝所鐘愛也”。這還不夠，有著一顆非凡八卦之心的何焯，在給他弟弟的信中，又生動地描述了楊國維被選中陪皇十三子讀書，而康熙一直認為楊國維詩文無人能出其右，現在讓他陪伴十三殿下，“將來遭遇不可知也”。

何焯是八阿哥胤禩的老師，而胤禩又是皇位繼承人最有力的競爭者，連何焯都如此看，一時間，十三阿哥要成為太子的風聲，傳的沸沸揚揚。

如此一來對胤祥很不利，形勢急轉而下，胤祥被冷落了。對胤祥的冷落，表現在方方面面，以前康熙出行，身邊總少不了胤祥，此后不管去何處，再也不見胤祥的蹤影。

康熙四十八年，康熙大封皇子，胤祉，胤禛、胤祺被封為親王，其他諸皇子，或為郡王，或為貝子。沒有授封的成年皇子只有胤祥，此時他已經二十四歲。

康熙五十一年，康熙遍賜銀兩，上至親王，下至御前侍衛都得到了封賞，就連爭奪太子之位而被拘禁的胤禩也得到了賞銀，但胤祥一兩銀子也沒得到。

康熙冷落胤祥，其中的原因，是他以為這個讓他喜愛的皇子，也開始覬覦太子的位置。晚年的康熙杯弓蛇影，被兒子們傷透了心。他最厭惡的就是皇子們流露出來的野心，曾放出狠話：“如有鉆營為皇太子者，即國之賊也。”

胤祥自小就沒有野心，固然沒有想當太子的意思，可是各種傳聞終究到了康熙的耳朵里。愛之愈深，恨之愈切，自己最喜歡的皇子，曾經在地上嗅著氣味追尋皇父蹤跡的胤祥，竟然也有如此心機。失望悲切之下，康熙開始冷淡胤祥，并告誡其他大臣皇子警惕他。

在其他皇子的請安折上，康熙的批示明確流露出了對胤祥的厭惡，認為他是“不大勤學忠孝之人”，“爾等若放任之，必在一處遇到他，不可不防”。康熙生病之后，在病榻之上還傳諭旨給托和齊，讓他留心胤祥：“現在朕龍體欠佳，流言蜚語四起。這些言語皆出自正藍旗，你一定要切實留意。”

皇子和群臣心里都明白，老皇帝雖然沒有點名，但他所說的正是屬于正藍旗的胤祥。

在康熙的晚年，胤祥仿佛是個被遺忘的人。胤祥默默旁觀其他皇子的激烈角逐，他超然于世外，除了皇四兄，他不與其他人來往。

至于流行于各網絡及影視中的胤祥被康熙“十年圈禁”一說，純屬文學作品杜撰，不足采信。有大量史料為證，如皇子請安折、胤祥出席康熙六十大壽等。這些都足以證明，胤祥在康熙四十七年(1708年)至康熙六十一年(1722年)的14年中擁有行動自由。