回族的服飾既有歷史的繼承性，又受到了伊斯蘭文化和中國漢族服飾文化的影響。

我國唐朝的杜環在唐和大食的一場戰役中，戰敗被俘，把他自己在其地的所見所聞作了記錄，其中談到大食的服飾：“(大食)一名亞俱羅，其大食王號暮門，都此處。其士女瑰偉長大，衣裳鮮潔，容止閑麗。女子出門，必擁蔽其面。……系銀帶，佩銀刀”。這些大食人有不少后來到中國經商，把這種服飾上的習俗自然也帶到了中國。

《新唐書》第一次記載了伊斯蘭教教民的形象、服飾和宗教活動。據稱：“大食本波斯之地，男子鼻高，面黑而髯，女子白皙，出門障面，日五拜天神，系銀帶，佩銀刀……”從這些記載可以看出，阿拉伯、波斯等地來中國的穆斯林，特別是穆斯林婦女的服飾打扮，還是很有特色的。

宋代朱彧在《萍洲可談》中載：“廣州蕃坊，蕃人衣裳與華異……”唐宋時期，有大量的阿拉伯、波斯來的穆斯林商人，一般都被稱為“蕃客”，這是回族的先民。這就看出，當時回族先民的服飾與漢族不同，是有自己特點的。顧炎武《天下郡國利病書》中則記載得更明確：“宋時蕃商巨富，服飾皆珍珠羅綺，器用皆金銀器皿。”可見他們當時穿的是有花紋的絲織品，佩戴戒指，使用金銀器具等。

回族男子頭纏“戴斯達爾”、戴白帽的習俗，也在很早以前就有了。宋代周輝《清波別志》說：“層檀，南海旁國也。貴人以好越布纏頭。人之言語如大食。”

元代，回族人的政治、經濟、文化地位都比較高，回族人的服飾習俗和其他習俗一樣，都是自由的，沒有任何限制，有著漢族服裝的，有穿阿拉伯、波斯等地樣式的，有自制的白帽、巾袍和鞋等，開始向民族服裝發展。但是，到了明代，回族人的服飾習俗就開始受到限制。

回回民族不是依據信仰習俗和祖先的服裝樣式，結合在中國居住發展的實際來想穿什么就穿什么，想怎么打扮就怎么打扮，而是受到了統治階級的強迫命令和限制。明太祖朱元璋建國后，采取禁止“胡服”的政策，逼著回族人民著漢裝，這樣，回回民族開始形成的服飾習俗就不能很快得到發展，也不能受到尊重。

到了清代，統治階級對回族人民更存偏見。雍正初年，山東巡撫陳世宮和署理安徽按察司魯國華等地方大員向清廷上疏，對回民的服飾、信仰等橫加指責、干涉，妄加罪名，說回民“平日早晚皆戴白帽，設立禮拜……”因此，他建議：“請令回民遵奉正朔，服制，一應禮拜等寺，盡行禁革。……戴白帽者以違制律定擬。”

這樣，回族的服飾，既受到了伊斯蘭教的影響，又受到了統治階級的強迫限制。但是，回族服飾并沒有因為統治階級禁止就完全屈服而全部改著漢裝，而把一些帶有伊斯蘭教特色和民族特色較濃的服飾習慣，堅持和保留了下來。如清代袁大化《新疆圖志》記載：“阿訇之帽，上銳而高，檐以白布綻之，厚二三寸，脫帽為敬。入門必解履。

婦女必障面。皆古制也。”又說“惟寺中禮拜，戴棱冠。上銳下圓，五色皆備，而白者為多”。直到今天，回民仍然頭戴白帽，有的頭纏“戴斯達爾”，女的搭蓋頭等，這都是回族服飾習俗發展變化的重要特征。