西安市北院门化觉巷内，有一座在全国占地规模最大的清真寺，叫东大寺。同广州的怀圣寺、泉州的麒麟寺、杭州的凤凰寺一样，是中国历史上最悠久的伊斯兰教寺院之一。

早在公元七世纪初，伊斯兰教已经传播到唐朝。据《闽书》记载：伊斯兰教的先知穆罕默德“有门徒大贤四人，唐武德（公元618—625年）中来朝，遂传教中国”。唐高宗永徽二年（公元651年），信奉伊斯兰教的大食国派使者到长安，在此后的147年中，大食又遣使来唐共达36批之多，这在《旧唐书·大食传》里有较详细的记述。安史之乱时，大食国王应唐玄宗之请，又派遣一支四千多人的军队参与平叛，战争结束后，一部分军人留住关中，这大概就是第一批到中国来的伊斯兰教徒。至于这些伊斯兰教徒的宗教生活情况，吝于史料，目前很难讲述清楚。如今立于东大寺中的一通石碑，名曰“创建清真寺碑”，碑题为唐天宝元年（公元742年）由户部员外郎王鉷撰文，说东大寺也始建于唐朝，但是，经中外学者考证，一致认为，这纯系后人假托，是不足为凭的。

宋朝时候，中国北部和西部的民族随着对中原战争的胜利，又一次大规模内迁。当时，以西安为中心的西北地区，已经居住着数量可观的被称为“回回”的族群。如宋徽宗宣和三年（公元1121年），宋臣寮言：“回鹘因入贡，往往散行陕西诸路，公然贸易，久留不归者有之。”回鹘又称为“回回”。北宋科学家、政治家沈括在知延州（延安）时，曾为边兵凯旋归来时所唱之“凯歌”作词，其中有这样的歌词：“旗队浑如锦绣堆，银装背嵬打回回。先教净扫安西路，待向河源饮马来。”（《梦溪笔谈》）就是明证。这是“回回”这个名称第一次出现在中国历史上。当然有学者认为，沈括所说的“回回”，应是盛唐以来居住在河湟地区（今甘肃、青海一带）的回鹘人，但是，自盛唐以来移住在关中的回鹘以及西域和中亚的居民也不在少数。历五代以至宋末，中国和阿拉伯诸国的经贸活动不断发展，来往两地的伊斯兰使者和商人留居中国者较唐时更多。这些侨居者被称之为：“番商”、“番客”；其居住地被称之为“番坊”、“番巷”。据史书记载，在宋朝的军队里，也有选拔“番兵”的举措，这“番兵”就是从“具籍塞下内属诸部落”中选拔出来的，而这里的“诸部落”其中包括信仰伊斯兰教的族群。据《宋史·兵志》记载，从宋英宗治平四年（公元1067年）以后，仅从鄜延路就选择“番兵一万四千五百九十五，官马二千三百八十二，强人六千五百四十八，壮马八百十”，可见“内属诸部落”的人口已经为数不少。

到了蒙元时期，在对南宋的战争中，被征调的以回回军为主力的京军就有二三百万人。他们被编入“探马赤军”，“上马则备战斗，下马则聚牧养”。元朝建立后，元世祖下令“探马赤军随地入社，与编民等”，当时，信仰伊斯兰教的族群迅速增加，居住在陕西的为数众多。据《元史·兵志》记载：“陕西京兆、延安、凤翔三路诸色人户，约六万户内，签军六千。”这里的“诸色人户”理应包括“回回”，这是侨居在中原的人口最多的伊斯兰族群。其二，元朝的上层人士也利用权势和宗教的影响力，使得大批外族群众皈依伊斯兰教。据波斯人拉施特主编的《史集》（汉译本）记载：元世祖至元九年（公元1272年），安西王忙哥剌和他的儿子阿难答分署陕西、甘肃，阿难答作为虔诚的伊斯兰教徒，他曾利用他的影响，“使依附于他的十五万蒙古军队的大部分皈依了伊斯兰教”。时至今日，在西安城东北的原安西王府所在地，还保留着元朝色目人的地名。三是，元朝把全国老百姓分成蒙古人、色目人、汉人、南人四个等级，明文规定，各级政权中的重要官职多由蒙古人、色目人担任。所以有许多回回的上层人士在陕西做官，卸任后又带着他们的亲兵、奴仆，定居在这里，成为回回的重要组成部分。据《元史·赛典赤赡思丁传》记载：赛典赤赡思丁是元朝一位名臣，先后作过陕西、四川行省平章政事。他的儿子纳速拉丁后来也在陕西任平章政事，最终死于任所，这个家族全都留在陕西，这就是陕西回族中很有名望的纳家族。四是，大批回回商人留居陕西。回回善于理财经商，足迹遍于各地，《明史•西域传》就有“元时回回遍天下”的记载。元朝时候，西安是西北的商贸中心，许许多多的回回商人，便定居在这里。元朝信仰伊斯兰教的回回，主要由这四部分人群组成，只是由于他们特殊的政治地位和不同的生活习惯以及语言隔阂（主要使用波斯语和阿拉伯语），当时并不能同汉族融洽相处。

明朝时候，回回同汉族杂处，逐步学习使用汉语，开始融入以汉族为主体的中国社会。明人陆容《菽园杂记》还记载回回赞赏汉人尊孔的事：“回回教门异于中国者，不供佛，祭神，不拜尸。所尊敬者唯一天字。最敬孔圣人。故其言云：‘僧言佛子在西空，道说蓬莱住海东。唯有孔门真实事，眼前无日不春风。’见中国人修斋设醮，则笑之”。这无疑会受到汉族人的赞赏。同时，明朝政府采取同化政策，强迫回回同汉族和其他民族的人结婚，禁止蒙古人、色目人自相嫁娶，这在《大明律》上有明文规定：“凡蒙古色目人，听与中国人为婚姻，不许本类自相嫁娶。违者，杖八十，男女入官为奴”。尽管当时色目人已不再是统治者，但他们的私人财产受到保护，一般家庭还是比较殷实的，所以汉族女子也乐意嫁过去。这样，回回这一族群的人口依然增长很快。这时，回族之名取代了回回，正式作为中华民族的一员，登上了历史的舞台。