“胡人”的说法出现很早。五胡十六国时期，前秦淝水落败后，诸族纷纷起事，苻坚一直宠信的羌人首领姚苌也举兵反秦，最后俘获苻坚。姚苌向苻坚索要传国玉玺，苻坚一脸不屑，怒斥姚苌：“小羌敢逼天子，五胡次序，无汝羌名。”这是“五胡”一说最早见于史端的记载。《过秦论》 中有“胡人不敢南下而牧马，士不敢弯弓而报怨”一说，这里的胡人，主要是指匈奴人，也包括那些敢和汉室作对的其他少数民族，比如东胡，它因居于匈奴之东而得名，也就是匈奴人东边的胡人。东胡的后世，便是鲜卑与乌桓二族。
　　胡人成气候，是在五胡十六国时期。当时，匈奴、鲜卑、羯、氐、羌五个游牧民族入侵中原，纷纷建立政权。这一时期是胡汉矛盾冲突最激烈、最尖锐的时期，习惯上被称做“五胡十六国”。胡人相对于汉人，先进程度较低，风俗也不尽相同，又总是武力骚扰边境。汉族官方也好，百姓也罢，对这些人自然没什么好感，也就说不出什么好话。因此，将汉胡关系比作正邪两面，所谓“邪正不并存，譬如胡与秦”，是这一时期的主导思想。但“胡人”这一概念本身，只是基于中原视角提出的对居住在西北的游牧民族的一种泛称，其中并没有掺杂任何感情色彩。