复杂性状的变异来源于基因、环境以及二者间互作,而基因又能通过加性、显性以及上位效应对表型产生影响。目前,农业动物中开展的全基因组关联分析（GWAS）,却往往只简单考虑位点间的加性遗传效应,忽略了显性、超显性以及基因与环境的互作等非加性遗传效应,而这会造成有些数量性状基因座（QTL）在检测过程中的遗漏,也就不能系统全面地揭示复杂性状的遗传机理。本研究分别从两个方面对传统加性GWAS分析方法进行优化和提升,一是考虑性别对遗传结构的影响（即基因与性别的互作,性别可视为一种生物内环境）,二是在加性GWAS模型的基础上加入显性遗传结构的矫正和显性遗传效应的检测。并针对上述两个研究方向,开发出两套异于传统加性GWAS模型的分析流程,旨在检测:（1）因基因与性别的互作,而在雄性和雌性个体中存在效应差异的QTL（Sex-sepcific QTL）;（2）因同一位点上不同等位基因间的作用,而表现为显性或超显性遗传类型的QTL（Dominant和Overdominant QTL）。然后我们将两套分析模型应用于三个不同的家系群体,猪F2资源家系（n=1005）、大鼠嵌合家系（n=1407）和小鼠嵌合家系（n=2002）,使用众多表型数据（血液、免疫、胴体、生长、骨骼以及多种焦虑和恐惧相关的行为学实验）和多种组织的基因表达量数据（肌肉、肝脏、肺脏和海马体）,来系统地研究基因与性别的互作以及等位基因间的显性效应对复杂性状遗传结构的影响。在基因和性别的互作分析方面,本文从猪F2资源家系中挑选出213个性状进行研究。首先,分析性别对不同性状的效应,并发现性别对102个性状存在显著影响（q value<0.05）。其中,公猪表现出更高的腹脂重、肌内脂肪含量和饱和脂肪酸含量,而母猪则拥有更高的不饱和脂肪酸含量和早期日增重。然后,评估公母个体在性状遗传力上的差异,并发现公猪的肉质、肢体评分和血糖性状存在更高的遗传力,而母猪则是在脂肪酸组分、早期体重和皮肤厚度上遗传力更高。接着,对公母猪进行分组GWAS,通过构建一个统计量Z值比较单个位点上SNP效应在公母猪之间的差异程度,检测遗传效应显著受到性别影响的QTL,发现43个与性别有显著互作的QTL(P value<2.5×10-5),这些QTL与22个涉及猪肉品质、脂肪酸组成、血液参数和采食量的性状显著关联,其中包括一个能显著影响两种猪肉红度性状（Hue angle和Minolta a*values）的QTL（chr6:9.3-10.7 Mb）,在该QTL内我们鉴定到一个与猪肉红度存在直接联系的候选基因（NUDT7）。最后,通过公母分组GWAS,我们新检测到了2035个的显著关联SNP位点（相当于传统GWAS所检测全部SNP的13.6%）。这些结果都表明了性别与基因的互作是影响复杂性状变异的重要遗传机制。在显性效应方面,本研究同时使用了猪、大鼠和小鼠三种家系进行跨物种分析。基于已有的混合线性模型线性变换理论（Transformed Linear Mixed Model）,我们开发了用于检测加性、部分显性、显性、超显性QTL,并能同时矫正加性和显性亲缘关系矩阵的模型和软件。首先,通过数据模拟检验这些模型的特异性和敏感性,结果显示本研究开发的方法对于各种遗传结构的表型（无论是加性遗传效应为主,还是显性遗传效应为主,或是两者的混合）,都稳定地表现出较高的检测效力,而传统只考虑加性效应的方法,却在显性效应为主的表型中检测效力欠佳。其次,我们系统分析了猪、大鼠和小鼠等三个物种资源群体的表型和基因型数据,并得到以下几个新发现:第一,方差剖分分析显示,免疫性状、血液性状、血清生化性状和生长性状在猪、大鼠、小鼠三个物种中均受到较强显性效应的影响。第二,利用同时考虑加性和显性效应的全模型,在猪、小鼠、大鼠中分别检测到了352个、179个和116个达到建议性显著水平的QTL（采用Bonferoni矫正法,分别约为4.5,4.8和4.0）,接着通过比较这些QTL位点上的加性和显性效应,将它们分成了加性、显性和超显性QTL,这三种类型QTL的比例分布在三个家系中非常相近,平均为55.6%:16.1%:28.3%。第三,从以上检测到的显性和超显性QTL区域内,我们筛选到很多与对应表型相关的候选基因。例如,对于猪资源家系,我们在与240日龄体重相关的显性QTL（chr7:27.5-35.71 Mb）中,鉴别到包含HMGA1基因和MLN基因;与46日龄血红蛋白含量相关的超显性QTL（chr5:5.36-5.53 Mb）内,鉴别到ADSL基因。对于大鼠嵌合家系,在红细胞平均血红蛋白含量显著相关的超显性QTL（chr19,53.56-54.79 Mb）内,鉴别到FANCA基因;与CD8+T细胞含量相关的超显性QTL（chr9,3.78-4.67 Mb）内,鉴别到PLCL2基因。对于小鼠嵌合家系,在与CD8+T细胞在CD3+T细胞占比相关的超显性QTL（chr17:35.28-37.27 Mb）内,鉴别到BAT3基因;与血糖含量相关的超显性QTL（chr9:45.24-46.34 Mb）内,鉴别到APOA5基因。第四,我们还对家猪和小鼠两个群体的转录组数据进行了表达性状基因组（e QTL）分析,定义与目标基因物理距离小于1 Mb的位点为cis-e QTL,反之为Trans-e QTL,并发现显性和超显性e QTL中反式作用（Trans-acting）的富集。