小尺度矩形冷却通道在工业换热设备、核电站设备及航空航天动力热防护系统中应用十分广泛,其内部的流动传热过程倍受研究者们关注。其中,以超临界碳氢燃料为冷却剂工质的单面加热冷却通道不同于周向均匀加热的圆形冷却通道,存在跨临界流动、温度分布不均匀等自身特殊性。本文以毫米量级矩形通道为研究载体,开展了基于三维流/固/热耦合模型的流动传热数值计算和实验研究。本文采用物性计算方法对超临界压力下的正癸烷进行了热物性处理,并考虑高压影响对一些参数计算进行了修正,结果与NIST数据库对比平均误差在10%以内;为讨论单面加热件下通道内的温度不均匀现象形成机理及其对传热影响的规律,本文建立了四种不同通道高宽比AR=1,2,4,8数值计算模型,通过定义温度不均匀系数及有效湍流热扩散系数,详细分析了温度分层形成机理及对传热的影响,结果表明在一定范围内增加高宽比可以起到增强换热的效果;最后,通过对比计算有无固体域模型,说明考虑固体域耦合计算的必要性。在通道高宽比研究的基础上,为了探索在小尺度矩形通道内的强化传热方法,本文基于换热设备中常用的三种强化换热方式,粗糙元、三角翼涡发生器及壁面球凹陷,对比开展了强化换热机理及效果研究。结果表明涡发生器强化换热效果最明显,而球凹陷流动阻力最低。考虑压降损失影响,球凹陷强化换热方法在小尺度矩形通道内应用潜力很大。以球凹陷强化换热元为研究对象,考虑单通道侧壁影响效应,讨论了凹陷的排布间距及方式对通道内流动传热的影响。凹陷排布间距较小时,可以获得较好的强化换热效果,但是带来的压降损失也较大;在基于相同凹陷排布密度的前提下,相比于单排凹陷双排凹陷可以获得更高的换热性能和更低的流动损失。而且,两种排布方式下通道内的流动现象存在很大差异;相比于光滑通道,在一定温度范围(亚临界区)双排凹陷能够起到强化换热效果,而在超临界温区并不能获得强化换热效果。本文最后建立基于窄缝矩形通道的强化传热实验平台,对带有球凹陷的通道和光滑通道开展了不同预热段出口温度和冷却流量条件下的换热效果测量。实验结果表明,球凹陷可以明显起到强化换热效果,且在亚临界温度范围内传热温度增加,球凹陷强化传热效果逐渐增强。