热毛细对流是由于表面张力不均匀而驱动的流动，是自然对流中广泛存在的一种流体运动形式。对热毛细对流现象及其对流不稳定性的研究，将有助于人们更深入地了解热毛细流动体系的对流传热、流动振荡及稳定性、分岔和混沌等非线性特性。本文通过实验对矩形液层热毛细流动的转捩途径以及表面波动特性进行了系统研究，总结得到了一系列具有创新性和前沿性的成果。　　对矩形液层热毛细对流转捩的实验研究，需要结合多种测量手段同时进行。实验中我们搭建了单点温度测量系统、表面温度场观测系统和单点速度测量系统，分别对流体液层内部温度振荡、液层表面波动和液层内部速度振荡情况进行了详细研究。　　通过热电偶对温度振荡的测量和LDV对速度振荡的测量发现，液层热毛细对流的转捩过程依次经历了无振荡层流、规则振荡、不规则振荡的演化。在对流转捩过程中，我们发现了三种主要的分岔形式，包括准周期分岔、倍周期分岔和切分岔。在不同的实验条件（Prandtl数Pr和长高比Γ）下，对流转捩的途径往往会有所差别。一般来说，在Pr=16，Pr=21以及Pr=25、Γ≥20.8的实验中对流主要以准周期分岔转捩途径为主;而在Pr=29和Pr=25、Γ＜20.8的实验中对流主要以倍周期分岔的转捩途径为主;切分岔的出现会有一定的随机性，但在Bd=1附近出现较为频繁，这也说明浮力和热毛细力的耦合作用会使对流转捩途径更加复杂多样。此外，我们还通过线性稳定性理论和耗散结构理论对分岔和转捩进行了讨论。　　通过红外热像仪我们研究了液层表面温度场在对流转捩过程中的变化，对表面波动不稳定现象也进行了分析和总结。实验中发现长高比Γ不同，浮力作用对表面不稳定性的影响也就不同。在热毛细力主导的对流（Γ≥20.8）中，转捩过程为:出现卷圈结构（定常流）-产生热流体波-热流体波叠加-形成Ⅰ型振荡流;在浮力主导的对流（Γ＜20.8）中，转捩过程为:出现卷圈结构（定常流）-出现表面流动-表面多种波动形式叠加振荡-产生扰动波并形成Ⅱ型振荡流。随后我们对表面波动进行了时空演化分析，发现在一定程度上热流体波的传播波速与传播角度对Γ的大小更加敏感;在浮力主导的对流中，热流体波依然存在，只不过会被表面流动所掩盖。　　本文最后通过多种分析方法对温度振荡数据进行了混沌动力学分析，包括相空间重构的定性分析方法和最大Lyapunov指数以及排列熵的定量分析方法。在对流转捩过程中，随着分岔次数的增多，相空间中的轨道发散程度越来越大，系统的不规则性也逐渐增大;随着Ma的增加，最大Lyapunov指数和排列熵也是逐渐增大，表明流动不断从层流向不规则的混沌状态演化。