触觉再现是虚拟现实与人机交互领域的前沿技术,应用触觉再现技术的智能手机和平板电脑等多媒体终端在教育、娱乐和医疗等领域具有广阔的应用前景。通过触觉再现技术,用户可以感知视觉对象表面形状、纹理及粗糙度等触觉特征,丰富了用户的交互体验。触觉反馈渲染可以将视觉对象的触觉特征转化为力触觉信息,是触觉再现技术实现的关键。基于裸指的触觉再现技术因其更加符合人机交互的自然性和高效性而备受关注,目前应用在多媒体终端上的裸指触觉再现技术主要包括静电力、空气压膜和机械振动三种方式。基于上述一种触觉再现方式的渲染方法研究已经取得了许多进展,但是由于自身的物理机制原因,导致应用一种触觉再现方式的触觉反馈力的维度以及调节范围有限,无法满足多媒体终端对触觉再现真实感的需求。近年来国际上开展了融合静电力和空气压膜以及融合静电力和机械振动的触觉渲染方法研究,结果表明能够显著提高触觉再现的真实感。本文在此基础上继续研究融合静电力、空气压膜和机械振动三种力反馈方式的触觉渲染方法,探索进一步提高多媒体终端触觉再现真实感的新方法。以自主研发的融合静电力、空气压膜和机械振动的三元融合触觉再现装置为平台,重点研究六点制盲文、图像轮廓以及图像纹理的多元融合触觉渲染方法等问题。主要创新性工作如下:(1)提出了融合静电力、空气压膜和机械振动三种方式的六点制盲文触觉渲染方法,在平板电脑上实现了六点制盲文触觉再现,感知实验结果表明,与仅采用静电力方式的渲染方法相比,所提方法将六点制盲文识别率提高了17.5%。该方法包括灰度特征提取、映射关系建立和幅度映射矩阵计算三个部分,依据盲文凸起点和盲文非凸起点的感知差异性,借助盲文不同区域的灰度特征,利用静电力、空气压膜和机械振动触觉驱动信号幅度分别映射六点制盲文的凸起点、非凸起点和非背景区域的灰度特征。十二名实验者对不同渲染方法下的十个不同的六点制盲文进行感知识别,通过计算正确识别率对所提方法与对比方法进行分析。(2)提出了融合静电力、空气压膜和机械振动的图像轮廓特征触觉渲染方法,在平板电脑上实现了图像轮廓特征的触觉再现,感知实验结果表明,与现有融合静电力和空气压膜以及融合静电力和机械振动的两种触觉渲染方法相比,所提方法将轮廓形状识别率分别提高了21.6%和14.7%。该方法包括梯度特征提取、反馈力模型建立和幅度映射矩阵计算三个部分,依据图像轮廓梯度特征与指尖切向受力的正比例关系,采用静电力和空气压膜提供的切向反馈力映射图像轮廓梯度特征;采用机械振动提供手指所受的法向反馈力,建立机械振动信号幅度与图像轮廓梯度特征之间的映射关系。二十名实验者对不同渲染方法下的四种轮廓形状进行感知识别,通过计算正确识别率对所提方法与对比方法进行分析。(3)提出融合静电力和机械振动的图像纹理特征触觉渲染方法,在平板电脑上实现了图像纹理特征触觉再现,感知实验结果表明,与现有融合静电力和空气压膜(4.9分)以及融合静电力和机械振动(5.0分)的两种触觉渲染方法相比,所提渲染方法(7.1分)提高了图像纹理的触觉再现真实感。该方法包括感知模型建立、纹理特征提取和幅度及频率映射矩阵计算三个部分,根据高斯曲率在图像纹理表面某点的凹凸性,采用静电力触觉驱动信号的幅度和频率映射图像纹理高斯曲率特征;依据图像纹理表面高度特征与真实纹理表面高度之间的正比例关系,采用振动触觉驱动信号幅度映射图像纹理高度特征。采取十分制主观评分法对不同渲染方法下的四幅图像纹理的真实感进行评分,通过计算二十名实验者的平均评分值对所提方法与对比方法进行分析。本文探索了多元融合触觉再现技术的应用方法,提出了应用于六点制盲文、图像轮廓和图像纹理的触觉渲染方法,与融合静电力和空气压膜的渲染方法相比,实现了法向与切向两个方向的力反馈;与融合静电力和机械振动的渲染方法相比,增加了切向反馈力调节范围,提高了触觉再现真实感,为多媒体终端触觉再现技术的研究与应用提供参考。