物体硬度识别是触觉领域的重要任务之一,目的是使机械手能够有效辨别碰触物体的硬度等级,为机械手下一步的操作提供重要的参考信息。物体硬度识别在工业自动化、医疗机器人、特种机器人等应用方面具有重要意义。目前,基于深度学习的物体硬度识别主要面临以下两个问题:（1）缺少大规模标注的硬度识别公开数据集,对基于深度学习的硬度识别精度形成制约;（2）缺少针对硬度识别任务进行优化设计的深度学习模型。针对上述两个问题,本文主要做了以下三方面的研究工作:1.针对缺少大规模标注的硬度识别公开数据集的问题,本文建立了一个小的硬度识别数据库,然后提出一种基于半监督生成式对抗网络（Generative Adversarial Nets,GAN）的方法对数据库样本进行自动扩充。首先,利用无标签的硬度识别样本对网络进行训练,得到无监督生成式对抗网络（Unsupervised Training Generative Adversarial Nets,USTGAN）,再将USTGAN的参数作为全监督生成式对抗网络（Supervised Training Generative Adversarial Nets,STGAN）的初始参数,然后用少量带标注的样本STGAN进行微调,最后利用STGAN中的生成器来扩充带标注的硬度识别样本。2.为将大规模生成样本和少量人工标注样本进行有效融合以提升硬度识别的精度,本文提出一种基于网络结构和参数值共享的方法来构建硬度识别网络（Hardness Recognition Nets,HRN）。首先,将USTGAN的判别器作为HRN的主干网络并共享其参数,其次,根据任务需求对HRN的分类层进行重新设计,然后利用扩充的生成样本对HRN进行预训练,最后,用少量人工标注样本对网络进行微调,得到最终的HRN。3.面对当前缺少针对硬度识别任务进行优化设计深度学习模型的问题,本文提出了一种多输入卷积神经网络（Multi-Input Convolution Neural Nets,MICNN）和长短期记忆网络（Long Short-Term Memory,LSTM）相融合的模型。首先,从硬度识别数据阶段性变化的特点出发,将同一硬度识别数据按照不同时间尺度分别送入MICNN的子网络中,得到多个含有时间先后顺序的不同时间尺度的中间特征,再将这些中间特征依次送到LSTM中得到多个一维特征,将这些一维特征拼接后经过一个全连接操作后进行softmax分类得到最终的硬度等级。为了验证提出方法的有效性,本文在分类准确度、总体分类精度、运算时间、混淆矩阵和Kappa系数五类评价指标上分别对其定量评估,实验结果显示,经扩充样本预训练HRN的硬度识别效果和经大量人工标注样本训练HRN效果较接近,基于MICNNLSTM的硬度识别结果明显优于经大量人工标注样本训练HRN的硬度识别结果,表明了本文提出方法的有效性。