论文部分内容阅读
在现代社会中,服饰品越来越被赋予社交意义和尊重内涵,在特定的场合选择搭配合理的服饰已成为许多人的共识。于是,为了帮助人们完成服装搭配这一复杂的课题,学者们提出了各种理论和方法。一方面,专业人士在实际经验的积累中总结出搭配法则,将搭配者内心希望展现的形象特点以服饰为媒介表达出来,因此服饰也一定程度上呈现了搭配者内心期望展现出的性格特质。同时,也有学者研究服饰因素与其表达的性格特征的联系,但存在局限于单个因素、缺少整体视角、性格模型描述维度不全面的问题。另一方面,越来越多的国内外学者开始关注智能服装搭配,研究进展可以分为成对单品的兼容性研究和捕捉整体风格的研究。目前的算法多是从服饰本身出发,通过图像和文本描述进行机器学习的训练,一定程度上忽略了服饰特征代表的情感语义,而且搭配对象也多为成对单品,缺少包括饰品在内的成套服饰的搭配算法研究。针对以上问题,本文建立了一种基于迈尔斯-布里格斯类型指标(MBTI)人格类型的服饰搭配方法,将从他人的角度,解读服饰搭配展现出的人格特点,帮助消费者选择能传递自己期望性格形象的服饰。首先进行服饰搭配的MBTI人格类型主观评价实验,邀请具有一定代表性和审美水平的评价人员为每套服饰选择MBTI人格类型评价值。同时用微调后的残差网络Res Net50提取服饰单品的图像特征,用词袋模型和主成分分析提取文本特征,然后融合得到服饰套装的特征向量。以套装的特征向量为输入,对应的MBTI人格类型主观评价值作为输出,构建神经网络并训练,从不同模态、不同品类、不同人格维度对比人格类型的预测准确率。最后,将预测模型应用在具体的服饰搭配任务中,包括搭配度度量和服饰推荐检索,并与前人的欧氏距离模型、点乘模型进行结果对比。主要研究结论如下:(1)进行服饰搭配的MBTI人格类型主观评价实验并验证数据有效性。主观评价实验的数据为从公开的Polyvore Outfits 2018服饰数据集中随机抽取2046套服饰,共有10620件单品,分为8个大类,同时搭建评价平台,根据问卷结果筛选出5位时尚品位高、搭配经验足、专业背景不一的人员参与实验,最后对评价结果进行差异性和一致性分析,得到一致性得分最高为0.753且结果显著,说明一致性尚可,评价数据可用于后续的神经网络训练。(2)提取了服饰单品的图像和文本特征并融合为套装特征。将微调准确率为0.82的Res Net50作为提取图像特征的模型,将单品图片输入后,提取全连接层(FC)前的2048个向量作为单品的图像特征,同时使用词袋模型和主成分分析(PCA)进行分词、筛选、向量化、标准化、降维,成功提取2048个文本特征,最后是特征融合步骤,用相加(Add)方式直接将同品类的服饰特征相加,用连接(Concatenate)方式合并不同品类的服饰特征,在不同通道分别储存不同模态的特征,最后得到一套服饰的特征向量。(3)建立了服饰的MBTI人格类型预测模型并分析不同因素对模型的影响。网络训练目标为将输入的套装图像、文本特征向量回归为人格类型四维数据,经过30次训练(Epoch),损失函数达到收敛,验证集的准确率从0.5上升至0.75,模型训练效果显著;进行对比实验,并结合传统的统计方法得到图表,探究不同模态(图像、文本)、不同品类、不同人格类型维度对预测准确率的影响程度和规律,结果发现经过深度神经网络提取出的图像信息更能帮助建立服饰与人格特征之间的联系,其中颜色的三要素与人格类型的倾向有一定关联;不同品类对人格类型的影响程度为鞋>服装>配饰>包,且二级类别与人格类型的倾向关系明显;不同的人格类型维度中,“感觉&直觉”维度由于数据集中,所以更容易预测,“外倾&内倾”分布均匀,预测难度稍大,因此数据本身的分布状态也会影响准确率。(4)基于MBTI人格类型预测模型,实现服饰搭配具体任务并与前人模型对比。将预测模型应用在具体服饰搭配任务中,并与前人模型进行对比,结果表明,在搭配度度量任务中,人格模型在部分服饰上输出的搭配度符合基本事实,距离模型和点乘模型的输出与主观直觉相差较大,搭配度量化效果较差,在整个数据集上,人格模型的准确率(AUC)为0.6,高于其他两个模型的0.51和0.49,表现更佳;在检索推荐任务中,人格模型在部分服饰上输出的推荐排序较准确,距离模型和点乘模型的推荐效果较差,在整个数据集上,当候选单品数量较多时,人格模型的检索推荐性能指标平均倒数排名(MRR)为0.11,优于距离模型和点乘模型的0.06和0.02。