皮肤作为人类抵抗外界病原体入侵的第一道防线,对人类的健康起到至关重要的作用。然而,随着环境、人类饮食的变化,各种皮肤病影响人类的生活,皮肤癌更是威胁到人类的生命。皮肤镜是一种观察活体皮肤表面以下微细结构和色素的无创性显微图像分析技术,是皮肤科医生常用的诊断工具。对皮肤镜图像的良恶性分类是皮肤病诊断辅助系统的重要组成部分,传统方法的流程通常由图像预处理、图像分割、特征提取和良恶性分类等环节组成,各环节之间关联性小,鲁棒性较低。而深度学习方法能够端到端提取图像的高层特征,具有明显高于传统方法的鲁棒性和准确度,近年来常用于图像分类任务。本文提出了一种基于卷积神经网络(Convolutional Networks,CNN)的皮肤镜图像分类方法,该方法通过多任务训练得到端到端的网络模型,网络的梯度下降损失函数由分割损失和分类损失两部分组成,使单个网络结合分割样本和分类样本两方面的信息,同时提高模型在分割和分类任务上的表现。在ISBI皮肤镜图像数据集上进行实验,本方法与传统方法相比,具有更高的鲁棒性和准确度,与VGG、ResNet、FCN-32、Deeplab等通用深度学习框架相比,本文提出的方法在分类上具有更高的敏感度和特异度。