人脸包含性别、表情、身份、年龄等大量信息,在公共社会安全、经济财产安全、军事、反恐刑侦、人机交互等电子信息安全领域发展的迫切驱动下,人脸表情和性别识别技术已经成为一项极具发展潜力的前沿技术,也是当前计算机视觉领域的研究热点。让计算机具有人的智能,代替人类进行记忆、识别,实现真正的智能时代具有十分重要的应用价值。然而人脸表情和性别识别技术也是计算机视觉领域的难点所在,其主要原因是人脸图像在获取过程中,受到光照、表情、姿态、遮挡物等环境因素以及拍摄行为等因素的影响。因而,一个出色的人脸表情和性别识别算法应该对这些因素不敏感。卷积神经网络是一种新型的神经网络,它将传统的人工神经网络和深度学习技术相结合,具有局部感受野区域、层次结构化、特征提取和分类过程相结合的全局训练特点,在图像处理领域取得了巨大的成功。卷积神经网络主要有两个特性,第一个是神经元之间采用局部连接策略,第二个是同一层之间的神经元权值共享,采取局部连接和权值共享的网络结构降低了模型本身的复杂度,减少了需要训练的参数个数,这种网络结构可以获得某种程度上的平移、尺度和形变不变性。本论文的主要工作如下：1、首先系统的阐述了当前人脸表情识别和性别识别的国内外研究现状,概述了深度学习的起源以及取得的一些成果。然后介绍了神经网络的发展历程,着重介绍了卷积神经网络的算法原理和经典的网络结构。2、本论文主要研究了基于卷积神经网络下的人脸表情和性别识别。针对表情识别,首先根据人脸表情任务的特点,修改了AlexNet网络结构,设计了一个新的卷积神经网络结构,并在网络中添加了批规范化层,使得准确率有3%左右的提升；然后根据表情识别采用的数据集样本数量,采用了微调的训练机制,在GoogLeNet上,与从头训练的方式相比,准确率有了2%左右的提升,并且在使用VGGNet进行微调时,准确率达到了最高的71.27%,证明了针对本文使用的数据集,微调的策略优于重新训练；在利用GoogLeNet进行微调实验时,还比较了Hinge损失函数和Softmax损失函数的性能,发现后者优化前者；最后针对现在的研究趋势,设计了一个多网络来进行融合,通过实验发现,在较小的数据集上,多网络的性能比单网络差。针对性别识别,在VGGNet的基础上,设计了一个3层的卷积神经网络,在adience数据集上,准确率达到了90.82%,在mygender数据集上准确率达到了97.10%；然后利用VGGNet在mygender数据集上进行微调,准确率达到了99.44%。3、本文使用卷积神经网络在人脸表情和性别数据集上训练得到的模型,然后在Windows 7平台上利用dlib和Caffe等工具搭建了人脸表情和性别识别系统,可以用该系统实时准确地进行检测识别,并对接下来的工作进行了展望。