针对目前普通卷积神经网络在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题。提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络(Multi-task convolutional neural network,MTCNN)可对不同尺度输入图像进行人脸检测,并利用核相关滤波(Kernelized correlation fiters,KCF)对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构。使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所用网络模型在FER-2013数据集上取得73.8%的识别率;在CK+数据集上的识别率达到96%;在IMDB数据集中性别分类的准确率达到96%;模型整体处理帧率达到70帧/s。与结合支持向量机的全连接卷积神经网络方法比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。