情绪是人类对于客观事物产生的一种自主反应,与人们的日常生活息息相关,如人际交往、行为决策等,对于人类的行为和心理健康有着重要影响。近年来,随着脑机接口的快速发展,人机交互的情绪化、智能化需求越来越高,赋予计算机识别人类情感的能力成为研究的热点。情感识别在教育领域、医学领域以及刑侦领域都有着广泛的用途。情感识别实现了人类与计算机之间的情感交互,使得计算机能够更加的智能化处理人类指令。人体的情绪是由大脑中枢控制,因此脑电信号能够全面、真实的体现人类的情感,相较于以往情感识别研究中用到的人体外周信号,如声音、面部表情等,脑电信号是自发的神经冲动信号,其表示的人体情绪更加真实有效,因此基于脑电的情感识别研究更具实际意义。但是脑电信号是大脑中枢产生的一种肉眼不可见的时序信号,必须借助计算机对其进行采集识别分析,才能读取其表示的信息。使用信号处理的方法,快速有效的读取脑电信号所表达的信息,对于情感识别研究具有很大的意义。目前单模态情感识别的研究已经取得很大成就,基于单模态情感识别准确率已经很难提升,而多模态信号情感识别已经渐渐被研究者们关注。针对以上问题,本文所做工作如下:（1）为了更快更准确的识别基于脑电信号的情感,本文提出了一种结合离散小波变换（DWT）和经验模态分解（EMD）的情感识别算法。在SEED数据库上,本文先对脑电信号做DWT,并提取其不同频段的微分熵作为特征,输入到多分类支持向量机中,结果显示4-32Hz的脑电频段对情感识别贡献度更高。本文又对脑电信号进行EMD,提取其不同本征模态函数（IMF）的微分熵输入到多分类支持向量机（Multi-class SVM）中,结果显示IMF2和IMF3对于情感识别具有很高的准确度。在SEED数据库上使用DWT提取脑电信号4-32Hz频段,将所得信号做EMD得到IMF2,提取微分熵特征输入多分类支持向量机中,得到了 90.34%的三分类准确率。（2）为了解决单模态情感识别准确率无法提升的问题,本文建立了结合脑电信号和面部微表情信号的双模态数据库,将情感维度提升到五维（兴奋、开心、中性、害怕、悲伤）,采用两种实验范式对被试进行信号采集,数据库包含了 24名被试。在自建数据库上部署了上述算法,结果显示本文所提算法在情感识别五分类任务中得到了 46.43%的准确度。同时提取面部微表情面部特征跟踪特性作为特征,结合上脑电信号的微分熵特征做特征融合,在五分类任务上取得了 52.26%的准确度。相较于单模态特征,多模态特征对应的五分类准确度提高了 6%以上。（3）为了应对神经网络计算量大,测试时间长的问题,本文使用FPGA对神经网络进行硬件加速。同样的在公开数据库SEED上训练包含两层卷积层的卷积神经网络,将数据库中10%的数据作为测试集,所训练网络在测试集中取得了 78.88%的准确度,每分钟脑电信号测试时间为0.35秒。同时本文采用8-bit量化的方法,对所训练好的网络进行参数量化,并用软件仿真的方式在测试集上取得了 73.34%的准确度,每分钟脑电测试时间为0.29s。此外,在HLS中使用C语言构建量化后卷积核的IP核,在Xilinx开发板ZCU104上实现了量化后的神经网络加速工作。在测试集上取得了 71.95%的准确度,每分钟脑电信号测试时间为0.032秒,在保证准确率的前提下,将测试时间提高了10倍。