神经网络如今在各种机器学习任务中都取得了显著的成功,而神经网络推理,也在生活中得到了广泛的应用。在推理的过程中,用户往往需要提供自己的隐私信息,例如人脸图片,输入记录等,存在数据被收集后滥用的风险。安全多方计算能很好地解决上述问题,从理论上保证数据的安全性。但性能一直是安全多方计算的主要问题,将使推理过程产生极大的延迟,极大地影响用户体验,例如输入预测,长达几秒钟的推理时延是用户根本不能接受的。在传统的安全多方计算研究中,通信一直被认为是主要瓶颈,相关工作集中于优化协议的通信轮数与通信量。但在推理服务这种对时延特别敏感的应用中,安全多方计算中的多个参与方一定会尽可能地选择地理上靠近的节点,节点间通过高速信道连接。在该场景中的通信时间将显著降低,计算与通信都会是瓶颈,而目前的安全多方计算方案缺少这方面的优化。本文针对高速信道场景下的安全多方计算推理时延问题,从理论与实现两个方面出发,提出了一种安全多方计算推理框架,不仅降低了推理时延,也为安全多方计算指出了新的优化方向。在理论层面,本文对两种针对神经网络的安全多方计算协议:FALCON与Secure NN进行分析。针对比较协议,通过引入辅助参与方,不仅降低了通信轮数,也使计算量大大降低。针对乘法协议,提出使用明文模型代替密文模型,并在训练阶段结合蒸馏防御方法解决了使用明文模型可能带来的数据泄露问题。在实现层面,本文基于GPU实现了所有的安全多方计算操作。针对矩阵乘法,实现了GPU中的32比特整型矩阵乘法,并结合神经网络量化思想,解决了32比特表示空间不足的问题。针对矩阵点积,利用transform的内核融合方法,大大降低了比较协议中多个矩阵点积需要的访存数量。并使用GPU-RDMA进行通信,解决了CPU与GPU之间频繁的数据拷贝问题。最后本文将理论与实现两方面的优化结合,利用C++实现了基于安全多方计算的神经网络推理框架。在小模型中可以实现10倍以上的性能提升,在Vgg16等大模型中甚至可以实现50倍以上的性能提升。