在现代应用如神经网络、图像处理和信号处理中存在着大量的矩阵运算,这些应用给社会生活带来了极大的便利的同时,也对现代设备带来了挑战。在某些实时处理应用中,需要在提升运算速度的同时平衡面积开销和功耗,因此,余数系统（Residue Number Systems,RNS）作为一个高并行度的数值表征系统,可以在这些系统中用于加快矩阵乘法的运算速度。而在移动设备等对面积和功耗比较敏感,对运算时间和精度要求不高的应用中,概率计算（Stochastic Calculations,SC）作为另一种数值表征系统可以对这种应用在面积和功耗方面进行优化。本文介绍了余数系统的基本原理及结构,选取了适合的余数基,并对余数系统中关键单元进行了优化。后向转换单元（Residue To Binary,RTB）的作用是将余数系统下的数转换到二进制下的数,是余数系统的关键单元,也是余数系统中延迟最大、面积开销最多的单元。本文在中国剩余定理（Chinese Remainder Theorem,CRT）的基础上,将目标数拆分为高位和低位进行计算,最终消除了后向转换单元中的乘法器。在Design Compiler（DC）中综合对比后可得,优化后的余数系统后向转换单元与传统方法相比,面积减少了52.56%,关键延迟缩短了47.87%,功耗降低了59.20%。在概率计算中,本文使用了改进的共享随机数序列发生器的概率序列产生器（Stochastic Number Generators,SNG）,该方法在不增加概率之间相关度的情况下将随机序列发生器的数量减少了一半。为了解决多个概率序列相加精度较低的问题,本文使用了近似累加器（Approximate Parallel Counter,APC）,这种累加器利用或门和与门相互补偿的特性来增加计算精度。结合上面两种方法可以将随机序列发生器的数量减少到1个。在DC的综合结果中可以看到,最终经过概率计算优化后的数量积单元,相比未经优化的单元,其面积减少了90.07%,功耗降低了91.41%。最后,本文分别使用余数系统与概率计算对矩阵乘法器进行了优化。对结果进行了仿真验证和在FPGA上进行了硬件验证,并使用Design Compiler对结果给进行了综合,最终与未优化的矩阵乘法器相比,采用余数系统优化的面积减少了26.21%,关键路径的延迟缩短了50.03%,采用概率计算优化的面积减少了93.14%,功耗降低了77.33%。