随着通信与信息技术、密码学以及计算机体系结构等学科的不断深入研究与发展,超大规模集成电路(Very Large Scale Integration circuits VLSI)作为其重要实现载体,在面积、速度以及功耗等方面也提出了新的需求与新的挑战。数值表征方法作为数字系统中的重要研究内容之一,是数字系统的算法设计、架构搭建以及逻辑实现与优化的基础,极大地影响了数字系统的性能。在传统二进制系统中,过长的进位链传播路径以及有限字长效应等计算特性大大限制了超大规模集成电路性能的提升。针对此问题,本文对代数整数量化方法和余数系统这两种新型数值表征方法在现代数字信号处理中的应用以及基础运算单元的设计进行了深入研究,目的在于使用新型数值表征方法对传统二进制系统下的数字信号处理单元进行优化,以提升数字系统的性能。本文基于代数整数量化针对FIR(Finite Impulse Response)滤波器、IIR(Infinite Impulse Response)陷波器以及2维FFT(Fast Fourier Transformation)这三种现代数字信号中的关键单元进行了研究。首先,对于FIR滤波器,主要采用了代数整数量化方法对FIR滤波器的系数进行稀疏处理以减少滤波器中加法器的数量,综合结果表明采用代数整数量化方法所设计的滤波器结构与传统滤波器相比,其面积时延乘积下降约10%-20%。其次,本文基于代数整数量化方法提出了一种IIR陷波器的优化设计方法,使得IIR陷波器迭代环路中的乘加单元被替换为一个加法器,从而优化了IIR陷波器的迭代边界,综合结果表明其硬件性能平均提升约27%。最后,本文采用代数整数量化方法解决了传统2维FFT中存在的硬件复杂度较高以及系数有限字长效应所导致的精确性等问题,本文2维FFT单元所得到的性能较传统方式提升了约3dB,且硬件性能提升约40%。另一方面,为了解决余数系统在数字信号处理中计算溢出这一关键问题,以中国剩余定理为基础研究了余数基{2”-1,2”,2”+1}下的缩放运算及乘法器设计。本文提出了4种不同缩放因子的缩放单元硬件架构设计,优化了已有缩放单元中的计算误差并对其进行了VLSI实现,这对于余数系统应用于数字信号处理系统具有重要意义。在缩放单元的基础上,本文提出了一种余数系统下的乘法器结构,使用该结构不仅可以解决余数系统中乘法器计算所带来的溢出问题,还可以根据设计需求对乘法器中的单元进行删减,以节省数字系统的功耗与面积。