软件无线电技术因为具有开放性、可扩展性、可编程性等特点,因此成为当今通信领域研究中的一个重要体系结构,在各国的通信系统设计中得到了广泛应用。但是在软件无线电系统中只有一个共用数字信号处理平台来对各种信号进行调制,由于这种特性,使得通信过程中容易出现某些信号的延时、误码等情况。分层调制技术是DVB-T/-H标准中的核心技术,它允许单频通路中不同质量和优先级的传输,是解决软件无线电中调制信号问题的有效技术。鉴于此,本文以基于软件无线电分层调制信号处理的研究为课题。在本文中,主要是以4/M-QAM调制信号为通信系统的主要研究对象。首先在分层调制的基本原理上,提出了一种分层调制星座参数优化的方式,这种方式在一定条件上更大限度的满足了信号的质量传输;其次对软件无线电分层调制的解调方式进行研究,并且提出了一种简化的分层调制软解调方式。这种方式不但减小了分层调制软信息的复杂度,并且对其简化前后的性能比较,得出了关于实数乘法和实数加法的运算次数仅为简化前的一半;最后是关于分层调制OFDM系统的资源分配方面进行研究,在前人的理论算法上提出了本文的算法和改进的系统模型,通过对系统的性能仿真比较,发现采用分层调制方式的多用户OFDMA系统比不采用分层调制的系统具有更高的功率利用效率;改进的系统模型采用Greedy方法可以使得计算复杂度大大降低。在文章的最后,通过搭建软件无线电通信系统的硬件物理平台及参数的配置,探讨了分层调制能量比、M值和Turbo码率对于系统性能的影响。就这三个参数对系统性能的影响作了具体分析,并给出了仿真曲线。验证了基于软件无线电分层调制信号处理的研究在提高信号传输速率和降低误码率的必要性、有效性。