在实际的无线双向中继通信网络中,信道条件经常处于动态变化之中。目前,在非对称信道条件下,关于物理层网络编码（Physical-layer Network Coding,PNC）技术的研究,主要是利用非对称的调制方案来给予解决,系统的整体性能仍然受限于信道条件较差的一端,不能满足多元化的业务需求。分层调制（Hierarchical Modulation,HM）技术可根据信道条件的差异为客户提供不同数据速率的信息传输服务,具备对不同的业务传输需求提供不同的优先级保护能力。在此背景下,本文基于非对称双向中继信道条件,将分层调制技术、LDPC码的编译码技术、功率优化策略与物理层网络编码技术联合进行了系统的研究。本文的主要工作可以归纳为以下四个方面:首先,针对非对称信道中传统调制方式下的物理层网络编码系统通信质量下降问题,提出了采用2/4PSK分层调制的物理层网络编码（2/4PSK-PNC）解决方案;分别在加性高斯白噪声（AWGN）信道和瑞利（Rayleigh）衰落信道条件下,得出系统中继及端到端BER表达式。该方案利用2/4PSK分层调制的技术优势,对传输的数据,依据其重要性差异,给予不同的优先级保护。2/4PSK-PNC系统,既能保证在较优链路中两级（高、低）优先级信息有效传送,也能保障在较差链路中高优先级信息传输可靠性。其次,针对传统高阶16QAM调制下PNC系统中继映射模糊性问题的成因,给出分析说明,进而提出采用4/16QAM分层调制技术来给予解决;在非对称信道条件下,构建4/16QAM分层调制与物理层网络编码（4/16QAM-PNC）联合方案,并推导出AWGN信道中系统中继及端到端BER理论计算公式。4/16QAM-PNC系统不仅能解决高阶调制下的中继模糊性问题,更能有效提升无线通信网络频谱利用率。接着,在采用分层调制的物理层网络编码（HM-PNC）系统中,引入LDPC码以改善低优先级信息在较差链路中传输的可靠性问题。分别设计了 2/4PSK-PNC、4/16QAM-PNC两套系统的LDPC编译码方案;针对HM-PNC系统中继收到的叠加信号星座特性,给出相应的LLR-BP译码软判决对数似然比计算方法,减少了计算量;设计了分层译码方案,以提升高优先级信息的译码效果。联合LDPC码的HM-PNC系统,通过改善两级（高、低）优先级信息的BER性能,有效提高了整个系统的数据传输质量。最后,在非对称信道条件下,构建了带功率分配策略的2/4PSK-PNC系统模型。基于理论分析和仿真验证,给出2/4PSK-PNC系统各节点自身的分层调制功率比优化策略,以及信源节点间的信号发送功率分配优化策略,以降低传输数据的误比特率,进一步提升整个系统的通信性能。