随着第五代（5G）移动通信的快速发展,提升数据传输可靠性的需求愈发迫切。编码调制技术将前向纠错（FEC）编码与调制有效融合,可获得优越的误码性能。低密度奇偶校验（LDPC）码因其接近香农限的优越性能,已被多种无线通信标准采用。为增加自适应调制的灵活性,非2次幂阶的调制受到关注,然而对于星座点数不是素数幂次的非标准调制,难以在有限域上构造匹配进制的LDPC码。本文以六阶调制为例,研究与之匹配的LDPC码编码方案,提出了面向非标准六阶调制的双层编码调制方案;进一步,从星座调制与译码方法两方面对编码调制方案的整体性能进行了优化。首先,提出了面向非标准六阶调制的双层编码调制方案。在发送端,针对一种基于原点加正五边形的6阶正交幅度调制（6-QAM）星座图,采用GF（2）LDPC码与GF（3）多进制LDPC码（NB-LDPC）进行分层编码,并将两种编码码字映射为6进制码字后进行6阶调制;在接收端,根据GF（2）LDPC码和GF（3）NBLDPC码的译码顺序,提出了两种双层LDPC码的译码方法。仿真结果表明,在加性高斯白噪声（AWGN）信道下和瑞利衰落信道下,提出的双层编码调制方案实现了LDPC码编码与非标准六阶调制的匹配,且获得了良好的误符号率性能。然后,采用星座图优化与迭代译码方法提升双层编码调制方案的纠错性能。一方面,通过平衡子集内与子集间的平方欧氏距离对6-QAM星座图进行优化,比较了优化前后6-QAM与LDPC码结合方案的性能;另一方面,提出了双层LDPC码间的迭代译码方法,通过GF（2）LDPC码与GF（3）NB-LDPC码两者译码信息的相互传递,提高了双层LDPC码译码成功的概率。进一步将优化前后的6-QAM与迭代译码方法相结合,比较了优化前后编码调制方案的性能。仿真结果表明,随着整体迭代次数的增加,优化后6-QAM与LDPC码结合的方案获得了更大的性能增益,有效地改善了六进制编码调制方案的纠错性能。