无线通信系统中,功率和均方误差是衡量通信系统性能好坏的重要指标,但是两者往往存在冲突关系,无法同时达到性能最优的情况。基于通信系统中系统功率消耗和接收信号均方误差(MSE)存在的这种彼此冲突的关系,本文对联合优化系统功率消耗和MSE进行研究,主要工作如下:首先,研究两跳的多入多出(MIMO)放大转发(AF)中继通信系统中的多目标均衡问题。采用基于帕累托最优策略的多目标框架,通过加权切比雪夫方法,并引入中继预编码矩阵的一般结构和Schur补引理将联合优化形成的非凸且难以直接求解的多目标优化问题转化为凸优化问题。提出较为高效的传输方案,并通过仿真对提出的传输方案进行分析和验证。其次,考虑到通信系统的多样性,研究多源多播的多用户MIMO(MU-MIMO)中继通信系统。采用多目标优化框架研究系统最差情况下的MSE和系统总功率消耗,并给出两者之间的帕累托最优边界。最后,针对基站既能发送信息又可以作为信息接收节点的情况,研究MIMO双向中继通信系统,中继协议采用两时隙的MABC协议。针对通信模型所形成的优化问题,提出一种交替优化的算法,通过迭代的方法找到最优解。最后,通过仿真验证算法的性能。