二次优化问题一直在优化领域中占有重要的地位。而且,它被广泛的应用于各个重要领域,例如,企业生产管理,通信工程,金融工程,网络安全,语音识别等。因此研究二次优化问题具有重要的意义。特别地,带二次约束的非凸二次分式优化问题由于其非凸的特性而导致的复杂的求解算法,以及在各个领域的重要应用逐渐引起了人们研究的兴趣。认知无线网络是近来研究的重点方向之一,它允许次用户(认知用户)在一些给定的条件下共亨主网络的频谱资源。因此认知无线网络能有效地改善频谱资源“短缺”的现象,从而提高频谱资源的利用率。次网络中采用中继传输信号,这些中继能够补偿信号衰落和阴影衰落。在次网络中采用中继传输信号是一种提高次网络性能的有效方法,它也能保证主网络的GoS。本文主要对分别带有两个二次约束,三个二次约束以及多个次约束的非凸二次分式优化问题进行了研究并给出了算法,并且推导了在认知无线通信中的优化模型并加以求解。主要工作如下：(1)本文研究了分别带有两个二次约束,三个二次约束以及多个二次约束的非凸二次分式优化问题。首先根据等价陈述[58],把分式形式的目标函数等价地转化为二次函数,然后利用二分法的思想,可以得到一个ε-近似的全局最优解x*。在这个算法中,关键的问题有两个：一个是分式目标函数的上下界判定,一个是在内循环中的子优化问题(QCQP)。关于目标函数的上下界的寻找,我们给出了两种方法,在这两种方法下得到的上下界都是近似的,在正文中给出具体寻找的方法,而在实际问题中,根据实际问题的先验知识有可能大概的给出目标函数的上界或者下界。对于另一个关键的问题子优化问题(QCQP)而言,我们针对约束的数量给出了不同的SDP解法。当约束函数为两个时,分别用两种方法证明并给出了子优化问题的精确解。对于约束数量为3个时,也证明并给出了子优化问题的精确解,根据证明过程分别设计了相关算法。但是对于约束数量大于3时,由于可行域的非凸性,子优化问题得不到精确解,我们根据相关的文献设计了一个近似随机算法。(2)认知无线中继网络是近来研究的重点,本文重点研究了认知中继网络中次网(认知网络)的性能,分布在不同地方的中继采用协作式波束成形,在保证主用户的GoS的情况下,即次网对主网的干扰必须低于某个预先给定的阈值,研究次网的性能。本文中研究了三种不同的系统模型,一种是主发送端PT与次网接收端SD,以及次网的发送端ST与主网的接收端PD之间没有通信信道；一种是主发送端PT与次网接收端SD,以及次网的发送端ST与主网的接收端PD之间有通信信道,这两种系统模型中的中继都采用单向传输,中继转发策略选择AF方式；另外一种系统模型与前两种模型的不同之处是,次网中中继采用的是双向传输,中继转发的策略仍然是AF方式。我们分别推导了在这三种系统中的优化模型,分别讨论研究了中继转发功率最小化模型,和次网接收端信干比最大化模型,并通过设计的算法求出波束成形向量。(3)推导了认知无线双向中继网络中的优化模型,为以后的研究工作奠定了基础。