中子星作为研究各种极端物理的天然实验室，其质量、半径及内部结构等一直是天文学家和物理学家关注的重要问题。由于在中子星的核心区域具有极高的密度，其内部可能出现复杂的组分，例如超子、（K-）介子凝聚以及退禁闭的夸克物质。这些自由度的出现通常会软化中子星物质的状态方程，使得中子星的最大质量变小。而近年来大质量中子星的发现对传统的核物理理论构成了挑战。理论研究和天文观测的结合成为当前研究致密星性质的必要手段。　　 理论上的探讨对研究中子星的性质非常重要。作为一种成熟的方法，量子强子动力学的相对论平均场方法无论是在描述有限核性质方面还是在研究强子物质性质方面都已有非常广泛的应用。随着实验数据不断丰富，人们尝试引入新的相互作用形式对有限核及核物质的性质进行研究。基于这样的考虑，我们采用包含了σ2ω2介子相互作用的相对论平均场方法研究了中子星的性质。计算结果表明，该相互作用的引入使得中子星物质的状态方程变软，中子星的最大质量变小，并且最大质量的减小程度和该相互作用的强度有关。　　 通过引入同位旋矢量一标量介子（δ）道相互作用，本文研究了同位旋不对称的中子星物质的性质。因为δ介子道相互作用在研究中子皮、核结构、中子蒸发以及低密度情况下同位旋不对称的核物质的性质起着非常重要的作用，作为进一步的研究，本文考察了该相互作用在高密度情况下对中子星物质的影响。我们发现，在不考虑超子自由度的情况下，δ介子道相互作用的引入使得状态方程在能量密度小于950MeVfm-3时变得较硬，随着能量密度增大，状态方程又会变得比没有δ介子道相互作用的软一些。超子自由度的出现使得状态方程由硬变软的变化发生在更低的能量密度区间（400～500McVfm-3）。状态方程的这种变化使得考虑δ介子道相互作用的中子星的最大质量及中心密度要比相应的不考虑δ介子道相互作用的中子星的最大质量及中心密度小，但是δ介子道相互作用的引入使得中子星的半径有所增大，其原因在于在低密度区间较硬的状态方程使得中子星有较厚的外层。除了超子自由度，我们进一步研究了K-介子凝聚对中子星性质的影响。计算结果表明，K-介子的出现对中子星的稳定性以及双星系统的演化过程有着非常重要的影响。如果K-开始出现的临界密度比较高，中子星可能会变得不稳定，甚至塌缩为黑洞。但是，如果K-介子凝聚出现的临界密度比较低，那么中子星就能够保持稳定。K-介子出现的临界密度的大小，很大程度上取决于K-介子在核物质中的光学势。当光学势小于某一临界值时，内部出现K-介子凝聚的中子星是稳定的，对于不同的模型参数我们计算了能够使中子星保持稳定的临界光学势，并建议相关的核物理实验准确测定其数值。除此之外，我们还校准了中子星EXO0748-676的相关参数并结合各种天文观测对理论计算得到的中子星的质量一半径关系进行了限制，结果表明，考虑K-介子以及超予自由度的情况和天文观测符合得比较好。　　 本文还讨论了在Nambu-Jona-Lasinio（NJL）模型中奇异夸克物质的稳定性及奇异夸克星的性质。自从奇异夸克物质假设的提出，人们便用一些有效模型研究了实现稳定奇异夸克物质的可能性。在MIT袋模型中，以前的计算表明，通过选取适当的袋常数可以实现稳定奇异夸克物质，但是具有QCD的手征对称性及其破缺特征的NJL模型却给出了相反的结果。我们发现，文献中采用该模型计算夸克物质的状态方程时存在着一些不自然的问题，这主要是该模型无法描述夸克禁闭所致。通常确定热力学参数的方法使得在较低的密度区间（p<0.5p0），夸克系统的压强为正值，而随着密度增加，压强变为负值，然后再次变为正值。在低密度区间出现的正压强和夸克禁闭的图像是不一致的。基于此，我们尝试在较高的密度情况下确定热力学参数，使得随着密度增大夸克物质的压强从负值变成正值，也就是保证随着密度增大夸克物质由禁闭变为退禁闭这一特点。计算结果表明，这种确定参数的方法存在着一个临界值，该临界值能够使得夸克星具有最大的质量和半径。只是在不改变模型参数的情况下，奇异夸克物质假设依然无法在该模型中实现。但是，如果我们把奇异夸克的流质量降到新近实验许可的范围之内，并且相对于目前常用的数值稍微减小四费米子相互作用常数，则有可能实现稳定的奇异夸克物质，并且可以进一步提高夸克星的最大质量和半径，在这种情况下得到的夸克星的质量一半径关系和天文观测的结果更加一致。