电磁学散射问题一直是20世纪数学物理领域的热门研究方向。近些年来,对反散射问题的理论研究、数值计算和分析方法在众多科学前沿和国家战略重大需求等领域中得到了广泛应用。本文研究了两类散射问题,一是无界粗糙界面和障碍物的散射与反散射问题,我们从数学理论方面进行了适定性分析,得到了唯一性和稳定性方面的一些结果;二是近场光学中出现的一类散射问题,我们通过将积分方程离散为具有特殊结构的线性系统,提出了一种有效的数值计算方法。本文主要包括以下几个方面:在第二章,我们介绍了一些预备知识,包括电磁学中的麦克斯韦方程组理论、Helmholtz方程的推演以及解的性质、边界条件等。我们还介绍了边界积分方法中的Fredholm选择性定理还有唯一延拓定理,这些定理在适定性分析中起到关键作用。对这一部分知识的理解为接下来两章打下了基础。第三章中,我们对在无界粗糙面分隔的双层背景介质中,声硬障碍物对点源的正反散射问题进行了严格的理论分析。我们引入了正问题的积分辐射条件,给出了格林函数的渐近性质,证明了正问题与某边界积分方程组的等价性。从而基于Fredholm选择性定理得到了正问题的存在唯一性。对于反问题,我们利用Holmgren定理和唯一延拓定理,证明了障碍物和无限粗糙表面的形状可以由界面上下两侧的边界上测得的散射场和透射场唯一确定。基于正散射问题的适定性,我们得到了波场关于障碍物和无限粗糙的表面形状变化的区域导数。此外,还建立了局部稳定性。它表明如果两个区域足够近,那么两个区域的豪斯多夫Hausdorff距离可以被相应波场的扰动距离所控制。第四章中,我们对近场光学中出现的一类散射问题进行了研究,提出了一种新的数值计算方法来解决含隐失波分量的波场散射问题。散射问题可以转化为第二类Fredholm积分方程,基于特殊函数的渐近展开,我们将积分方程离散为具有特殊结构的线性系统,便于有效地计算散射问题的近似解。通过数值计算,研究了探针与近场相互作用的物理特性。最后给出了一些数值结果,验证了该方法的有效性。