在国际单位制（SI）7个基本单位中,千克kg是唯一一个没有被量子化定义的基本单位。千克的量子化定义方法因其科学意义之重大,科研难度之高,被《Nature》杂志于2012年列为世界六大科学难题之一。能量天平法测量普朗克常数是我国自主提出的千克量子化定义方法,其基本原理为利用两通电线圈（线圈组）产生电磁力来与标准砝码的重力相平衡,建立起质量基准与时间量、电学量、长度量等已经量子化的基本量之间的联系,进而间接地实现质量单位的量子化基准。在这一过程中,线圈组之间的相对位置测量系统发挥着至关重要的作用,它不仅实现了能量天平对于“米”的量子化基准的溯源,而且保证了能量天平电磁力积分区间的一致性。能量天平线圈组相对位置测量系统分为:相对位移测量系统和相对零位测量系统两个部分。针对线圈组相对位移的测量需求,能量天平目前采用的是迈克尔逊型激光外差干涉测量方法,该方法具有量程大、亚纳米量级分辨力的优势,但该方法由于存在纳米量级的周期性非线性误差,而会为普朗克常数的测量结果带来10-7量级的相对测量不确定度。针对线圈组相对零位的测量需求,能量天平目前采用的是机械限位的方法来确定相对零位,缺少有效的、测量不确定度在亚微米量级的相对零位测量方法。相对零位测量方法的缺失破坏了能量天平积分区间的一致性,会为普朗克常数的测量结果带来10-7量级甚至更高量级的相对测量不确定度。上述两个问题的存在,制约了能量天平实现优于2×10-8相对测量不确定度的目标。本课题通过研究能量天平工作原理和总体测量误差模型,分别建立了线圈组相对位移测量误差模型与相对零位测量误差模型。基于上述模型,提出了相应的非线性误差抑制方法,以及线圈组相对零位测量方法。随后,本文对基于上述方法搭建的测量系统的测量不确定度进行评定。论文针对上述内容进行了深入的理论和实验研究,主要研究内容和结果如下:针对线圈组相对位移测量系统中存在有纳米量级的周期性非线性误差的问题,提出了一种基于I/O（输入/输出）共光路式空间分离布局的非线性误差抑制方法。该方法利用输入/输出共光路的空间分离结构,避免了线圈组相对位移测量中的交叉混叠造成的非线性误差;通过定量约束光路内部的虚反射率,抑制了线圈组相对位移测量中自混叠造成的非线性误差。另外,特别针对能量天平真空环境测量所设计的I/O共光路结构,可以令输入光路与输出光路在空间上完全重合,提高了真空中相对位移测量的可操作性。理论和仿真结果表明,该方法可以将线圈组相对位移测量中的非线性误差的幅值降低至0.2 nm。针对线圈组相对零位测量方法缺失的问题,提出了一种基于窗口屏蔽差分电容传感的相对零位测量方法。在该方法中,屏蔽窗口被固定于悬挂线圈上,电容极板被固定于激励线圈上。二者组合形成差分电容传感器。该方法利用屏蔽窗口来遮蔽差分电容极板的正对面积,进而建立差分电容的输出值与能量天平线圈组相对位置之间的线性关系,避免了悬挂线圈的晃动对于相对零位测量准确度的影响。利用保角变换理论,建立了差分电容传感器的模型,并对其灵敏度,以及在x、y轴方向的抗干扰能力进行了理论分析。仿真结果表明,基于该方法设计的相对零位传感器的非线性在0.2μm以内,x、y轴方向的位移扰动对于测量不确定度的影响分别小于0.17μm与0.08μm。本课题对上述研究内容进行了实验验证。首先,本课题验证了基于双频自混叠的周期性非线性误差模型,实验结果表明相对位移测量中自混叠造成的非线性误差幅值可以达到1 nm,在能量天平相对位移测量系统中必须予以抑制;其次,验证了基于I/O共光路式空间分离布局的非线性误差抑制方法,实验结果表明,该方法可以将非线性误差引入的标准测量不确定度由纳米量级降低至0.16 nm;最后,验证了基于窗口屏蔽差分电容传感的相对零位测量方法,实验结果表明,该方法可以将相对零位测量引入的合成标准测量不确定度由微米量级降低至0.2μm。本文提出的方法满足了能量天平实现2×10^-8相对测量不确定度的需求。