中医临床研究质量控制评估,作为科技评估的一种形式,能够科学地和客观地反映临床研究课题是否按照研究方案执行及其执行水平,进而发现在研究实施过程中存在的问题,以便于及时更正、调整,确保研究质量。基于“十一五”国家科技支撑计划“重大疑难疾病中医防治研究”项目和“十二五”国家中医药管理局中医药行业科研专项“中医防治慢病临床研究”项目,构建了适合于中医临床研究的第三方质控评估指标(外控评估指标),其应用范围具有一定的针对性。通过实践证明,上述评估指标对保证中医临床研究的质量,具有重要的意义。但是,采用独立的第三方质控(外控)需要花费较大的人力、物力和财力。对于一些中医临床研究课题,如果未设立质控专项经费进行第三方质控,则可能会由于监管的缺失,造成临床研究的质量无法得到应该有的保证。而作为中医院临床研究主管的科研管理部门,需要从医院内部加强对中医临床研究的科研管理和质量控制,以保证临床研究的科学性和可靠性。因此,需要构建适用于医院内部管理(内控管理)的质控体系。经过文献检索,目前尚无供科研管理部门使用的,对临床研究质量进行内控管理的量化评估指标。科研管理部门内控管理具有科研管理和质量控制的双重特点,直接使用为第三方质控所构建的量化评估指标具有不适用性。因此构建适用于科研管理部门内控管理,针对中医临床研究质量的内控评估指标是有必要的。1研究目的1.1在前期中医临床研究外控评估指标的基础上,结合科研管理部门内控管理的特点,构建中医临床研究质量内控评估指标,实现对中医临床研究质量的量化评估,为科研管理部门的内控管理提供新的方法。1.2结合科研管理部门内控管理的实际需求,开发一个以质量控制与质量量化评估相关业务为核心的网络化质量监督管理平台,实现质量控制的远程、实时监管,提高质量控制水平和质量控制效率。1.3将构建的内控评估指标,结合质量监督管理平台,通过实例应用于中医临床研究质量的内控管理中,探讨两者的科学性和实用性。2研究方法2.1依据前期研究基础,结合文献研究对科研管理部门内控管理特点的分析,通过核心小组讨论初步确定内控评估指标的要素层的组成和指标层的组成,但未确定各个要素包含哪些指标。2.2进行第一轮专家咨询,归纳科研管理部门的专家对内控评估指标归属要素的意见,并通过频数优势法对专家意见进行筛选(至少50%以上的科研管理部门的专家同意作为入选所属要素的基本条件),构建中医临床研究质量内控评估专业模型(多维结构模型)。2.3对“中医防治慢病临床研究”项目的课题进行质控检查,采集运用统计学方法所需要的建模数据。2.4在此基础上运用多维项目反应理论(MultidimensionalItem Response Theory,MIRT)的多维广义分部评分模型(Multidimensional Generalized Partial Credit Model,MGPCM),借助评估指标的区分度参数,从整体上和每个维度(要素)上,逐层对内控评估指标进行筛选,对内控评估指标的结构和组成做进一步的调整,初步确定内控评估指标的理论模型。2.5将初步确定的内控评估指标的理论模型,采用经典测量理论的信度、效度,来评价内控评估指标的可靠性和有效性。信度评价采用克朗巴哈系数(Cronbachα);效度评价采用结构方程模型(Structural Equation Model,SEM)的验证性二阶因子模型(Second-order Latent Variable Model,SLVM)统计学方法,结合偏最小二乘法和bootstrap自抽样法,进行参数估计的显著性检验;并且通过模型拟合检验,对数据和模型的拟合情况进行验证。2.6将经过信度和效度验证后的内控评估指标,反馈给科研管理部门的专家,进行第二轮专家调查,从而最终确定内控评估指标及其主观权重。2.7将最终确定的内控评估指标,推广应用于中医临床研究质量监督管理平台,对中国中医科学院西苑医院13个中医临床研究课题质量进行内控评估。得分采用主观权重加权求和方法,对其实施情况进行量化评估和分析。3研究结果3.1经过核心小组讨论初步形成了中医临床研究质量内控估评指标,包括1个目标(中医临床研究质量内控评估),4个要素(方案的依从性评估、研究记录质量评估、受试者权益保护评估和课题内部运行管理评估),13个指标(研究设计方法的执行、按照纳/排标准入组受试者、干预措施应用符合研究方案、干预措施记录的完整准确性、病例记录报告表(Caes Report Form,CRF)记录完整准确规范性、不良事件(Adverse Event,AE)/严重不良事件(Serious Adverse Event,SAE)的记录与分析、伦理审查、知情同意书签署完整规范性、规定时间窗内的到诊率、研究进度、质量控制、研究经费的合理使用、受试者真实性核实)。3.2第一轮专家咨询确定上述13个指标作为内控评估指标,并且根据科研管理专家对内控评估指标要素层的选择,归纳和筛选出8个内控评估指标具有多维度,即8个内控评估指标可以归属于两个不同的要素,这8个指标分别为:按照纳/排标准入组受试者、AE/SAE的记录与分析、伦理审查、知情同意书签署完整规范性、规定时间窗内的到诊率、研究进度、质量控制、受试者真实性核实。基于此得出内控评估指标专业模型(多维结构模型)。3.3本研究建模数据的采集涉及28个中医临床研究课题,内控评估人员依据《中医临床研究质量内控评估表》对每个临床研究课题的质量分别评分,最终获得168份质控数据。3.4全部课题受试者真实性均得到核实,指标“受试者真实性核实”执行良好,经过核心小组讨论,本指标不进行量化评估,仅作为内控量化评估的前提,即在真实性核实的基础上,再进行内控的量化评估。应用MIRT对内控评估多维结构模型其余12个指标进行筛选,通过区分度参数从模型整体结构和每个要素层面对指标逐层进行筛选,获得2个内控评估指标理论模型。3.5应用Cronbach α和SEM-SLVM,从评估指标的内部一致性和结构的有效性方面,对2个内控评估指标理论模型进行验证。信度检验结果显示:模型的总体信度系数为0.6,基本可以接受。但是其中一种结构要素层的内部一致性检验为负值,剔除该结构,保留一种内控评估指标模型,其要素层内部一致性非负;其结构效度检验结果显示,评估指标与要素之间的载荷系数、评估要素与目标层之间的路径系数均显著非零;且拟合优度指数(Goodness-of-fit Index,GFI)为0.812,接近0.9,增量拟合指数(Incremental Fit Index,IFI)、比较拟合指数(Comparative Fit Index,CFI)均接近0.6,模型拟合未达到最优,但尚在可以接受的范围内。3.6通过第二轮专家咨询,确定内控评估指标的结构及主观权重,至此,中医临床研究质量内控评估指标得到最终确定,包括1个目标(中医临床研究质量内控评估),4个要素,12个指标。其中,要素“方案的依从性评估”包括3个指标(研究设计方法的执行、按照纳/排标准入组受试者、干预措施应用符合研究方案);要素“研究记录质量评估”包括4个指标(干预措施记录的完整准确性、CRF记录完整准确规范性、知情同意书签署完整规范性、质量控制);要素“受试者权益保护评估”包括2个指标(伦理审查、AE/SAE的记录与分析)、要素“课题内部运行管理评估”包括3个指标(规定时间窗内的到诊率、研究进度、研究经费的合理使用)。3.7将内控评估指标,推广应用于质量监督管理平台,并借助其对13个临床课题的质量进行量化评估,并通过质量监督管理平台对质控结果进行可视化展示。该平台实现了加载规范的质控清单和质控报告,使得质控更加规范;提供研究资料的电子化管理;实现了研究进度、课题组质量控制情况的远程实时查看等功能。4研究结论4.1内控评估指标的筛选,是采用在专业筛选的基础上再联合MIRT筛选的方法,利用区分度参数从整体上和每个要素层面对内控评估指标逐层进行筛选,为中医临床研究质量评估指标体系的构建提供了新的思路和方法。4.2基于前期中医临床研究外控评估指标的研究基础和科研管理部门内控管理的特点,联合使用专业和统计学方法筛选指标,并且通过信度和效度的科学验证,构建了供中医院科研管理部门使用的、针对中医临床研究质量进行量化评估的内控评估指标,进一步丰富、发展了中医临床研究质量评估指标体系。4.3通过内控评估指标的实例应用,构建的中医临床研究内控评估指标能够很好地反映课题执行质量;实现不同课题、不同指标执行情况的客观比较;能直观展示影响质量水平的关键因素,为课题评估及科研管理提供依据。4.4构建了中医临床研究质量监督管理平台,基本实现了最初的设计目的,并且对中国中医科学院西苑医院13个临床课题进行测试应用,初步验证了质量监督管理平台的科学性和实用性,提高质量控制水平和质量控制效率。