首页 > 中心动态
【临研之声】个体预后或诊断预测模型系统综述和Meta分析报告规范(TRIPOD-SRMA)案例解读【2023年12月第2期】
来源:临床医学研究中心    发布时间:2024年1月19日

摘要 The BMJ在2023年5月发表《个体预后与诊断多变量预测模型系统综述和Meta分析透明报告清单》及详细说明,目的是辅助研究者完整、透明和准确报告,以提高研究报告质量。本文对12个摘要报告规范条目及26个系统综述报告规范条目进行介绍和解读,以期为研究人员规范报告此类研究提供借鉴和参考。 李戈1 章萌2 夏鸽拉·买代提2 王馨平2 武珊珊3 孙凤2,4 1天津中医药大学公共卫生与健康科学学院,天津301617;2北京大学公共卫生学院流行病与卫生统计学系,北京100191;3首都医科大学附属友谊医院,北京100050;4重大疾病流行病学教育部重点实验室(北京大学),北京100191 通信作者:孙凤,Email:sunfeng@bjmu.edu.cn 临床预测模型用于估计个体发生某种健康结局的概率[1 , 2 , 3] ,通常分为诊断预测(diagnostic models)和预后预测(prognostic models)[4 , 5] 。诊断预测通常根据横断面数据,用于判断当前是否存在某种疾病或者结局,预后预测通常根据纵向数据,评估未来发展为某种疾病或者结局的风险。 预测模型研究类型有模型开发(model development studies)和模型验证(model validation studies)[6 , 7] 。模型开发研究基于多个预测因子(如人口学基线、疾病特征及生物标志物等),通过传统统计学或机器学习方法构建模型(如回归、随机森林或神经网络)预测特定结局。模型验证研究通常以校准度(calibration)、区分度(discrimination)、拟合度(overall fit)和临床实用性(clinical utility)等指标评估已有模型的预测性能 [8],分为内部验证和外部验证[9]。内部验证使用模型开发数据集,是模型开发研究的必要组成,常因过度拟合而高估模型性能。外部验证则使用模型开发以外的数据集 [7 , 8 , 9 , 10 , 11],其目标人群和/或环境可能与开发数据集存在一定的异质性 [12]。 特定疾病领域通常存在多个模型验证研究,分别代表不同人群和场景下的模型性能,单个研究的估计值可能不精确,研究间可能不一致,并且可能需要对多个竞争模型进行比较。为此,就需要根据研究目的来识别、评估、合成(Meta分析)证据,并形成证据概要表,进行基于预测模型的系统综述,总结预测模型效果的证据及证据分级,进而为循证医学和临床指南制定提供支持。 一、制定背景 为了提高预测模型系统综述和Meta分析研究质量,指南 [1 , 13] 建议研究者首先通过定义PICOTS[population,index model(s),comparator model(s),outcome(s),timing,setting]构建问题 [13],然后使用CHARMS工具(checklist for critical appraisal and data extraction for systematic reviews of prediction modeling studies)提取信息 [14 , 15 , 16] ,再使用PROBAST工具(prediction model risk-of-bias assessment tool)评估纳入研究偏倚风险和适用性 [17 , 18] ,最后通过GRADE(grading of recommendations,assessment,development,and evaluations)形成整体的证据分级 [19] 。然而,预测模型研究需要报告模型适用性和质量,如校准度和区分度,已有的报告指南均不适用,而完整、准确和透明地报告个体预后与诊断多变量预测模型系统综述和Meta分析结果至关重要。并且,随着机器学习和人工智能技术在模型开发领域的兴起,临床预测模型系统综述将进一步增加。为了提高此类研究的报告质量,协作组遵循制定报告指南工具( https://www.equator-network.org/),借鉴TRIPOD(transparent reporting of multivariable prediction models for individual prognosis or diagnosis)系列指南和PRISMA,经多轮德尔菲调查和会议讨论,形成了个体预后或诊断预测模型系统综述和Meta分析的报告清单,并标记为TRIPOD-SRMA(transparent reporting of a multivariable prediction model for individual prognosis or diagnosis for systematic reviews and meta-analysis) [20] 。本文将对该工具的适用范围、评估条目进行解读,以方便读者了解、使用和推广该报告规范,更好地提高预测模型综述的报告质量( 图1 )。
图1 预测模型研究相关术语和工具
二、适用范围 TRIPOD-SRMA适用于所有类型的预测模型研究的系统综述(包括使用或未使用Meta分析)。这里的“预测模型”特指根据若干前置变量,即预测因素预测单一的结局或者个体罹患风险的多变量模型。这类综述通常用于:(1)确定特定临床领域内所有预测模型;(2)确定特定总体的所有预测模型;(3)确定特定结局的所有预测模型;(4)针对特定预测模型,概括其预测性能,或者比较多个竞争模型的预测性能。 TRIPOD-SRMA不适用于以下系统综述:(1)确定某个特定因素对预后的影响 [21 , 22];(2)预测模型影响研究,如评估实践中是否使用预测模型的结果 [23 , 24];(3)个体患者数据(individual participant data,IPD)Meta分析 [21]。 三、部分条目解读 TRIPOD-SRMA分为标题、摘要、前言、方法、结果、讨论和其他信息 7 部分,共包含 26 项条目(34项次级条目)。已有学者对PRISMA 2020清单进行解读 [25 , 26] ,因此本文以“新型冠状病毒感染(简称新冠,COVID-19)诊断和预后的预测模型:系统综述和批判性评估” [27] 为例,仅详细解读新增条目或者修改条目。 (一)标题 条目1:标题明确该研究为诊断/预后模型研究的系统综述或Meta分析(或两者兼而有之)。具体说明目标人群和预测结局。 解读:TRIPOD-SRMA要求标题应说明是“系统综述”和/或“Meta分析”,以便识别研究类型。为明确评价重点,标题应包含“预测模型”,以便与诊断准确性等其他研究目的区别。另外,明确该研究的目标人群以及预测结局,有助于潜在用户(患者、医疗保健提供者、政策制定者等)识别和数据库的适当索引。 (二)摘要
条目2:见TRIPOD-SRMA摘要清单(表 1),包括标题、背景、方法、结果、讨论和其他。
表1 TRIPOD-SRMA 摘要条目清单及实例解读
解读:同PRISMA 2020,TRIPOD-SRMA提供了单独的摘要报告清单,强化了摘要报告的透明度和准确性。摘要应提供研究的关键信息,有助于读者决定是否阅读全文 [28]:(1)背景应包括系统综述目的相关信息,如目标人群、指示/比较模型、模型使用时间和场景等信息;(2)方法中应包括预测模型纳入标准、检索数据库、纳入研究偏倚风险评估工具及信息合成方法;(3)结果中应给出纳入研究和模型的数量和特征,给出每种纳入模型结果,如模型性能的合并估计值、可信区间等;(4)讨论中概述证据的局限性及研究结果对于未来研究和实践的启示;(5)其他中提供基金来源和注册信息。 (三)前言 条目3:阐述研究的理论基础。 解读:同PRISMA 2020条目3。阐述研究背景的同时,应说明开展系统综述的现实意义和应用价值。 条目4:明确研究目的:目标人群、相关的指示/比较模型、结果、预测模型应用的时间范围、时机和场景。 解读:TRIPOD-SRMA要求根据相关指南 [3,13] 建议,研究者按照PICOTS构建预测模型系统综述的研究问题的框架,以便达成研究目的:目标人群(population)、指数模型(index model)、比较模型(comparator model)、结局指标(outcome)、时间(timing)和场景(setting),有助于读者了解临床相关性。 (四)方法 条目5:明确研究的纳入标准,如目标领域,以及开发模型和/或验证模型。 解读:TRIPOD-SRMA要求说明研究所关注的疾病领域,从而使审稿人和读者理解综述的范围,需强调纳入何种预测模型:开发/验证模型,或者两者兼顾。 条目6 ~9:同PRISMA 2020条目6~9,明确关于文献检索、筛选和提取,需要透明报告检索的数据平台、检索时间、检索策略、在筛选和提取过程要求透明报告研究人数量及是否独立工作。 条目10:为提取数据相关条目,列有3个子条目,10a)列出并定义所有需要获取数据。10b)说明获取的模型性能指标(例如,校准度、区分度、整体模型拟合度、临床实用性);10c)描述如何处理在10a)和10b)中未报告的数据(如与作者联系,或者从报告数据中换算)。 解读:TRIPOD-SRMA将该条目分为3个子条目,强调对获取数据的定义及明确纳入模型的性能指标;不同指标侧重点有所不同,例如:校准度可以评估模型的预测结果与实际结果之间的偏差程度,而整体拟合度可以评估模型在验证样本上的拟合效果。因此明确模型性能指标有助于比较模型不同侧面的性能。 条目11:明确描述评价纳入研究中评估偏倚风险的方法和适用性。 解读:TRIPOD-SRMA要求清晰报告研究的偏倚评估,要求针对每个开发/验证模型均进行评估,报告内容包括使用的工具及参与评价的研究者数量,强调评估的独立性。 条目12:关于结果合并有3个子条目:12a)描述模型性能的估计方法,如果有Meta分析,描述数据变换方法和效应量合成方法和软件,量化异质性的方法及处理方法;12b)描述探索模型性能异质性可能原因的方法(例如,亚组分析、Meta回归);12c)描述评估合并效应量稳健性所开展的敏感性分析。 解读:TRIPOD-SRMA强化数据分析的透明度,要求针对每个模型进行性能估计的同时,需采用亚组分析或者Meta回归探索异质性的原因,并用敏感性分析评估结果的稳健性。 条目13:描述评估预测模型证据体可信性的方法。 解读:影响证据体可信性的因素主要是效应量的精确性和研究结果间的一致性等。目前,干预性研究系统综述常用GRADE评价证据质量。 (五)结果 条目14:描述检索和筛选的过程和结果。 解读:类似PRISMA 2020,使用流程图报告检索和筛选的过程及结果,从最初检索纳入到最后确定纳入研究的全部流程。 条目15:根据条目10a)展示研究特征和模型细节。 解读:可帮助读者能够了解纳入研究的特征,有助于理解系统综述的适用性。 条目16:呈现所有纳入研究中的每个模型开发/验证的偏倚风险和适用性评估的结果。 解读:TRIPOD-SRMA强调对纳入研究中的每个模型进行偏倚风险评估,以便了解系统综述的内部有效性,以及导致偏倚的主要因素 [29 , 30] 。 条目17 :全面展示每个模型性能的点估计值和可信区间,注明验证方法:内部/外部验证,并详细写明内部验证方法。 解读:TRIPOD-SRMA要求全面评估纳入研究的模型性能,给出点估计值和可信区间。不恰当的内部验证,可能会导致过度拟合,从而高估模型性能 [20,31] ,因此需要对内部验证的方法进行透明和全面的描述,以便读者能够理解和评估研究的可信度。 条目18:展示合并的模型性能,分为3个子条目 。18a)展示模型性能的合并效果;18b)展示每种模型性能指标的异质性探索结果;18c)展示敏感性分析结果。 解读:此条目对应于条目12,3个子条目有利于增强结果展示的清晰度,即要求针对每个模型性能详细报告有贡献的研究及合并效应量,推荐用森林图直观展示每种模型性能指标的合并效应量及区间估计,并进行异质性衡量,同时补充敏感性分析结果,评估合并效应量的稳健性。 条目19:评估模型性能证据体的可信性。 解读:通常用GRADE工具定性评估系统综述证据体的确定性(或可信度)水平 [32 , 33 , 34] ,即对结局指标进行证据质量分级。但是,目前尚无专门评估预测模型系统综述整体可信性工具。 (六)讨论 条目20:总结主要发现,讨论证据的优缺点。 解读:TRIPOD-SRMA要求对研究的结果发现给予小结,并结合临床实践讨论证据优缺点,使读者恰当看待当前研究结论。 条目21:讨论预测模型系统综述过程的优缺点。 解读:为了完成研究,执行过程中不可避免要进行不断的权衡和取舍,讨论研究局限性有助于读者理解系统综述结果的可信度。 条目22:讨论研究结果对实践、政策及未来研究的意义。同PRISMA 2020条目23d。 (七)其他信息 条目23~26:提供研究注册信息和计划书的获取途径,并描述和解释更改信息;描述资金来源,并声明研究作者的利益冲突;报告可公开信息。同PRISMA 2020其他信息。 我们使用TRIPOD-SRMA针对“新冠诊断和预后的预测模型:系统综述和批判性评估” [27] 一文进行了解读,并将全文与TRIPOD-SRMA报告清单逐条核对列于表2 ,总体而言,该研究报告内容详细具体,基本符合规范。
表2 TRIPOD-SRMA条目清单及实例解读
四、总结 TRIPOD-SRMA可用于指导多变量预测模型研究系统综述和Meta分析的透明报告,提高报告质量。随着模型研究方法学日臻成熟,模型的开发与验证研究将持续增长,为了评估模型性能或者比较多个模型性能需要开展规范的系统综述,并透明准确报告,推进预测模型在临床实践应用。系统综述制作者将TRIPOD-SRMA作为报告的最低标准,提高结果报告的透明度,是生产高质量预测模型系统综述和Meta分析的重要环节,但是研究者需要额外投入时间参加培训,强化透明报告研究的意识和能力,才能遵循该指南撰写针对个体预后或诊断预测模型研究系统综述和Meta分析。 声明:本内容来自数字医学与健康公众号,如转载内容涉及版权等问题,请立即与我们联系,我们将迅速采取适当措施。