病原宏基因组高通量测序医疗机构本地化质量评价联合研究

刘东来，张栋，韩东升，艾静文，关文达，胡晋君，李曼郁，周海卫，王佑春，吴文娟＊，许四宏＊.病原宏基因组高通量测序医疗机构本地化质量评价联合研究[J].中国食品药品监管.2022.12（227）：4-15.

刘东来

中国食品药品检定研究院

LIU Dong-lai

National Institutes for Food and Drug Control

张栋

中国医学科学院北京协和医院检验科

ZHANG Dong

Department of Laboratory Medicine, Peking Union Medical College Hospital, Chinese Academy of Medical Sciences

韩东升

浙江大学医学院附属第一医

院检验科

HAN Dong-sheng

Department of Laboratory Medicine, the First Affiliated

Hospital of Zhejiang University School of Medicine

艾静文

复旦大学附属华山医院感染科

AI Jing-wen

Department of Infectious Diseases, Huashan Hospital Affiliated to Fudan University

关文达

广州医科大学附属第一医院

广州呼吸健康研究院

GUAN Wen-da

the First Affiliated Hospital of Guangzhou Medical University,Guangzhou Institute of Respiratory Health

胡晋君

中国食品药品检定研究院

HU Jin-jun

National Institutes for Food and Drug Control

李曼郁

中国食品药品检定研究院

LI Man-yu

National Institutes for Food and Drug Control

周海卫

中国食品药品检定研究院

ZHOU Hai-wei

National Institutes for Food and Drug Control

王佑春

中国食品药品检定研究院

WANG You-chun

National Institutes for Food and Drug Control

吴文娟＊

同济大学附属东方医院南院检验科

WU Wen-juan*

Department of Laboratory Medicine, East Hospital Affiliated to Tongji University

许四宏＊

中国食品药品检定研究院

XU Si-hong*

National Institutes for Food and Drug Control

目的：开展病原宏基因组高通量测序（mNGS）质量评价联合研究，为医疗机构（医院）mNGS 本地化建设提供参考经验。方法：参加单位使用本地化建设的mNGS 流程，按方案要求检测参考品标本并回报结果。对检测性能及技术选型等因素进行统计分析。结果：来自全国17 个省、直辖市的42 家医院的47 个科室参加本次研究，检测流程包括3 种测序平台的10 种测序仪。参加单位按研究方案完成质量评价参考品的测试，共回报49 组有效数据，其中全部性能指标均为满分的占29%，各性能指标的满分占比分别为阳性符合率（准确性）73%、阴性符合率（特异性）92%、重复性47%、检出限71%，以及稳健性37%。实验流程中标本前处理、病原富集及核酸片段化的技术选型，是显著影响满分率的因素。更大的测序数据量与满分率呈正相关，而不同测序方案则无统计学差异。结论：本次联合研究提示，目前mNGS 流程的整体稳定性仍有较大优化空间，实验室在开展本地化建设时应充分考虑影响检测系统稳定的各潜在因素，有助于保证日常运行的稳定可控。

Objective: A benchmarking study on quality evaluation of pathogen metagenomic next-generation sequencing (mNGS) was carried out to provide practical reference for the localization implement of mNGS testing in medical organizations (hospitals). Methods: The mNGS workflows implemented in medical organizations were used to test the reference panel and to report the results as required. This paper presents a statistical analysis of factors such as detection performance and technology selection. Results: The participants came from 47 departments of 42 hospitals in 17 provinces (municipalities), and the workflows included 10 types of sequencers on 3 platforms. Participants completed the tests of reference panel according to the study scheme and a total of 49 sets of valid data were returned. The percentage of full scores for all performance indicators was 29%, and the percentage of perfect scores for each performance indicator was 73% for positive coincidence rate (accuracy), 92% for negative coincidence rate (specificity), 47% for repeatability, 71% for detection limit, and 37% for robustness. The technical characteristic of sample pretreatment, pathogen enrichment and nucleic acid fragmentation were the factors that would significantly affect the full score rate. A larger amount of sequencing data was positively correlated with the full score rate, while different sequencing strategies were not. Conclusion: This study suggests that the overall stability of the current mNGS workflow needs further improvement. The laboratory needs to fully consider the potential factors affecting the stability of the detection system when building a localized mNGS system, which helps ensure the stability and control of daily operation.

病原宏基因组高通量测序；医疗机构；本地化；质量评价；参考品

pathogen metagenomic next-generation sequencing; medical organizations;localization; quality evaluation; reference panel

国家科技重大专项（2018ZX10102001）

病原宏基因组高通量测序（ metagenomic next-genera tion sequencing ，mNGS）通过对标本总核酸进行测序分析，能够无偏倚地检测标本中的病毒、细菌、真菌和寄生虫等^[1-2]，尤其适合新发突发病原体鉴定、复杂及混合感染以及不明原因感染的临床辅助诊断^[3-11]。近年来，mNGS 技术在临床诊断领域得到快速发展和应用，并在新冠肺炎疫情发生后迅速锁定新型冠状病毒的过程中发挥了重要作用^[2]。现阶段，mNGS 检测流程对实验室环境、仪器设备和人员专业技能要求高，主要在第三方医学实验室开展^[12]。

随着mNGS 自动化、集成化及智能化程度的提升，国内越来越多的医疗机构（医院）已经或计划在本院实验室内完成标本检测和结果报告全流程^[13-15]。然而，mNGS 检测流程仍存在实验操作复杂、技术选型多样及质量控制标准化程度较低等技术挑战，其可靠性和准确性等仍有优化潜力^[16-17]。因此， 为保证mNGS检测的有序开展、规范管理及合理使用，医院对mNGS 本地化质量评价的需求较为迫切。尽管国内外已有多个研究团队报道过mNGS 质量评价的相关研究，但仍未建立公认的适合医院本地化开展质量评价活动的方案^{[11-12, 17-24]}。

中国食品药品检定研究院（以下简称中检院）于2021 年9 月至2022 年2 月联合42 家医院的47 个科室开展相关质量评价研究，以期为推动国内医院mNGS本地化建设提供参考经验。

1.1 质量评价参考品

1.1.1 参考品组成

本次联合研究使用的mNGS技术质量评价参考品由中检院团队设计研制^[23]，由D1 和D2 系列2 组参考品组成，分别包括2个阳性参考品、6 个阴性参考品、1 个重复性参考品、1 个检出限参考品以及6 个稳健性参考品，详见表1。除空白参考品D0 仅含有人源细胞以外，其他参考品均由5 种微生物与人源细胞混合制备，详见表2。

1.1.2 参考品使用方法

参考品于-20℃及以下条件保存及运输，编盲后分发至各医院。以D1 系列参考品为例，说明参考品检测方案：使用mNGS 本地化检测流程，对D1-1、D1-2各检测1 次，评价阳性符合率（准确性）；对D1-2 重复检测3 次，评价重复性；对D1-3 检测1 次，评价检出限；对D1-1、D1-2和D1-3 及D1-3、D1-2(10)和D1-1(100) 2 组线性标本分别各检测1 次，评价稳健性（鲁棒性）；对D0 检测1 次，再结合以上各参考品的检测结果，共同评价阴性符合率（特异性）。

1.2 联合研究方案

1.2.1 参加单位

项目组于中检院官网发布通知介绍研究背景及申报要求，并公开邀请国内已经开展mNGS 本地化项目的医院共同参加联合研究。报名单位按要求提交相关技术资料以供参加资格审核。

1.2.2 研究流程

参加单位收到低温寄送的编盲参考品后，对其温度和外观进行检查。确认参考品状态正常后，各单位在本院实验室内使用已经建立的呼吸道感染或中枢神经感染mNGS 检测流程，按参考品使用方法（见1.1.2 参考品使用方法）进行检测。检测结束后，各单位于规定时间内、按规定格式回报原始数据和检测报告，包括技术选型、质量控制参数、原始下机数据及检测结果等。中检院对各单位的回报结果进行质量控制和过滤后，完成汇总、统计、分析及评价，研究流程详见图1。

1.2.3 评分标准

mNGS 本地化检测流程的质量评价，包括阳性符合率（准确性）、阴性符合率（特异性）、重复性、检出限及稳健性5 个项目。根据参考品检测要求以及各单位对相应参考品中微生物的具体检出情况进行评分，各项目计20 分，详见表3。

1.3 数据统计及分析

对各单位的回报结果按以下原则进行质量控制：①审核回报结果的完整性。如果数据信息不完整，则联系参加单位进行补充。②初筛检测数据的准确性。如果数据疑似有误，则联系参加单位进行复核并确认。

对符合规定的回报结果进行汇总和统计，分析5 个评价指标分布及其与各单位检测流程的技术选型相关性，包括标本处理方式、测序平台、测序数据量、生物信息学分析流程及各环节自动化程度等。此外，对相关参考品的检测数据进行计算并分析变异系数（coefficient of variation，CV）及线性相关系数绝对值（|r| ）

1.4 统计分析方法

采用R 统计软件进行统计分析及作图。相关性分析采用Spearman 法，平均值比较采用Mann-Whitney U 检验，P＜0.05 为有统计学差异。

2.1 参加单位评价结果总体情况

共有来自全国17 个省、直辖市的42 家医院的47 个科室，共同参与联合研究，其中上海7 家、北京6 家、广东5 家及浙江4 家等，详见图2。共回报49 组有效数据，其中有2 个科室分别提交了基于2 个不同检测流程的回报结果，总数据量26 432 MB（约25.8 GB），单标本的最高测序数据量168.8 MB，最低测序数据量3.9 MB。

回报的49 组数据， 包括3种不同原理的测序平台， 再根据所使用的测序仪和芯片， 可进一步分为7 种测序策略， 分别是基于深圳华大智造科技股份有限公司的MGISEQ-200-SE50、MGISEQ-2000-SE50及BGISEQ-50-SE50，基于因美纳（中国）科学器材有限公司的Nextseq-SE50、Nextseq-SE75 及MiSeq-SE50，以及基于赛默飞世尔科技（中国）有限公司的Ion Torrent-SE150。

从测序数据量来看，深圳华大智造科技股份有限公司平台略高于其他平台；从测序质量来看，Q20 数据各平台均一致，Q30 数据因美纳（ 中国） 科学器材有限公司平台略高于其他平台，见图3A ；人源细胞浓度相对较低的参考品，如D1-2(10)、D1-1(100)、D2-2(10) 及D2-1(100)，其测序数据量相较其他参考品略低，而测序数据的GC含量则略高于其他参考品，见图3B。

各参加单位按回报的49 组数据，根据评分标准对各mNGS本地化检测流程的5 个性能指标进行分析及评分。所有回报数据中，全部性能指标均为满分的占29%。其中，阴性符合率（特异性）的满分占比最高，为92% ；其次为阳性符合率（准确性）和检出限，满分占比分别为73% 和71% ；重复性和稳健性的满分占比则偏低且均小于50%，分别为47% 和31%。详见表4。

2.2 评价指标统计分析

2.2.1 阳性符合率分析

阳性参考品D1-1、D1-2、D2-1 及D2-2 的检出情况详见图4。根据评分标准，评价阳性符合率（ 准确性）。在49 组数据中，36 组数据的阳性符合率均为满分， 满分占比73% ；阳性符合率为90% 的有10 组数据；此外， 还有2 组数据和1 组数据的阳性符合率分别为70% 和50%，见图4。各参加单位对不同微生物的检出能力略有差异。对于D1 系列参考品，副流感嗜血杆菌的检出率最高，为100% ；马红球菌最低，为78% ；格氏李斯特菌、琼氏不动杆菌及藤黄微球菌分别为98%、96% 及94%。对于D2系列参考品，荧光假单胞菌、嗜肺军团菌及葡萄牙念珠菌的检出率， 均为100% ；嗜水气单胞菌和干燥奈瑟菌分别为98% 和96%。

2.2.2 阴性符合率分析

对所有参考品的检测结果进行分析，根据评分标准，评价阴性符合率（特异性）。在49 组数据中，45 组数据的阴性符合率均为满分，满分占比92% ；3 组数据的阴性符合率均为75%，另有1 组数据的阴性符合率仅为15%，见图4。对假阳性微生物的种类及检出频率进行分析，其中2 组数据均在检测空白参考品D0 时，出现假阳性结果，假阳性微生物种类均为D1 和D2 系列参考品中存在的；有1 组数据在不同参考品或同一个参考品的重复检测时，检出不同的假阳性微生物，种类为临床常见病原微生物，并非D1和D2 参考品中存在的；另有1组数据，对于除D0 以外的每一个参考品进行检测时，均出现由于菌种鉴定异常发生的假阳性结果，格氏李斯特菌被错误鉴定为单核细胞增生李斯特菌，干燥奈瑟菌被错误鉴定为黏膜奈瑟菌及脑膜炎奈瑟菌，见图5。

2.2.3 重复性分析

重复性参考品D1-2 和D2-2分别重复检测3 次， 根据评分标准，计算参考品中各微生物每百万检出序列数的变异系数，评价重复性， 见图6。在49 组数据中，23 组数据的重复性得分为满分，占比47% ；14 组数据得分率为90% ；其他12 组数据得分率较为分散，分别为80%（2组）、70%（3 组）、50%（6 组）、40%（1 组），见图6。此外，有10 组数据，除未检出的微生物外，其他检出的微生物序列数的变异系数均≤ 50%。

2.2.4 稳健性分析

D1 和D2 系列参考品均设置了2 组线性标本，分别为“人源细胞浓度固定- 微生物浓度梯度降低”和“微生物浓度固定- 人源细胞浓度梯度降低”，详见表2。基于不同测序策略的mNGS 检测流程，微生物的检出序列数均呈“V”字形趋势，详见图4 和图7。

根据评分标准，计算参考品中各微生物每百万检出序列数的线性相关系数绝对值|r|，评价稳健性。在49 组数据中，18 组数据的稳健性得分为满分，占比37% ；其他31 组数据得分率较为分散，90%~ ＜ 100% 有11 组，80%~ ＜ 90% 有4 组，70%~ ＜80% 有8 组，60%~ ＜ 70% 有3 组，＜ 60% 有5 组。

2.3 技术选型与评价指标的相关性分析

分析49 组数据的技术选型，包括标本前处理、病原富集、核酸提取、核酸片段化、测序仪、测序读长、测序数据质控和比对软件以及自动化程度等，见表5。标本前处理环节的主要技术选型为物理珠击研磨（59%）和化学裂解（22%）；选择去宿主技术进行病原富集的占少数（27%）；核酸提取环节， 磁珠法使用率（69%）高于柱提法（31%）；核酸片段化环节主要技术选型为内切酶（71%）和转座酶（24%）；测序平台有深圳华大智造科技股份有限公司（35%）、因美纳（中国）科学器材有限公司（63%）及赛默飞世尔科技（中国）有限公司（2%）3 家公司的10 种测序仪。对于自动化程度，不同环节技术选型的自动化程度各不相同， 总体上生物信息学分析流程的自动化程度高于试验操作环节，见表5。

对实验环节的不同技术选型与评价指标总体满分率之间的相关性进行分析，结果显示标本前处理、病原富集及核酸片段化环节的不同技术选型对检测结果具有显著影响。具体而言，化学裂解处理，不进行去宿主处理，以及内切酶处理均与总体满分率呈显著正相关，详见图8~ 图10。对测序数据量进行分层分析，尽管可以观察到总体满分率的提高与测序数据量的增加呈正相关，但无统计学差异。此外，核酸提取方法和测序策略，与总体满分率无显著相关性。进一步分析可能导至稳健性评分降低的因素，即病原富集和测序数据量，结果显示不进行去宿主处理且测序数据量＞ 30M 时，更易获得较好的稳健性。

对于病原病因不明感染诊断的独特优势，令mNGS 技术获得越来越广泛的临床关注和应用^[3-10]。同时在国家相关政策的鼓励下，越来越多的医疗机构正积极探索mNGS 本地化建设^[14-15]。在推进mNGS 临床检测规范化临床应用的过程中，开展临床检测前的性能评价和开展临床检测后的能力验证或室间质评等，均是保证临床检测质量的重要方面^[13]。因此，本研究联合国内已经积累mNGS 本地化实践经验的42 家医院，以能力验证和室间质评的形式，共同探索可被广泛认可的质量评价方案，同时对实验室已建立的检测方法进行初步评估。

参考品是mNGS 质量评价的基础。自2018 年，中检院曾2 次组织覆盖行业10 余家体外诊断试剂生产企业、科研院所及医疗机构等利益相关方的大规模mNGS 质量评价联合研究^{[11, 17]} ；先后为10 余家企业提供技术指导，并完成相关mNGS 检测试剂盒的注册检验。在此基础上，结合医院的实际需求，中检院研制了医院本地化全流程质量评价参考品，能够对mNGS 检测流程的准确性（阳性符合率）、特异性（阴性符合率）、重复性、检出限及稳健性等性能指标进行评价^[23]，能够让医院较为高效便捷地初步了解mNGS 本地化检测系统的技术特点和性能情况。

对于mNGS 检测流程，必须经过特定的生物信息学分析流程才能获得检测结果，所需的病原体数据库中参考序列的数量、种类及序列质量，决定了mNGS 技术的理论检测范围^[25-26]，同时也是影响检测结果准确性的重要因素^[16]。对于D1 系列参考品，12 家单位漏检马红球菌，3 家漏检藤黄微球菌，2 家漏检琼氏不动杆菌；对于D2 系列参考品，1 家漏检嗜水气单胞菌，将格氏李斯特菌被错误鉴定为单核细胞增生李斯特菌，将干燥奈瑟菌被错误鉴定为黏膜奈瑟菌及脑膜炎奈瑟菌。评估结果提示，可能的原因是部分实验室所使用的病原体数据库缺少该病原体基因序列信息，或生物信息学分析流程的过滤机制导至了上述漏检和错误鉴定的发生。因此，在mNGS本地化建设时，需加强对于生物信息学分析流程以及病原体数据库的关注^[27-29]。此外，试剂背景菌和标本间的交叉污染是假阳性结果的主要原因^[17]。实验室在建立方法学后，可根据实际情况建立背景核酸数据模型用于监测不动杆菌属等mNGS 检测流程中常见试剂背景菌。标本间的交叉污染，则可来源于mNGS 检测流程的各环节，实验室应建立有效的防污染策略。

本次联合研究的49 组数据中，有53% 的变异系数＞ 50%，与以往的研究结果相似^[17]，提示mNGS 检测的整体稳定性仍有较大优化和提高的空间。相关原因比较复杂，总体上实验操作各个环节相较于生物信息学分析环节，对高变异系数的贡献更大，包括但不限于：标本前处理使得不同微生物核酸的释放效率有偏差；去或不去宿主核酸流程之间的偏差；核酸片段化产生了随机大小的片段使得扩增环节产生偏差等。目前，mNGS 检测多以定性检测向临床提供结果，如需使用mNGS 对病原体进行半定量或定量检测，应充分考虑该检测流程重复性以及对检测结果和临床诊疗的潜在影响。

本次联合研究中，探索性地通过线性相关系数对检测流程的稳健性进行评价。希望通过考察人源细胞与微生物的相对浓度或相对比例，对检测系统整体稳定性的影响，从而反映感染性临床样本的复杂性对检测稳健性的影响^[23]。结果显示，去宿主技术是mNGS 检测稳健性的重要影响因素。目前，去宿主技术主要有3 种^[30]，一是利用人源细胞与病原体大小进行分离；二是基于真核细胞与原核细胞的核酸甲基化修饰差异，去除人源核酸；三是利用细胞外层结构的差异，选择性裂解宿主细胞后去除人源核酸。去宿主技术影响稳健性的原因可能包括：人源核酸的部分去除引起总核酸产量的降低，导至核酸提取环节失控；用于文库构建的核酸始量较低，导至建库环节失控；人源核酸占比的降低使背景核酸放大，导至背景菌过滤及结果解读环节失控。

保证mNGS 检测系统整体的稳定性，是该技术临床应用的重要基础。尽管在本次联合研究中，基于前期的研究经验，使用“每百万检出序列数”这一参数对重复性和稳健性评价指标进行了量化评分与分析。但是，该评价方法仍存在局限性。例如，使用绝对检出序列数、每十万检出序列数等其他参数进行分析时，结果可能会发生变化；如果某检测系统明确声称检出序列数与检出微生物浓度之间没有任何相关性，则该系统不适用上述评价方法；本研究未能考察同一检测系统在一定时间段内的长期稳健性。在mNGS 本地化建设时，应充分考虑并重视影响检测系统稳定的各个潜在因素，有助于保证日常运行的稳定可控。

综上所述，中检院联合42 家医院共同开展mNGS 质量评价研究，对mNGS 各性能指标进行初步评价，并进一步对实验环节的各技术选型对检测结果的影响进行了相关性分析。相关研究成果将为我国医院的mNGS 本地化建设提供参考。未来，更稳定的检测系统、更准确的检测结果以及更简便的操作，将是mNGS 技术发展与提高的必然方向。此外，项目组仍在对本次研究的原始数据进行生物信息学深度挖掘和关联分析，待整理完成后也将公开。本研究尚有不足和局限，如未对mNGS 技术检测病毒的性能进行质量评价及分析、未对生物信息学分析流程单独进行质量评价以及各环节影响因素进行详细拆解分析，在未来，计划有针对性地研制相应实物及虚拟参考品补充研究。

本次联合研究是中检院组织的mNGS 技术质量评价系列研究之一。在研究过程中，得到了很多来自国内顶尖医院专家们的支持和帮助，在此感谢：鲍会静、陈瑜、陈宏斌、邓国宏、胡敏、韩晓旭、郝婵娟、蒋黎、蒋永芳、姜艳芳、纪元、江凌晓、刘大渔、刘靳波、刘文兰、李敏、李一荣、李子阳、李昂、李艳春、马筱玲、莫茜、庞峰、孙峰、孙召洋、孙自镛、王辉、王明贵、王锐智、王贤军、王婧、王亮、王香玲、魏飞力、温冬华、吴冰冰、徐文胜、徐英春、杨启文、余斐、余旻斐、袁晨燕、袁磊、叶啟发、张文宏、张樱、张诗海、张文庚、张晓坚、张钧、张纯、张顺、张义、张彦、赵锐及联合研究单位的所有参与者。本次联合研究的顺利完成，以及研究的成果离不开所有人的共同努力！

刘东来，博士，中国食品药品检定研究院，副研究员。专业方向：体外诊断试剂质量控制与评价

张栋，硕士，中国医学科学院北京协和医院检验科，主管技师。专业方向：分子诊断技术的临床评价与应用

吴文娟，博士，同济大学附属东方医院南院检验科，教授，博士生导师。专业方向：前沿诊断技术临床基础研究、转化及应用

许四宏，博士，中国食品药品检定研究院，研究员。专业方向：体外诊断试剂质量控制与评价

中英文长摘要请扫描二维码

参考文献请扫描二维码