医疗AI产品检测标准建设提速

当前，人工智能（AI）在医疗领域的应用十分广泛，各个环节几乎都有AI的身影。然而，医院究竟需要怎样的AI产品？这才是众多医疗AI企业在产品应用与落地过程中需要考虑的问题。6月24日，2018广州国际人工智能工作交流会举办期间，围绕“拥抱变化 共智未来”这一主题，与会专家展开了医疗AI推动产业变革的圆桌讨论，共同探讨AI应用落地的核心问题。

 

    “欲知平直，则必准绳；欲知方圆，则必规矩。”中华心胸放射学会主任委员、上海长征医院影像医学与核医学科主任刘士远教授表示，近两年来，医疗AI热度持续升温。然而，检测标准和行业标准的缺失仍是制约医疗AI发展的实质性阻碍。

    在他看来，符合临床使用场景，能够提高效率和准确率，人机交互友好，且敏感性和特异性高，并以检查部位和目的为终端解决方案的AI产品才是医院真正需要的。

    据刘士远粗略统计，目前，我国从事医疗AI研发的企业有120家之多，并诞生了多家独角兽公司。全国几乎所有的学会都在成立关于AI的学术分会、行业联盟或者峰会，专做AI或兼做AI的企业，也都在向医疗方向拓展。

    “总的来说，AI目前在医疗领域的应用是尝试较多，但尚未出现能够落地、符合临床使用场景且在医院正式投入使用的产品，更多的还是研发企业与医院做科研合作或试验。”刘士远坦言，这其中，一方面是产品的同质化倾向明显。以医疗影像为例，目前发展得比较成熟的是肺结节检测。然而，肺结节的检测训练俨然已成为基本项目，几乎每家涉足医疗AI的企业都在做，不仅病种同质化，产品模型、检测性能、目标也都呈现出相似性，甚至连训练软件模型用的都是相同的公开数据库。另一方面是用于医疗AI训练的数据库缺乏且不规范。由于大多数公司或是用国外公开的数据库来训练，或是找医院合作，使用合作医院的病理数据训练，由于数据库单一，训练不够多样，造成在实际临床应用中水土不服，不具有普适性。

    “数据是否有标定，标定得是否规范更要严谨对待。”刘士远认为，只拿来数据，但没有高质量的标定也很难形成很好的AI产品。正是基于上述原因，导至用于AI训练的产品，其输出的形式不符合临床场景的需求，这其中，缺少规范标准的数据库是最为重要的原因。

 

    记者了解到，截至目前，很多AI公司自身或找第三方检测机构出具的检测报告中，对于敏感性这一指标，能到达96%甚至98%以上。然而，这种由企业自己提供或第三方检测机构出具的检测报告以及其使用的检测方法，因缺乏统一的标准，其客观性和公允性难免会被质疑，而且可能会使企业“既是运动员又是裁判员”的情况愈演愈烈。正因如此，在医疗AI产品落地应用之前的检测审批流程显得特别重要。

    对此，有关专家表示，AI的本质是基于数据和算力的算法，AI医疗器械就是采用AI技术的医疗器械，按照医疗器械使用软件的类型，可分为AI独立软件和AI软件组件两类。而在医疗器械当中，AI的应用情况主要包括流程优化、前处理、常规后处理、辅助诊断、辅助治疗等，且应用的情况和产品的性能必须依靠权威、公正的检测手段才能证明其敏感性、准确性和稳定性。简而言之，就是要有标准化和得到行业普遍认可的检测报告才能进行审评。

    而为了引导和规范AI医疗器械产业的良性发展，中国食品药品检定研究院（以下简称“中检院”）于今年2月份成立了AI小组，正式启动了对AI医疗器械产品检验检测方法的研究工作。

    中检院医疗器械检定所所长杨昭鹏表示，AI小组结合报检产品的情况，开展了基于标准测试数据集的性能评价方法研究，目前已取得一定成果，可以解决绝大多数报检产品的评价需求。在此基础上，他们正在推进企业建立的检测数据库认证、对抗测试、建模测试等方法研究，为起草行业标准奠定基础。

 

    6月29日，中检院光机电室AI小组组织召开了肺结节标准测试数据集建设工作报告会，宣布I期数据集顺利完成建设，已可用于肺结节AI性能的检测评价。会上，AI小组成员从数据接收、数据清洗及数据标定3个方面详细介绍了数据集的建设情况，同时宣讲了肺结节AI产品的最终测试方案。

    “从2月启动建设工作，4月开始在全国招募肺结节图像标定专家，5月初完成上述专家的在线考试选拔和培训，6月10日完成线下封闭标定工作，24位标定专家及15位仲裁专家共同完成625个病例的标定、仲裁及质控工作。”回顾肺结节标准测试数据集的整个建设过程，光机电室主任任海萍表示，作为国家最权威的检测机构之一，中检院承担着国家创新、复杂医疗产品的检测方法的建立工作；同时，也一直在推动医疗AI产品的监管基础性工作和前沿科技研究能得到科技部、工信部的支持。

    “目前可行的检测方法中，建立标准测试数据集是科学有效的。中检院的肺结节标准测试数据集依托于中国的临床实践和患者特征，在病例平均结节数量、结节类型和尺寸多样性、数据来源多样性等关键属性上，达到国际著名公开训练集水平；且完全封闭独立运行，客观公正，整个标定过程可控。”任海萍表示，中检院先后启动建设的眼底图像标准检测数据集、肺部影像标准检测数据集，已经用于AI产品的注册检验和产品的性能评估。“希望铸好AI产品上市的基石，做好医疗AI产品监督管理的基础性工作。”

    中国科学院院士、中国医学科学院阜外医院副院长顾东风教授特别强调，AI医疗离不开大数据，而医疗数据的来源、质量、安全性是很多国家政府部门今后需要重点考虑的问题，我国已在初步拟定通用统一大平台标准，让不同的医疗单位、卫生机构和相关企业间的数据可以互相有机链接与解读。

    记者了解到，6月10日肺部影像标准检测数据集肺结节图像现场标定结束后，为尽快进入测试阶段，中检院光机电室AI小组于6月15日发出肺结节AI产品测试方案意见的征集通知，涵盖了在中检院送检的11家企业。在综合各企业反馈意见的基础上，最终形成了测试方案。

    “建立肺结节标准测试数据集，以便用于AI产品的验证，对于监管部门加快批准AI产品上市起到了关键性的作用。”零氪科技首席科学家刘博感言。

    刘士远呼吁：“除了肺结节、眼底病变AI产品标准测试数据集，其他病种AI产品的标准测试数据集也要逐步建立起来。在这个过程中，希望企业、临床专家能参与其中，各尽其力，促进整个行业的创新发展。”

 

来源：中国医药报