AR走进医疗:谷歌打造增强现实显微镜平台实时检测癌症

AR走进医疗:谷歌打造增强现实显微镜平台实时检测癌症

在眼科学、皮肤学、放射学和病理学等医学学科领域,深度学习前景广阔,可以用于提高世界各地患者高质量医疗保健的准确性和实用性。

谷歌发表了一份研究结果,显示出卷积神经网络能够在淋巴结中探测乳腺癌转移,其准确度堪比训练有素的病理学家。然而,由于用复合光学显微镜得到生理组织的直观图像,仍是病理学家诊断疾病的主要手段,因此对于微观组织的数字表示的依赖性,阻碍了在病理学中广泛应用深度学习。

谷歌在美国癌症研究协会(AACR)年度会议上发布的演讲,以及正在审查中的《用增强现实显微镜自动实时检测癌症》(An Augmented Reality Microscope for Real-time Automated Detection of Cancer)论文中,阐述了增强现实显微镜(ARM)平台,相信能促进世界各地的病理学家应用深度学习工具,并使这一技术更为大众化。该平台由改良的光学显微镜组成,它能实时分析图像,并将机器学习算法的结果直接显示在视野中。重要的是,医院里随处可见的低成本、易获得组件的光学显微镜,都可以改造成ARM,而不需要完整的样本数字图片。

现代计算机组件和深度学习模型,例如基于TensorFlow构建的模型,允许广泛的前训练模型在这个平台上运行。在传统的模拟显微镜下,用户通过目镜观察样本。机器学习算法将其输出实时地投射到光路中。数字投影在视觉上叠加在样本的原始(模拟)图像上,以帮助观察者定位或量化感兴趣的特征。重要的是,计算和视觉反馈的更新速度很快,实现速度大约是每秒10帧,因此当用户通过移动载物玻璃片或改变放大率来扫描组织时,模型输出会进行无间断更新。

AR走进医疗:谷歌打造增强现实显微镜平台实时检测癌症

左图:ARM的原理概述图。数码相机捕捉到与用户相同的视图(FoV),并将图像传递给一个附加的计算单元,这一单元能够运行机器学习模型的实时推断。这些结果被反馈到设定好的并与目镜相联的AR显示器中,并在成像时将模型输出投射到到同一平面上。

右图:典型的临床级光学显微镜改造成原型机的图片。

原则上来说,ARM可以提供广泛的视觉反馈,包括文本、箭头、轮廓、热点图或动画,并且能够运行多种类型的机器学习算法,以解决如检测、量化或分类等不同种类的问题。

为了演示ARM的潜在效用,运行了两种不同的癌症检测算法:一种是在淋巴结标本中检测乳腺癌转移,另一种是在前列腺切除术样本中检测前列腺癌。这些模型放大倍数可在4-40x之间,给定模型的结果即检测到的肿瘤区域用绿色轮廓线标出。这些轮廓有助于将病理学家的注意力集中到他们关心的范围,而不会将潜在的肿瘤细胞模糊。

AR走进医疗:谷歌打造增强现实显微镜平台实时检测癌症

ARM透镜下的样例视图。这些图片分别展示了4倍,10倍,20倍和40倍显微镜下的淋巴结转移模型样例。

虽然这两种癌症模型最初是通过全片扫描仪中的图片训练的,光学配置完全不同,但即使没有额外的重训,这些模型在ARM上表现得也非常好。例如,在ARM上运行进行癌症探测时,淋巴结转移模型有0.98的曲线面积(AUC),前列腺癌模型的AUC是0.96,与WSI的表现相比,只是稍稍下降。利用直接从ARM获取的数字图像进行额外的训练,应该可以进一步提高这些模型的性能。

ARM有可能对全球医疗保健方面产生重大影响,尤其是在发展中国家诊断传染病,包括结核病和疟疾。此外,即使不久的将来在会采用数字化病理学工作流程的医院中,ARM也可以与数字化工作流结合使用,扫描仪仍然面临着重大挑战,或者需要加快改变速度(如在细胞学、荧光成像、手术中的冷冻切片中使用)。当然,光学显微镜已被证明在除病理学之外的许多行业都很实用,那么ARM也可以应用于广泛的领域,如医疗保健、生命科学研究和材料科学等。

 

本文为ATYUN(www.atyun.com)编译作品,ATYUN专注人工智能
请扫码或微信搜索ATYUN订阅号及时获取最新内容

发表评论