MR在医学影像中的应用
随着科技的发展,AR与VR已经融入到大众的生活当中,从2009年高通、可口可乐等知名企业对AR(Augmented Reality,增强现实技术)和VR(Virtual Reality,虚拟现实技术)深入研究开始,新颖的表达方式以及身临其境的体验方式,使AR和VR吸引了一众粉丝,而后兴起的MR(Mixed Reality,混合现实技术)等新型数字技术也展现出了极大的潜在价值。与AR和VR不同的是,MR是将虚拟世界与现实世界融合的同时进行实时交互和信息的及时获取,增强了用户体验的真实感,具有真实性、实时互动性以及构想性等特点。混合现实不仅有潜力创造出新的市场,还将颠覆当前的一些市场,医疗保健正是其中的一个领域。
借助微软的HoloLens混合现实眼镜,利用全息影像的方式解决了传统医疗胶片平面化、不能共享的问题,也解决了产品耗费大量时间进行深度学习的问题。
混合现实医学现状
·混合现实医学产品(第一阶段):智能处理医学影像数据并通过混合现实技术全息呈现,可视化临床、教学过程。
·MR数字医学平台(第二阶段):云端智能存储、处理、分享全息数据,混合现实连接异地医疗场景。
·可视化智能医学生态(第三阶段):高度可视智能化医学数据分析与临床手术操作过程,通过“人+机器”的智能赋能医生。
现阶段混合现实医学产品和MR数字医学平台已经实现,可视化智能医学生态还处在研发阶段,高度可视化的医学数据分析需要大量的医学影像学数据,但是鉴于医院的影像数据属于非公开资源,所以目前还没有更好办法实现补偿算法的训练。
混合数字医学平台的应用
1.星影混合现实显示系统
星影混合现实显示系统是一款基于混合现实技术的影像数据全息体素渲染阅片工具,在医生需要快速识别影像做诊断的时候,应用星影进行辅助。星影不需要人工操作和学习,医生只需要把CT、核磁影像数据导入影像数据,通过系统智能分析并体绘制渲染至混合现实眼镜,无需人工重建3D模型,就可以在眼镜里出现实时的全息模型,包括模型重建也可以在系统里面完成。医生需要搭配混合现实眼镜,通过二维结合三维的体素渲染方式来观看影像数据,或者可以体验在立体影像数据上模拟手术路径、置入植入体等临床环节,有利于手术方案策划与制定,以便于做出更科学更高效的诊断。
2.星图混合现实显示系统
星图混合现实显示系统是一款混合现实医学影像阅片工具,在导入医学影像数据后,经系统智能处理,医生可以通过混合现实眼镜从任意角度全息浏览病例立体模型,提高医生对病灶中各组织空间位置关系的认知能力。星图的特点是支持多人观看,目前最多支持七台眼镜同时观看。但它不同于星影的平面绘制,在星图中,病例的各个单独模型都能独立拆分,换成任意想要的颜色,每个单独的模型都能进行显示隐藏的操作或是调节透明度。比如隐藏掉皮肤,只看血管和肿瘤的位置关系,也可以做一些标注,支持从任何角度去观看模型,适合深度的观察和讨论病例。星图为医生提供了更具参考价值的影像信息,把手术部位立体模型置于手术视野中,通过调整位置、透明度、大小等参数,获取更多与病灶相关的信息。
3.星航混合现实导航系统
星航是一款用于术中实时导航和教学培训方面的系统,可以跟踪手术器械的实时位置信息,比如探针的深度和角度的位置信息,将空间信息在混合现实中进行呈现。是一套非常精准的导航工具,能够帮助医生高效精准的完成手术。它用在医学教学上,可以帮助学生做临床医学操作上的培训。
4.星云混合现实数字医学平台
星云是一套在线混合现实协同系统,在线注册账号并在HoloLens和网页上登陆后,可以上传立体模型,并且还可以对立体模型进行编辑、处理、存储、分享,在戴上HoloLens之后,也可以浏览自己的或者被分享的立体病例,同时也可用于远程医疗。