• 首页
  • 科学成果
  • 元宇宙与虚拟技术在神经外科临床教学中的探索与实践-刘艺涛博士

元宇宙与虚拟技术在神经外科临床教学中的探索与实践-刘艺涛博士

2022-05-22

摘要:元宇宙是在网络空间中,利用虚拟现实、AR、大数据和5G等多种数字技术成熟度的提升,构建既映射于又独立于现实世界的虚拟世界。虚拟现实(虚拟现实)技术最早于20世纪60年代运用于美国空军,此后逐渐拓展至临床医学,并成为一个新兴领域。从本科生医学教育到临床医师培训再到手术辅助,虚拟现实技术为临床医师提供了更加直观的立体影像,并通过更加具体的术前规划来改进手术。神经外科是一个特别复杂的医学领域,虚拟现实技术已经发展成为一种非常实用和具有广泛运用前途的高科技工具。在颅脑手术中,虚拟现实技术在帮助神经外科医生进行复杂肿瘤切除方面表现出色。随着虚拟现实技术深入研究及进步,该技术将继续增加其在神经外科领域运用潜力,并最终使患者进一步受益。

关键词:元宇宙;虚拟现实;神经外科;神经外科技术

1. 引言

2021年10月28日,全球著名社交网络Facebook在Connect2021网络大会上宣布,将公司更名为“Meta”(元宇宙Metaverse的前缀),核心业务逐步过渡到高度仿真的全新虚拟社区,也就是广受关注的“元宇宙”,由此引发各国政府、金融、科技企业、科研机构和服务业等领域的极大关注,微软、苹果、字节跳动、腾讯和英伟达等也在2021年相继宣布进军元宇宙[1]。元宇宙被广泛认为是当前信息技术的集大成者,充分整合后为人类在网络上的“虚拟重生”提供了可能性,尽管需要解决的法律、道德、技术等问题还比较多,社会上也有一些反对的声音,但都无法阻挡人类对于全新生存体验的渴望。

虚拟现实指的是一种特定的技术,但这种称谓现在通常是被用作统称。除了虚拟现实(虚拟现实),其相关技术还包括增强现实(AR)和混合现实(MR)。其具体区别如下:虚拟现实是一种计算机生成的3D模拟环境,用户可以完全沉浸其中;AR是将计算机生成的虚拟图像投影到现实世界的实体上;MR也是将虚拟对象投影到真实实体上,但这些对象“在空间上具有感知能力和响应性”,允许用户与投影的3D图像进行交互[2]。

目前,虚拟现实技术在医学教育上也逐步在扩大应用范围,发挥了越来越重要的作用,受训对象包括医学本科生、研究生教育、进修医师培训、住院医师培训,专科医师培训等[3]。在医学教育中,使用虚拟现实技术可以让学生看到更为直观的3D解剖结构,从而更加深刻地理解组织结构之间的毗邻关系。有研究发现教学中使用虚拟现实技术可以使学生的注意力更加集中、更好地调动其学习积极性并提高了其对教学的满意度[4]。而外科住院医师在患者手术前使用虚拟现实技术模拟手术,则可以快速提高手术技能,缩短学习曲线。

2.元宇宙的源起与初认知

1992年,NealStephenson在科幻小说SnowCrash中提出“Metaverse”概念,小说的情节设定就是一个现实人类通过虚拟现实设备与虚拟人共同生活在虚拟空间之中[5]。科技取得重要突破的灵感源泉,往往来自于艺术创作的奇思妙想。比如,数字嗅觉技术研发的灵感来源于电影TheMatrix,以及描述虚拟社会的《头号玩家》《失控玩家》等。2003年,美国林登实验室开发的3D虚拟平台“第二人生”(SecondLife)向公众开放,这是第一个现象级的虚拟世界,通常被认为是元宇宙的初期形态,用户在该虚拟空间可以实现社会交流和经济交易。2021年3月10日,在线游戏公司Roblox以“元宇宙”概念成功在纽约证券交易所上市,将“元宇宙”从科幻推动到落实应用阶段[6]。游戏是元宇宙的初期形态,最先启动“元宇宙”概念的也多为游戏公司,但对“元宇宙”的憧憬迅速引起科技界、商界和学界的思考,各国政府也给予高度关注,形成“元宇宙”现象,普遍认为2021年是“元宇宙元年”。

爆火的元宇宙让人们对全新虚拟世界充满期待,但一些知名人士也发出了反对声音。《三体》作者刘欣慈认为元宇宙是极具诱惑且高致幻的“精神鸦片”,如果在走向太空文明以前就实现了高度逼真的虚拟世界,人类就可能沉浸其中而故步自封,这对于人类是一场灾难[7]。也有学者认为元宇宙处于“炒作曲线”前期的泡沫阶段,因为Roblox上市的成功案例极大地推进了资本愿意掷重金支持元宇宙的发展,但技术上仍有很多方面尚未实现[8]。

Roblox首席执行官DavidBaszucki提出“元宇宙”的八大基本特征是身份(identity)、朋友(friend)、沉浸感(immersive)、低延迟(lowfriction)、多元化(variety)、随地(anywhere)、经济系统(economy)和文明(civility);Beamable公司创始人JonRadoff提出构建“元宇宙”的七个层面:体验(experience)、发现(discovery)、创作者经济(creatoreconomy)、空间计算(spatialcomputing)、去中心化(decentralization)、人机互动(human-computerinteraction)、基础设施(infrastructure)[9]。喻国明认为元宇宙是一个虚拟与现实高度互通且由闭环经济体构造的开源平台[10];朱嘉明认为元宇宙是通过虚拟增强的物理现实,呈现收敛性和物理持久性特征的、基于未来互联网的、具有连接感知和共享特征的3D虚拟空间[9];薛静宜认为元宇宙是以人工智能、扩展现实和区块链技术为核心,由共享基础设施、标准和协议打造的数字宇宙,是与现实物理世界相平行且相互融通的虚拟世界[11]。

基于这些特征,元宇宙是整合虚拟现实/AR、云计算、人工智能和区块链等信息技术构建的虚拟世界与现实世界相结合的互联网应用,具有相对独立的经济系统和逐渐生长的文明体系,为用户提供沉浸式体验并鼓励用户进行内容生产的虚拟社会。在更遥远的未来,人类还极有可能通过脑机接口将大脑的记忆和思想融入元宇宙,由此获得“数字重生”或“数字永生”。比如,Google的库茨魏尔就预言2045年人类的身体部件可以用机器代替;生物科技公司UnitedTherapeutics行政总裁罗斯布拉特提出“思想克隆”的概念[12];国内顶尖的游戏公司上海米哈游在2021年3月与上海交通大学附属瑞金医院签订战略合协议,共同研发脑机接口[13]。可以预见,元宇宙必将成为未来人类社会的革命性存在方式。图书馆是社会的重要组成部分,承担社会“记忆体”职能,因此元宇宙也必将彻底改变图书馆的生存和服务生态。

3.元宇宙与虚拟现实在当前神经外科的应用现状

3.1手术计划

虚拟现实技术目前已逐步成为神经外科培训的重要工具,能够将二维断层成像[包括计算机断层扫描(CT)和计算机断层扫描血管成像(CTA),以及磁共振成像(MR)和血管成像(MRA)等]数据重建成为3D(三维)影像,这些技术可以帮助神经外科医生迅速掌握手术技术并完善术前计划。这项技术不仅可以让外科医生在虚拟现实中使用3D工具进行模拟解剖,针对不同患者形成独特的影像数据,利用这些3D影像进行模拟手术,了解手术入路过程中所涉及的神经、动脉以及皮质结构,达到手术计划真实化,个体化的目的,使术前准备更加充分和完善。而且,虚拟现实技术可以在术中使用外科显微镜将已提前做好的手术计划3D图像直接覆盖到外科医生的光学视图上,以实现3D图像与现实解剖结构完美融合,实时指导手术进程。随着新的软件工具进一步开发,不但允许神经外科医生修改这些图像的阈值、着色和透明度等,还允许医生在使用前对手术器械进行取样以实现术前计划更加贴近实际术中操作。例如,在开颅动脉瘤夹闭术前,通过对手术中各种型号的动脉瘤夹进行采样,利用软件重建到虚拟现实程序中,模拟手术过程来测试各种大小、曲度、形状动脉瘤夹的使用效果,以最终指导真实手术中动脉瘤夹的选取。有研究表明,该方法可以降低术中颅内动脉瘤的破裂概率,降低死亡率以及术后复发率。即使对于已破裂动脉瘤,术前发生蛛网膜下腔出血的情况下,该技术仍然适用并非常有效。

3.2颅脑外科

与脊柱外科相比,颅脑外科的虚拟现实应用相对较晚。自1985年,由于虚拟现实技术运用成本的相对降低、使用便捷性的提高以及学习环境的低风险性,使这一技术逐步完善并整合到颅脑外科的临床培训中[14]。诸如NeuroTouch、ImmersiveTouch等手术模拟器作为颅脑手术技能训练的辅助工具在许多医学机构开始广泛运用,而且这些训练系统提供了不同级别、不同难度的手术训练项目,可以针对不同水平的培训人员加以调整。精准的手术导航和完善的术前规划一直是神经外科手术的重要基础。3D重建成像技术的完善,为虚拟现实技术在术前手术计划制定及术中导航使用提供了技术基础。由陈德胜医院(新加坡国家神经科学研究所)所研发的NeuroPlanner是一种无框架脑立体定向设备,该设备可以将多种2D影像资料进行三维重建、融合,形成3D影像资料,并对肿瘤、血管等重要目标组织进行同时标记描绘,还可以进行术前手术入路模拟,术中实时导航指引手术路径,最终为手术精准实施提供保障[15]。这些神经导航设备的运用过程中,研究者发现由于脑脊液的释放等因素会产生脑漂移,影响了术中导航的精确性和有效性。因此,导航设备术前所重建的影像在术中需要实时修正[16],术中脑成像系统(IBIS)是一个新近研发的可以解决这一问题的系统,其利用术中超声进行实时标记定位,识别术前成像和术中真实情况之间的差异,并进行实时修订,以提高术中导航的精度与准确性[17]。

4.结语

元宇宙是科技发展到一定阶段必然出现的事物,虚拟世界联结而成的元宇宙人类社会的数字化转型提供了新的路径,立足中国来看,国内方兴未艾的数字城市、数字治理都是在探索社会进一步数字化转型的可能和空间。在元宇宙,现实人类和他们所创造的虚拟人将形成新的社会关系和情感联结,进而构建新的“后人类社会”。虚拟现实技术经过迅速发展,已经初步实现了将基于患者2D影像学数据经计算机重建后的3D图像成功的投射于手术中的患者实体。其实现了虚拟与现实融合,优化了术前计划、改进了的手术入路,其甚至已经拓展至最先进的手术机器人领域。虚拟现实技术在医学教育和神经外科培训领域也逐步显示出了强大的优势,该技术给医学本科生、神经外科实习生、参加住院医师/神外专科规范化培训的医生提供了通过增强视觉空间学习理论知识的机会,以及通过手术模拟来缩短神经外科手术培训周期的机遇。该技术为培训人员提

供了大量的模拟手术训练机会,且不会增加患者医源性损伤的风险。在开颅手术、血管内介入手术、脊柱手术等众多神经外科亚专业手术中,虚拟现实技术不断提高其运用价值、拓展运用领域,有望大幅提高神经外科疾病的诊治水平。然而,虚拟现实技术自问世的半个多世纪以来,逐步遇到了诸如临床实用性仍不明确、使用成本高以及初步浮现的医学伦理等问题。关于如何解决这些问题,进一步推动该项技术的应用与进步,都需要医疗培训机构以及技术研发公司进行进一步的深度合作。通过降低使用成本、成立虚拟现实技术设备共享机构、开展多中心大样本量的随机对照临床研究等方法,明确虚拟现实技术的实用性、降低使用门槛,使该项技术在神经外科领域能够广泛有效的应用,使广大医生及患者受益。






参考文献:

[1]刘霞,2022年五大技术彰显智慧生活新趋势[N].科技日报,2021-11-12(4).

[2] DROUIN S, KOCHANOWSKA A, KERSTEN-OER-TEL M, et al. IBIS: an OR ready open-source platform for image-guided neurosurgery[J]. Int J CARS,2017,12(3):363-378.

[3]喻国明,未来媒介的进化逻辑:“人的连接”的迭代、重组与升维——从“场景时代”到“元宇宙”再到“心世界”的未来[J].新闻界,2021(10):54-60.

[4]吴桐,王龙.元宇宙:一个广义通证经济的实践[J/OL].大连:东北财经大学学报:1-11[2021-11-13].

[5]邢思远.刘慈欣怒批元宇宙[EB/OL].[2021-11-13]

[6]杨柯,元宇宙爆发,游戏之外的“元宇宙”能带来什么[J].财富时代,2021(10):20.

[7]朱嘉明.智库荐读|朱嘉明:“元宇宙”和“后人类社会”[EB/OL].[2021-11-13]

[8]薛静宜.元宇宙在广电行业的探索与应用[J].广播电视网络,2021,28(10):102-103,107.

[9]RayKurzweil,奇点临近:当计算机智能超越人类[M].北京:机械工业出版社,2011.

[10]网易游戏.上海米哈游与瑞金医院成立脑科学联合实验室[EB/OL].[2021-11-13]

[11] LEE C, WONGG C. Virtual reality and augmented reality in the management of intracranial tumors: A review[J]. J Clin Neurosci,2019,621:14-20 

[12]付洁,基于“第二人生”的虚拟学习环境创设[D].上海:华东师范大学,2013:8,10.

[13] ROBERTS D W, STROHBEHN J W, A frameless stereotaxic integration of computerized to-mographic imaging and the operating microscope[J]. J Neurosurg,1986,65(4):545-549

[14] LOVO EE, QUINTANA J C, PUEBLA M C, inexpensive method of image coregistration for applica-tions in image-guided surgery using augmented reality[J]. Neurosurgery,2007,60:366-372

[15] KOCKRO R A, SERRA L. Patient-specific virtual reality simulation for minimally invasive neurosurgery[M]. Com-prehensive Healthcare Simulation: Neurosurgery. Cham: Springer,2018:159-184

[16] STADIE A T, KOCKRO R A, REISCH R, real-ity system for planning minimally invasive neurosurgery[J]. Technical note. JNeurosurg,2008,108(2):382-394

[17] PELARGOS P E, NAGASAWA D T, LAGMAN C, et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery[J]. J Clin Neurosci,2017,35:1-4