• 首页
  • 科学成果
  • 知识重组与场景再构:面向数字资源管理的元宇宙-徐翠东博士

知识重组与场景再构:面向数字资源管理的元宇宙-徐翠东博士

2022-05-22


摘要:[目的/意义]对元宇宙背景下数字资源管理的应用场景、技术路径与潜在风险进行探讨,以期为数字资源多模态 融合、可视呈现、交互操作、版权管理、价值转化等流程提供借鉴参考。[研究设计/方法]结合元宇宙的时空延展性、人机融合性、经济增值性,基于数字孪生、拓展现实、区块链等技术底座,从多源聚类、资源标引、知识重组、发布共享和交互操作等环节,通过质性分析方法探索元宇宙与数字资源管理的融合可能性。[结论/发现]元宇宙与数字资源管理的融合应用可分为数字孪生、虚拟原生和虚实相融三大阶段,其中基于语义本体的多模态知识重组、基于知识图谱与事理图谱的孪生化场景构建、基于虚实界面的人机交互操作和基于 NFR/NFT 的虚实价值转化是四大关键环节。[创新/价值]从元宇宙技术发展和组织特性出发,结合数字资源管理的关键环节,梳理了技术融合点和潜在应用场景,为相关图情机构数据化、虚拟化、智慧化转型提供了参考。

关键词:元宇宙;数字资源管理;知识重组;虚实融合区块链

 

1 元宇宙作为载体:数字资源的升维再构

近从1992年首次被科幻小说《雪崩》(SnowCrash)提出,到2003 年第一个现象级产品《第二人生》(Second Life)问世,再到2021 年在大众认知层面正式“出圈”,“元宇宙”(metaverse)概念的诞生、演变与发展始终围绕着虚实相融与时空再构这两个核心命题。虚实相融是元宇宙的外在呈现,贯穿了视觉呈现、互动模式、 价值转化等多个环节,虚实相融的过程也伴随着各种数字资源的多模态融合与重构;而时空再构是元宇宙的内隐特征,元宇宙打破了空间的有限性和时间的线性,货币、属性、环境、事件等信息均可在异度空间和同度异构空间之间相互映射,从而实现信息跳转和虚拟时空的穿梭,这也为各类数字资源的跨时空融合提供了可能。综合而言,元宇宙并非一个严格意义上的学术概念,它既是一种互联网应用形态,也是一种社会组织形态,它整合了扩展现实技术、数字孪生技术、区块链技术、大数据及人工智能等多重技术,通过为用户提供沉浸式体验、跨虚实交互、开放式编辑及去中心化交易,实现虚拟世界和现实世界在身份系统、社交系统、经济系统等多层面的融合与转化。

相比于互联网和物联网对现实世界的嵌入式改造,元宇宙是一个平行于现实世界的独立虚拟空间, 是一个越来越逼近于真实的数字虚拟世界。我们 “用”互联网来“做”各种各样的事情,但我们“在”元宇宙“之中”做各种各样的事情,如果说互联网是一种改造社会的工具,后者则是一种新的社会形态。而作为一种社会形态,元宇宙一方面需要具备沉浸感、 低延时、多元化的场景空间,另一方面需要具备生产系统、经济系统、社交系统等底层框架,同时也需要提供“前所未有的互操作性”,用户可以在元宇宙中利用自己的化身(Avatar)与商品、场景、NPC 等多种数字要素进行跨时空交互。本文将元宇宙的核心特性总结为三方面:① 时空延展性,即元宇宙对现实空间和时间进行了多重延伸,提供了一个逼近现实且超越现实的虚拟空间,在这个虚拟空间中的体验、社交、生产、经济等元素可补偿到现实世界;② 人机融合性,即用户通过化身(分身与假身)在元宇宙中进行沉浸式、即时性、具身性的互操作行为,虚拟化身与现实真身具备对应性,化身的感知体验、情绪态度、行为倾向可同步到真身;③ 经济增值性,元宇宙中可为用户提供多层次、协作 式、开放式的生产工具,包含大量UGC(User Generated Contene)和PGC(Platform Generated Content),并基于区块链技术搭建认证体系与经济体系,在一定程度上可与现实经济形成联动,形成虚实转化闭环。这三大要素投射到数字资源管理流程中,对于数字资源的多模态融合、标引管理、可视化呈现、交互性操作、认证与交易具备指导意义。

虽然当前元宇宙的应用集中于游戏和社交领域,但其虚实融合的运作模式和去中心化的底层框架将深刻改变现有社会的组织与运作,也将革新细分行业领域的认证机制、生产模式、交互模式、交易模式,元宇宙的场景入口也将逐步从泛娱乐转向垂直行业。对于数字资源管理而言,其涉及到多渠道、多模态、多类别的信息,需要对不同来源、分散无序、相对独立、多种模态的数字对象进行聚类、融合和重组。如何高效整合不同来源和类别的数字资源?如何实现资源的全视角、立体化呈现?如何给用户提供沉浸式互操作?如何基于PGC和UGC实现数字资源的深度挖掘与再利用?如何高效实现数字资源的版权认证与管理?如何实现数字资源的价值转化与收益管理?元宇宙为相关问题的解决与优化提供了想象空间。本文基于元宇宙的技术底座与核心特性,从应用场景、技术路径与潜在风险等角度,探索元宇宙与数字资源管理的融合可能性。

2数字资源管理视角下的元宇宙建构

数字资源是以数字形式发布、存取和利用的信息资源,包含文本、图像、音频、视频等不同形态,以及自建资源、外采资源和网络资源等不同来源。数字资源管理涉及到数字资源的整合“购建”、信息加工、信息发布、交互服务、安全保障等环节,目前对于图情机构而言,普遍存在整合标准缺失、服务形式受限、资源确权困难等问题。元宇宙作为一种整合性技术应用形态,为数字资源管理各流程的优化提供了想象空间。一方面,包括数字孪生、3D建模、拓展现实(VR/AR/MR)等在内的可视技术为数字资源的立体呈现和沉浸交互提供了可能;另一方面,包括人工智能(AI内容生成)、大数据等在内的技术为数字资源的聚类标引和重组计算提供了支撑;此外,包括区块链、NFT(Non-FungibleToken,非同质化代币)/NFR(Non-Fungi-bleRight,非同质化权益)在内的技术为数字资源的产权保护和收益管理奠定了基础。在此背景下,本文基于数字资源管理的五大关键环节:多源聚类、资源标引、知识重组、发布共享和交互操作,梳理元宇宙相关底层技术的融合方向和应用场景,提出数字资源管理在元宇宙时代的潜在优化路径。 

2.1 多源聚类与场景整合

传图书馆/档案馆等自有数字资源、外采资源和网 络资源的组织形式和内容形态往往差异分化,如何有 效整合不同来源的数字资源,以实现信息、数据、实体 等更细颗粒度上的融合,对于数字资源的管理和应用至关重要。从底层来看,多源整合需要在语义层面构建映射、集成、协议等标准,以构建不同类型资源间的语义连接和互操作;而从应用端来看,需要将不同来源的数字资源聚类在同一场景下进行统一叙事,也即在语义互通互联的基础上实现场景的互通互联。数字孪生等作为元宇宙产业支撑性技术,可将不同形式的数字资源(图文影音等)以孪生化形式在元宇宙中重构,通过空间映射让数字资源在更高维度进行整合。

2.2资源标引与图谱建构

要实现数字资源在语义和交互层面的整合,需要对资源本身进行细颗粒度的标引和逻辑关联构建。具体而言,可利用统一元数据标准对各类数字资源进行语法描述,包括对数字资源名称、关系、字段、维度、层次、物理位置、依存关系等多重属性的编码;并基于本体技术对数字资源中不同层次的概念、实体、关系等进行进一步抽取,从而构建数字资源语义图谱,包括实体图谱、知识图谱、事理图谱等多类型图谱。资源标引和实体/事理关联构建是知识重组的关键,也是利用数字资源实现元宇宙叙事的基础。

2.3知识重组与AI生成

要在完成多源数字资源的规范性编码与本体构建后,进一步将不同数字资源中的实体/事理图谱进行整合,包括实体、概念、关联等多层次的整合,并基于图谱关系构建不同数字资源间的实体与场景关联。如针对同一个人物实体“郭靖”,其在不同数字内容中具备多样化的角色关系、处于不同的叙事场景、存在异构化的时间线,以该实体作为联结纽带,可实现跨场景、跨时空、跨资源的图谱融合。基于对人物、组织机构、物理位置等不同实体的跨时空关联挖掘,结合元宇宙产品形态进行数字实体和虚拟场景的AI生成,可实现同一数字化实体在不同虚拟场景之间的关联跳转,从交互层面实现数字资源的融合应用。

2.4发布共享与确权认证

无论是原生数字资源作品(PGC,Professional/ Platform GeneratedContent),还是基于知识重组衍生的新型数字作品(UGC,UserGeneratedContent),都面临着版权确认、管理、消费和再利用等问题。元宇宙以去中心化的区块链技术作为技术底座,在应用层面以NFT和NFR对数字作品进行唯一化、非同质化的确权认证和交易管理,一方面为数字资源的发布共享和版权认证提供了技术路径,另一方面也使得数字资源的交易和收益管理更为智能化。不仅有利于数字资源的规范化管理和权益保障,也可进一步激活数字资源的衍生利用和多次价值挖掘。

2.5交互操作与沉浸体验

元宇宙的核心特点是给用户提供沉浸式、自身参与的交互体验,而数字资源管理强调资源间的互操作性和语义关联。当各类资源基于本体技术和图谱技术 实现了多维关联构建,进一步可结合VR、AR/XR、可穿戴设备、虚拟数字人、仿真机器人等技术,进行数字资源的虚拟化呈现和关联跳转、场景切换、实体交互。试想我们进入到一个特定的历史时代畅游,可偶遇不同的历史人物,每一个人物身上都可以衍生出一段特定的历史故事,而这些故事基于时空关联可在同一个虚拟场景下由不同的数字虚拟人串联起来。其中由VR主导的沉浸式体验和AR驱动的叠加式交互,可共同构成虚实融合的新型叙事方式。

整体而言,元宇宙与数字资源管理的融合应用可划分为三大阶段。第一阶段以数字孪生为主,侧重于对数字资源的知识抽取、关联构建、空间映射和场景孪生;第二阶段为虚拟原生,也即在不同的场景下基于数字资源图谱生成不同的虚拟角色、不同的物理元素及不同的故事线,实现基于内容资源的虚拟原生; 第三阶段则为虚实相融,也即现实世界和虚拟空间在内容资源、用户交互、价值转化等多个层面实现融通。在整个过程中,基于资源整合和标引的知识重组、基于事理图谱的场景构建、基于虚实界面的交互操作和基于NFT和NFR的价值转化是四大关键环节。

3基于资源整合标引的知识重组

要实现数字资源在元宇宙场景中的“再构”,首先需要对数字资源进行“解构”,整合自建资源、外采资源和网络资源,搭建多模态数字资源平台;在此基础上,针对各类资源分别进行元数据及本体层次的标引,并基于语义本体提炼各实体之间的关联;进一步基于实体及其关联图谱搭建孪生化场景、构建各类虚拟元素;最终结合元宇宙场景入口实现虚实界面交互。在整个过程中,知识标引的颗粒度和关联复杂度决定了元宇宙应用场景的多元性和灵活性。一方面,知识组织的颗粒度需要更细,从文件级细化到实体级;另一方面,知识组织的关联网络需要更广,不同语义本体间需要构建复杂关联。

首先,知识组织粒度需要进一步细化。既需要通过元数据(Metadata)对资源整体属性进行定位、管理、分类,便于数字资源的检索、开发、组织与再利用;更需要基于本体(Ontology)技术,对实体、概念、事件及其属性和相互关系进行抽取和描述。在对不同数字资源中的语义本体进行识别和抽取的基础上,为了进一步的融合计算,还需要对本体知识单元进行规范化描述,一般可采用 K(知识项,Knowledge)=F(事实,Facts)+R(规则,Rules)+C(概念,Concepts)的模式进行结构化描述。

其次,知识组织的关联网络需要进一步拓宽。在完成语义本体的抽取和描述之后,不同本体之间需基于相互关联进行再组织,相当于将原来有序化的知识序列构成若干个语义本体,再按照新的组织逻辑和关联关系将分散的语义本体/知识单元重新组织成新的、有序的知识序列。具体而言,结合上层本体(Upperontology/ foundationontology)和领域本体(Domainontol-ogy),识别抽取通用领域和细分专业领域的个体(实例)、属性、关系、约束、规则等要素,将数字资源中的人物、组织结构、物理位置、时间要素、事件等实体及相互之间的关系实现自动化管理。

总的来看,数字资源标引的颗粒度越细,知识重组的模式越多元、灵活性越强,信息资源的复杂查询、深度挖掘、跨领域调度、交互应用等越具备更大空间。抽取出来的各类本体可作为元宇宙中的基础设施,为后期元宇宙中虚实融合的交互应用打造技术底座。其中包括地理空间、物理设施、有形实物等在内实体可通过数字孪生技术进行虚拟映射,形成与现实空间孪生化的虚拟空间;包括人物、动物等在内的生命体可通过虚拟数字人/数字生命技术建构仿真对象,实现对应角色在虚拟空间中的具身化;而包括事件、故事等在内的复合对象则可通过一系列虚拟场景+数字角色+时间线的动态组合形成元宇宙空间的叙事模式。最终生成的虚拟化数字内容在拓展现实等技术渲染下构成元宇宙的场景入口。元宇宙背景下知识重组和再现的过程不仅延伸了用户的感官体验,让原来单模态的数字资源 以更高维逼真的模式再现;同时也基于场景和角色的 联通强化了不同知识单元之间的关联,提升了数字资源关联的“可视性”,真正带给了用户沉浸式的知识体验。

4 基于知识图谱与事理图谱的场景构建

如时空延展性、人机融合性、经济增值性作为元宇宙的三大特性,在数字资源管理中对应着多模态虚拟场景构建、多层次人机交互设计、去中心化版权收益管理。其中虚拟场景构建是在语义本体提取的基础上,基于时间、空间、人物等实体要素及其关联进行的拟态建模,也即基于数字资源提取出来的知识图谱与事理图谱去建构元宇宙中的场景,其核心一方面在于物理、 地理层面的可视建模;另一方面在于时间线、事理层面的关联建模。

元宇宙一方面逼真模拟了现实世界中的时空规定性,另一方面又超越、解放了现实世界中的边界约束性。相比于当下现实世界,元宇宙场景知识图谱及事理图谱的节点(即实体)与边(即实体关系)的数量成倍增长。在节点层面,虚实融合带来实体数量增长和实体属性多元化发展。对于空间要素,相比于现实世界中物理和地理资源的有限性,元宇宙中具有弹性的地理空间可供用户选择、探索、切换。在对现实世界进行数字孪生的基础上,通过开放可编辑的运作模式可以改造物理空间、建筑形式甚至改变地形,充分满足从纪实、写实作品到科幻数字资源的场景再构。结合增强现实技术将元宇宙中的“超现实”场景与现实空间进行重合可产生大量虚实融合场景,尤其是针对图片等数字资源,通过拓展现实让原有静态资源具备动态效果,由实及虚提供立体化知识体验。对于时间要素,元宇宙中的时间线既可与现实同步,也可以进行加速、倒退、甚至多重时间线并行,让用户在不同的场景中进行穿梭和切换。地理空间和时间上的选择性迁移和有限的解放可进一步强化用户的交互体验。

在关系层面,数字孪生、虚拟原生、虚实相融的三类场景,其类内场景和类间场景均可基于时间关联、主体关联、事理逻辑关联进行连接,带来多重关系的交互。基于时间线的场景串联可形成针对单一资源或系 列资源完整有序的叙事模式,而基于同一主体/角色或者事理逻辑(包括因果、顺承、条件、上下位等)的场景 切换往往会串联起不同数字资源中的碎片化信息,让分散的资源通过关系关联进行场景融合。对于用户而 言,通过既定的数字角色或数字化身进入到不同的虚拟场景中,体验不同的场景和具身交互,可实现数字资 源的多层次利用。此外,可穿戴设备的普及应用为虚实体验融合奠定了基础,已有部分出版企业推出“可穿戴图书”,用户佩戴相关设备可以体验到书中角色部分生理变化和情绪体验,让虚拟场景带来的感官体验从视听层面拓展到了感知层面。

当然,对于庞杂、异构化、多元化的数字资源而言,要实现全量资源的语义本体抽取和基于本体的场景构建尚不现实,还需要大量的资金和技术投入。目前阶段打造孪生化的图书馆、档案馆、博物馆、美术馆等物理场景更具备可行性。一方面,可结合虚拟现实VR技术对现有场馆进行虚拟化,并将场馆工作人员转化为虚拟数字人,也即NPC(非玩家角色,Non-player character),让用户在虚拟场馆中与工作人员进行交互,并进行数字资源的检索和查阅,在虚拟空间实现与实体场景相似的体验;另一方面,可基于拓展现实 AR 技术在当前实体场馆中进行虚拟信息叠加,包括数字资源的拓展性信息,场馆区域的介绍性信息,资源之间的关联性信息,其他视听补充信息等。通过拓展现实技术实现现实场景的虚拟化、实景体验的线上化,可以作为近未来目标;远未来来看,如何将数字资源中的场景虚拟化、角色数字化、故事可视化仍任重道远。

5 基于虚实界面的交互操作

元宇宙的人机融合性强调“人”作为一个主体的“三身合一”,即现实世界中的“真身”、虚拟世界中的“化身”以及仿真的“假身”。真身即本我;化身是与真身相对应的虚拟数字人,可以是1对1的关系,也可以是1对N的分身,主要出现在虚拟场景中;假身则是通过仿真机器人技术建构的与真人相对应的机器人,主要出现在现实场景中。三者在身份上具备统一性,在认知、情感、交互体验上具备相通性。元宇宙中真身、 化身与假身可进行不同时间线的交互,以图书资源借阅的场景为例:你的数字化身在虚拟图书馆中借阅了一本数字图书,并与图书管理员NPC进行了交流,读完后你的真身去实体图书馆碰到了该名图书管理员的假身,由于同一主体的化身与假身采用同一数据处理中心,管理员假身基于“历史记忆”根据你的兴趣偏好给你进行了关联图书推荐,这样就形成了虚实场景交互的闭环。在人机交互视角下,基于人机融合深度和人机融合技术的演变路径,可阶段性地推进数字资源交互管理创新。

从人机融合的深度来看,人机交互的状态从数字孪生、到虚拟原生、再发展到虚实相融,元宇宙的发展终极状态将打破虚拟和现实的边界感,通过“三身合一”真正实现虚实体验的无缝切换。但从短期来看,元宇宙的应用仍停留在数字孪生和虚拟原生阶段,数字资源的交互管理可对应划分为沉浸式交互和叠加式交互两种路径。

沉浸式交互是面向虚拟空间、虚拟数字人、虚拟资源的封闭式交互模式,侧重于游戏化交互体验,在虚拟空间中对现实信息服务进行了仿真和升级。具体而言,用户通过 VR设备进入到一个虚拟化的数字场馆,该场馆既可以是现实场景的孪生映射,也可以是原生化场景,该场景中集成了不同角色的虚拟数字人,包括用户和服务性NPC,用户相互之间可以实现交互,同时也可通过NPC 进行数字资源检索查询、信息咨询、资料查询、资源付费等服务。

叠加式交互则是面向现实空间与现实场景,在实景基础上基于AR设备进行信息的叠加。

一方面,可在现实场景中叠加虚拟数字人服务,为用户信息检索、导览、查阅、咨询、付费等全流程提供指导,通过一对一的虚拟人服务解放现实人力;另一方面,可在相关信息资源上叠加多模态信息,包括关联信息与拓展信息,或根据实体出版物进行关联数字资源的推荐,实现不同模态资源之间的关联推荐。叠加式交互模式侧重于对现实场景的纵深式探索,通过虚拟资源适配突破了现实空间的物理局限,以虚补实拓展 了信息交互维度。

从人机融合的技术发展路径来看:人机交互将从VR、AR等拓展现实技术的应用,发展到基于可穿戴设备的具身互动,接着进入与机器人尤其是仿真机器人的虚实融合交互,最后基于脑机接口技术的高度发展 形成人机深度融合与全方位交互。

在拓展现实与具身互动阶段,数字资源来自于真身语言活动、行为活动和化身在虚拟空间的行动轨迹等数据记录,并可通过真身和化身的进一步决策行动获取 数据反馈。而随着人机交互技术尤其是脑机接口技术 的升级和产业应用的普遍化,更多新的数字资源将会产生:真身的生活记忆、知识储备、思考习惯、情感倾向等思维层面、意识层面的数据都将“可获取”。一方面,这 对私人和公共数字资源界定、维护以及安全性保障体系 的建立提出了更高要求。另一方面,在获得自然人真身大脑数据同步许可的前提下,更加庞大的数字资源共享平台将会建成,并能实现基于用户个性化需求的多模态数字资源的多次开发。

综合来看,人机深度融合背景下数字资源管理系统将基于大脑意图、意念场景进行知识重组,服务于意图化、场景化检索。知识的输入与输出将同步进行:用户产生疑惑或需求时,无需经过繁琐的语言组织过程 来将自身诉求进行条理化输出;而系统可以直接识别用户意图、进行相关答案定位和解答内容输出,并能基于用户已有知识水平和认知习惯进行量身定制化推荐。

6 结语

综合来看,元宇宙的技术底座和应用模式既为数字资源管理提供了现实路径,也激活了数字资源开发的想象空间。元宇宙将以虚实融合的方式深刻改变现有社会的组织与运作,数字资源也需要探索适应虚实二维融合的新型模式。随着虚实融合应用在数字资源管理各个环节的深入,包括资本剥削、资本操纵、产权纠纷、算力成本等经济问题,资源审核、价值评估、信息过载等内容问题,还有思维表象化、去本质化诸多哲学问题,都还需进一步去探讨。

当然,目前对于部分图情机构而言,内容资源的数字化尚且还存在诸多技术、成本、产权、标准等多层面的障碍,要在数字化的基础上进一步实现虚拟化更面临着算力资源、硬核技术、应用模式、标准规范等多方面的压力。数字资源管理全链条切入元宇宙短期来看尚不切实际,如何单点突破、单环节突击,打造基于元宇宙的数字资源应用典型或“爆款”,在当下来看更具备现实意义和实践价值。


参考文献

[1] 沈阳.虚拟社区与虚拟时空隧道[J].情报杂志,2007,26(4):69-71.

[2] 清华大学: 2021元宇宙发展研究报告 [EB/OL]. [2021-09-17].

[3] 肖希明, 完颜邓.基于本体的公共数字文化资源整合语义互操作研究[J].国家图书馆学刊, 2015, 24(3): 43-49.

[4] 张蓉莉.公共图书馆数字资源管理体系构建――基于资产生命周期的视角[J].行政事业资产与财务,2018,13(23):7-9

[5] 陈美.图书馆数字资源管理困境与创新[J].现代情报,2017, 37(6): 119-123.

[6] 冯项云,肖珑,廖三三等.国外常用元数据标准比较研究[J].大学图书馆学报, 2001, 19(4): 15-21.