最新动态

以虚实交织史迹新视角

28.12.2023
HKDI
推介

翻阅前后对比的照片,再想像前与后之间的内容是有趣的历史互动;加入3D VR、AR和网上资料的元素更可成为全新的「处境模拟」(situated simulation,简称Sitism)。

置身名胜古迹是实体经历;阅读历史书籍或观赏电影则是精神体验。数码装置似乎能拉紧实景和背景的距离,当然,维基百科一类资料库也有其局限性。这种读万卷书/看万个网站不如行万理路的想法,推动了一项由挪威人牵头、历时15年的国际研究合作计划,成就了新数码媒体类型:「处境模拟」(简称Sitsim )。
Sitsim的核心概念是在流动装置上为实体空间建立虚拟化身,透过装置屏幕为实体「处境」描绘各种「模拟」场景,例如建筑物和大自然的3D图、新旧对照摄影、精选纪录片,还有延伸资料的链结。此外,GPS、加速计和陀螺仪等科技,能把屏幕内容对准使用者的位置和方向,为实体空间加上虚拟叠加层次,呈现详细资料。
Sitsim为另一个时空创建了虚拟入口,让身处景点的使用者沉浸于实地历史的视听体验。虚拟叠加层次并非压缩成屏幕上仅供被动观察的扩增实境,使用者需要协调脑中虚与实的双重感知,开展一趟在想像中游走的旅程。教师和信息设计师可以运用Sitsim的无限可能,建立紧扣文化和古迹的丰富体验。

不一样的扩增实境视觉
Sitsim源于2007年的挪威研究委员会专案,主题是通信类型的开发和设计。负责人Gunnar Liestøl在奥斯陆大学任职教授,以探索地点为本感测器等科技驱动新类型为研究方向,构想以手提屏幕为所在空间建立虚拟化身,让观者在脑中从多角度细赏。他解释说:「Sitsim『处境模拟』可以理解为间接扩增实境,是活现眼前、融合屏幕内容与实境的新类型虚拟叠加层次。」
这种虚实交织的视觉深深吸引着Liestøl,令他想起Gregory Bateson的「双重描述」,即两种交叠的描述能产生脱离原型的资讯。 「屏幕上的Sitsim视角与现实视角碰撞,激发出资讯设计上的许多新可能性。Sitsim的总体设计原则是视角配对,我们探讨如何透过调动、置换、整合,呈现出超越单一视角的体验。」
Liestøl补充:「安坐家中观看电影或景点简介是非常片面的体验,亲访当地而对地方背景和深度毫无认识也说不过去;只有两者兼具才能真正深化旅人与旅地的连系。」他指出这种视角反差并非新鲜事,为同一地点重覆拍照早已是今昔对比的常用手法。 Sitsim可说是由静物摄景进化至动态呈现,可以跨越空间也能轻松改变视觉。

开创扩增实境的叙事手法
专案由早期的直接配对虚实逐步发展,新挑战和科技进步的更多可能性也随之而来。 Liestøl说:「虚拟镜头视角其实不必与实体世界一致。以希腊巴特农神殿为例,既然游客不可能亲身欣赏离地面12米的檐壁饰带,我们便把虚拟摄像机的高度提升,方便使用者全方位近观。这些虚拟摄像机的另类用途,一方面为我们产生有别于真实的视角,另一方面为我们保存了虚实融合的特色。
另一个例子是罗马凯撒神庙。 Liestøl解释:「由于神庙不对外开放,虚拟摄像机可以代旅客走进行人止步的史迹,带来身历其境的参观体验。」
随着3D图像和摄影测量扫描技术进步,历史叙事的可能性也与日俱增。例如,旅人来到奥马哈海滩,可以透过智能装置重现美军在诺曼第登陆的事迹。 Sitsim正在调整各种视角,有望能轻松穿梭不同时空。现时,不少地点已制作了各式虚拟重演,包括维京人市集,还有受爱琴海沉船事件启发的古航海路线等。

见微知著
古老的法拉萨那港位于希腊的克里特岛,Sitsim以仅余的碎片为这里还原历史。 Liestøl解释:「考古学是一种见微知著的探索。以法拉萨那港发现的弹射石为例,我们由此想到港湾在罗马时期曾抗击当时肆虐的海盗,于是以3D重演了相关事迹。」
同样是法拉萨那港,Sitsim这次穿越到第二次世界大战的时代,为克里特岛战役的沉船经过导览,除了德国飞机击落船只一刻的立体声音效,还有事发水域的虚拟视角。技术突破了实境限制,能根据地点提供历史背景,效果迫真。 Liestøl说:「Sitsim专案致力以新方式讲述每个地点的历史故事。」
据Liestøl所说,Sitsim建基于叙事理论,再以 VR和AR绘制新类型实境,从而突破媒体和资讯设计的界限。 「Sitsim故事以文学和电影等分析理论为主轴,但以逆向方式整合箇中概念,换言之,我们尝试以理论的概念作为构建故事的原则,而不只用作分析实践。」游戏化和其他元素也可以让故事更有质感。以爱沙尼亚的纳尔瓦市为例,城中建筑大部份已被战争摧毁,但旧照片可为配对和叠加层次的工作提供史料,足以重新制成3D全彩动画,重建城市景观。
挪威渔村沃格岛是以动画重现历史情景的另一例子。 Sitsim利用该地19世纪后期的照片为资料,在重建的3D场景中诉说相中人物的生活日常,做法有望成为Sitsim的重点功能。 Liestøl 预期Sitsim的还原度和动作流畅度将会不断提升,而且已计划透过动作捕捉技术重现历史时刻,包括凯撒大帝被杀的一幕。
Sitism AR技术编辑平台使用简单,能配合Unity Engine外挂程式创建和无缝整合3D动画。 Liestøl希望能向有意利用Sitsim进行测试和研究的人开放技术,平台会越来越容易使用,未来更可汇出至不同操作系统,包括智能眼镜和各种3D VR装置。


Others