【摘 要】增强现实技术是一种新媒介手段,它融合真实与虚拟的场景、弥合物理实体与仿真信息的差距,利用数字交互技术拓展人们的感知维度。在立体书设计中运用增强现实技术有利于增强读者的美感体验,构建书与读者之间的多模态交互,重塑书籍内容的时空表现力。它还可以为文创类立体书的设计及展示创造新的视听空间,为故事的饱满叙述与流畅表达开拓新的表现方式。在建设出版强国的征程中,增强现实技术可以为“讲好中国故事”“传播中国文化”提供新的驱动力。
【关键词】增强现实技术;立体书;互动
增强现实(Augmented Reality,简称AR)作为新的媒介技术手段,为真实环境和虚拟信息的联接提供令人信服的可能性。它发轫之始,即被相关行业引入本行业的技术系统作为“催化媒介”推动技术革新。在出版业,增强现实能有效地结合数字技术和传统印刷的优势,以多维刺激的方式增强读者与数据之间的交互体验,为改善信息接收和传递策略提供新的思路,为设计创新产品增添广泛的可能性。在建设文化强国、出版强国的今天,增强现实在更多形式上的创新具有重要的应用价值。
一、立体书与增强现实技术
立体书在出版业有着辉煌的历史,现代形色各异的立体书是经历了约8个世纪的积累与沉淀的产物。增强现实技术与立体书有着天生的互助性,找寻两者之间相互增益的切入点与创新设计的突破口是出版题中应有之义。
立体书简言之就是“可动书”。“其中的插图、文字或书页在阅读过程中可以立体的形式呈现,其书页中的部分图文内容被印制在通过模切形成的纸张表面,在展开阅读时呈现立体的视觉效果。”[1]在现有的记载中,最古老的立体书诞生于13世纪。英国史学家马修·派瑞斯(Matthew Pairs)发明了历史上第一个立体书,此书运用“转盘”机关,将分散的资料进行编排,让资料查询变得轻松、高效。此后,立体书的物理活动形式逐渐丰富,成为天文、航海、解剖学等专业领域的工具书。[2]“到了18世纪,欧洲从农业文明转变到工业文明,立体书也从成人工具书转变成童书,这是儿童文学的兴起、平版印刷术的发明以及中产阶级的崛起等内外条件相辅相成的结果”。[3]“19世纪为立体书的黄金时代,尤其在19世纪末,在印刷术的推波助澜下,立体书大量出现”。[4]20世纪的两次世界大战让立体书的产业发展一度停滞,战后,立体书产业的重心转向美国。在1932年,美国蓝丝带出版社(Blue Ribbon Books)出版一系列以“弹起插画”(pop-up illustrations)为诉求的童书。[5]20世纪80年代,立体书井喷式爆发,在产量、工艺等方面都有巨大的突破,许多前所未见的结构方式、设计理念与创作工艺开始出现,其美轮美奂的内容呈现和独具匠心的视觉工艺得到了不同年龄阶段读者的青睐。作为文化传播、美学传达、故事传递的重要载体,当下的立体书在追求结构创新、工艺精湛、材料丰富的基础上,还需要积极探索与读者互动的多样性与丰富性,为读者提供优质的阅读体验与深入的信息解读。
增强现实技术是指允许“虚拟和真实的对象共存于同一空间”的技术。[6]该技术使用的虚拟叠加层包括文本、图像、声音、气味、网站连接、操作按钮(CTA)、视频影像、动画或3D模型等内容。在技术革新层出不穷的当下,增强现实技术更适合被视作超越技术本身的广泛概念。克洛普佛(Eric Klopfer)就认为AR一词不应该受到严格的技术限制,应该广义地视为“将一致的位置信息或与情境相关的虚拟信息动态地覆盖于真实世界的一种情况”。[7]从这一角度来理解,一是有助于增强现实技术自身的多面向发展,二是有助于设计师突破既有限定,通过创新的技术应用和设计手法为现实环境提供与之相关的附加信息,开拓现实世界的可供性。
二、增强现实书发展现状
许多研究结果已经表明,增强现实技术具有极大的潜力来增强教与学的效果,常见做法是创建增强现实书(AR Book)。2001年,毕林赫斯特(Mark Billinghurst)等人开发了一本具有多种阅读方式的书——《魔法书》(Magic Book),[8]开创性地将实体书与虚拟内容进行叠加,让读者在增强现实技术的帮助下获得全新的阅读体验,展现出增强现实书的巨大潜力与广阔前景。此后,许多研究人员和公司开始创作增强现实书,一系列作品应运而生。建筑AR书、医学AR书、少儿绘本AR书、科普AR书等不同类型的增强现实书都在以不同的方式创造独特而又极富吸引力的阅读体验。
现有的增强现实书的数字内容表现形式可以大致分为补充解释、静态视觉增强和动态情境模拟三大类。所谓补充解释是指数字信息作为物理书内容的补充进行呈现,它可以为操作指南提供动态指引,也可以为黑白的图片着上颜色,可以为历史人物陈述生平,也可以对局部细节进行放大展现。所谓静态视觉增强则是为文字、图片的描绘增加相对应的二维或三维的视觉展现。二维的内容迎合儿童的审美,因此被广泛应用于童话绘本中;三维的内容可以虚拟地还原现实世界的物体,因此更适合于增强描述客观世界的科普书。所谓动态情境模拟多使用动画或视频,结合音效为文学作品助力,既可渲染故事氛围,也可模拟故事情节。
然而,在现有的增强现实书中,大多数数字内容和实体书的文本或图像的结合形式还比较生硬,两者之间较难产生相互协调、互为增益的效果。增强现实技术在立体书中的应用可以扭转这一局面,让真实的物理书和虚拟内容的相遇在相同程度的关注和存在下进行,让两者建立更有效的关联。立体书中丰富的实体空间可以为虚拟的信息提供更优质的空间参考坐标和叙述承载,有助于引导读者对物理书和数字内容给予相对平衡的关注度。同时,增强现实技术所展示的虚拟内容也可以为立体书增添新的元素、内容和互动方式,以多元的视觉呈现手法提高读者专注阅读的持久性与连贯性,从而获得沉浸式的阅读体验。
三、增强现实技术在立体书中的优势
增强现实系统中的虚拟叠加层内容丰富、形式多样,与立体书的合理叠加将有助于立体书自身优势的延伸与扩展,同时也为立体书的本身缺陷提供了有效的弥补方法。
1.增强美感体验
立体书比普通书更加注重创意构思和美感表达。增强现实技术应用在立体书中可以为静态的空间之美注入动态的节奏、韵律及变化。既可以为立体书中固有的颜色增添不同节奏的色彩更替,又能够将其中单一的形象扩充至多元的展示面貌,还可以为静态的空间营造动态的展示环境。这些都会为立体书带来具有层次感的创意表达和意境描绘,以动静结合的方式向读者展现多样态的视听效果,使读者获得丰富、多变的美感体验。
同时,立体书在折叠和展开的过程中会产生相互关联的动力牵引,极其精细的空间结构容易在使用的过程中损坏。受此局限,立体书设计师的许多精妙思路和空间构想难以完美地呈现。增强现实技术可以为解决这一问题提供新的思路,设计师可以不再束手于书籍实体空间的创意呈现,许多结构可以通过虚拟内容叠加的方式与物理结构结合展现,为读者提供更加细致、精妙的美感体验。
2.构建多模态交互
立体书发展至今,其优质而独特的交互性一直都是其他媒介无法超越的,这也是立体书能够在数字化时代幸存并发展的重要原因。增强现实技术在立体书中的应用可以为读者带来更多模态的交互体验。
手眼并用的互动阅读方式是立体书的一大特色。在这种情况下,它与读者之间的交互多为直接交互。增强现实技术可以为立体书加入诸多种类的非直接交互,如通过翻页操作来控制的影像呈现、音乐播放、光线变化等都会给读者带来丰富的非直接交互体验。直接交互与非直接交互的叠加体验将有利于读者获得书籍内容的深度理解和优质记忆。
另一核心问题是交互保真度。所谓交互保真度是指“用于虚拟任务的动作与现实世界中用于该任务的动作相对应的一致程度”。[9]在交互保真度谱的两端,分别是真实的交互与非真实的交互,而在保真度谱的中间可以找到一种神奇的交互(Magical interactions)。[10]立体书的实体物理空间与增强现实的虚拟内容相互叠加,非常有利于创造神奇的交互体验,虚与实、动与静的结合可以较为轻松地打造空间游戏,构建视觉诱导,从而使读者在感受立体书真实交互的同时也可以体验到神奇的交互。真实交互可以使读者更好地理解具象的信息,而神奇的交互在抽象概念的诠释上有着较好的表现,二者的结合可以产生互补、增益的效果,有助于读者灵活地理解不同种类的书籍内容。
3.重塑时空表现力
立体书有着令人惊叹的空间表现力,却在时间的表现力上明显不足。与普通书相比,立体书最大的特色无疑是那些汇集着精妙巧思的空间结构,但这些空间形态结构需要支撑和受力,其制作材料必须具有一定的强度,强度的提升意味着纸张厚度的增加,且立体结构需要较多纸张折叠、嵌合而成。因此,立体书的跨页通常不多,大多在6个左右,这也是市场上立体书的普遍状态。同时,由于立体结构占据跨页的大部分区域,故事背景、情节叙述等内容在大多数情况下只能省略或缩减。所以大多数立体书在展现精巧立体结构的同时,难以传达等量文本所能承载的信息内容。
增强现实技术能够为立体书解决这个问题,由于“增强现实可以清楚地显示空间概念、时间概念以及真实对象与虚拟对象之间的情境关系”,[11]在立体书中原本无法展现的缺失信息,可以通过增强现实的虚拟层进行叠加呈现。增强现实技术的合理应用可以为立体书的空间注入时间的力量。通过动态虚拟情节与静态实体结构的有效结合,空间被给予动态的变化,时间被赋予物理的承载,立体书时间和空间的多重表现力因此而得以重塑,原本受限的情节叙述、背景介绍等内容都可以在立体书中游刃有余地展现。
四、应用实现路径
结合增强现实技术在立体书中的应用优势及立体书的自身特点,可以为增强现实技术在立体书中的应用寻求实践路径与可行策略。
1.创造文创类立体书的新面貌
文创类立体书是立体书的后起之秀,优秀的文创类立体书的创作与出版在展现文化精髓、反映审美追求、传播价值观念等方面都蕴含着令人惊喜的巨大潜力。在中国,文创题材作品在立体书中的占比最大。中国丰富的文化遗产、城市面貌、特色民俗等内容都是文创类立体书的创作源泉。《中国弹起》(见图1)《欢乐中国年》《中国京剧脸谱》等文创类立体书都是中国出版行业中较为成功的立体书作品。

图1 《中国弹起》[12]
增强现实技术可以为文创类立体书的展现“添砖加瓦”,为其创造全新的展示面貌和媒介传播力。以《中国弹起》为例,全书共六个场景,分别展示长城、兵马俑、浑天仪、敦煌石窟、故宫及鸟巢,这些场景以立体构建的方式“跃然纸上”,创造性地展现“中华崛起”的概念。在此基础上,增强现实技术的合理利用可以为六个空间场景加入穿越历史的回响与时间流动的印痕,如逼真描绘长城烽火台上狼烟四起的景象,在静态的浑天仪上投射日月星辰的运动节律,在故宫场景中再现帝王登基、大婚、命将等盛大的皇家礼仪,等等。
文创类立体书表达主题鲜明直观,塑造形象生动立体,是跨文化传播的绝佳载体。增强现实技术在文创类立体书中的应用可以“让收藏在禁宫里的文物、陈列在广阔大地上的遗产、书写在古籍里的文字都活起来”,[13]用读者喜闻乐见、耳目一新的手法去诠释古老的文明。此外,积极促进增强现实技术与文创类立体书的结合,将它作为文化结晶、艺术审美、创新工艺与前瞻科技的综合成果推向世界,有助于国内外读者对中华文明的认知和理解。
2.创建故事叙述的新方法
增强现实的虚拟内容与立体书的物理空间恰到好处地结合,可以为文学、影视、戏剧、动画等诸多媒介提供多维互构的良好平台,从而构建一个全新的空间叙事模式。《麦克白》(Macbeth)是一个鲜有的将增强现实技术应用于立体书的优秀案例。该书由戴维·麦克圭尔(Davy McGuire)、克里斯汀·麦克圭尔(Kristin McGuire)、马特·海勒(Matt Hayler)和皇家莎士比亚剧团(Royal Shakespeare Company)共同合作而成。书中的人物形象、动态场景等内容通过微型的三维投影贴图技术(Projection mapping)投射在特定的空间载体上,通过阅读者的翻页驱动来触发视频和声音的播放。书中的“纸片人”通过增强现实的虚拟叠加可以如演员一般演绎对话、展示行为。可动、可变、可看、可听的虚拟形象让原本立体书无法饱满诉说的故事情节、无法动态刻画的故事情境变得栩栩如生。
增强现实技术在立体书中的应用展现出媒介混合的强大能量,通过艺术与技术的结合,为故事的叙述与表达创建新的模式,让叙事场景光影琉璃、如梦如幻,让叙事生动逼真、精彩纷呈、引人入胜。
五、结语
增强现实技术在立体书中的应用可以有效吸收并和谐处理多种艺术表达形式,增强并聚集多种感官信息,为读者带来多维度的感知与体验。增强现实的虚拟内容与立体书物理空间的结合,让诸如戏剧空间、电影镜头和动态图形等元素通过创造性的合成原则融汇在一起,为读者带来?“完美”的阅读体验。随着出版科学技术的不断进步及专业人才的通力合作,在增强现实虚拟内容与立体书物理实体的嵌合实验中,新的表现形式、阅读方式将继续出现,以愈加独特、奇妙的方式为读者带来更多未知的体验与感知。增强现实技术在出版行业的应用将有利于推动传统出版行业与新兴技术的深度融合,为“讲故事”的叙述方式和视听效果的创新开辟新的航向。
参考文献:
[1]夏征农,陈至.大辞海:美术卷[M].上海:上海辞书出版社,2012:414
[2]Crupi G."Mirabili visioni":from movable books to movable texts[J].JLIS.it,2016,7(1)
[3][5]杨清贵.立体书不可思议[M].西安:陕西人民教育出版社,2018:96,20
[4]刘杨,袁家宁.现代插画与书籍装帧设计[M].沈阳:辽宁科学技术出版社,2010:181
[6]Azuma R.A survey of augmented reality[J].Presence,1997(6)
[7]Klopfer E.Augmented learning:Research and design of mobile educational games[M].Cambridge,MA:MIT Press,2008:205
[8]Billinghurst M,Kato H,Poupyrev I.The MagicBook-moving seamlessly between reality and virtuality[J].IEEE Computer Graphics and Applications,2001,21(3)
[9]Bowman D A,McMahan R P,Ragan E D.Questioning Naturalism in 3D User Interfaces[J].Communications of the ACM,2012,55(9)
[10]Jerald,J.The VR Book Human-Centered Design for Virtual Reality[M].San Rafael:Morgan & Claypool Publishers,2015:289-290
[11]Woods E,Billinghurst M,Aldridge G,et al.Augmenting the Science Centre and Museum Experience[C].Proceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia,2004:230
[12]立体书屋的立体书篇一:正能量的立体书——《中国弹起》[EB/OL].https://post.smzdm.com/p/71804/
[13]习近平.在十八届中央政治局第十二次集体学习时的讲话//中共中央文献研究室编.习近平关于社会主义文化建设论述摘编[M].北京:中央文献出版社,2017:201