分享
在智慧型手机的使用者接口之后,人机互动 (HCI, Human-computer interaction)的下一阶段将是何种面貌?为了探索在扩增实境(AR)环境中最有效的人机互动方式,Facebook特别公开了近期针对(Wrist-based input)的研究成果,提前对外展示未来人机互动接口的可能性并带来新的想像空间。
Facebook Reality Labs(FRL)研究室正在打造一种AR接口,让使用者们不用因操作装置而被迫忽视周遭环境。致力于将人与人连接起来并且提供有意义互动的Facebook正在开发更自然、更直觉的方式与随时可用的 AR 眼镜进行互动,并且相信这将改变人们与四面八方的人群联系的方式。
Facebook指出,AR 眼镜不像手机一样会将注意力带往掌心周围,而是会如实呈现眼前所看到的世界,将人视为核心来打造运算体验,并将数码世界以 3D 样貌呈现在人们面前,协助人们在真实世界中沟通、探索、学习、分享和行动。
Facebook认为需要一个超低摩擦力、容易上手、极度可靠且保有隐私,同时还能让人们跟现实世界随时保有完整链接的接口。这种接口需要多种创新,才能成为人们与数码世界互动的主要方式。其中最关键的两个要素为:能理解你的指令、行动、情境与周遭环境的情境感知 AI,以及让你毫不费力就能与系统沟通、发出指令的方式 —— Facebook称其为摩擦力极低的输入方法。这样的AI 会根据对人们和其周围环境的理解,对其在不同情境下可能需要的信息或想做的事情进行深入推断,并为人们提供一套量身打造的选择 ── 这种输入方式毫不费力,如同稍微动个手指头就能点击一个无处不在的虚拟按钮一样轻松。
但这种系统还需要很多年的时间才有可能实现;因此,当前将要探讨一个近期较可能实现的版本:结合功能有限的情境感知 AI,也就是可依据人们当时的情况和环境动态调整。
FRL Research(当时的 Oculus Research)在六年前成立时,便开始为 AR 眼镜构思理想的输入装置。结果发现:第一,现今没有任何装置可满足上述所有标准。第二,任何解决方案最终都将会是戴在手腕上的装置。
【为什么是腕部穿戴装置?】
为何一定要是手腕穿戴装置?传统来说,手腕是佩戴手表的位置,意味著其可以合理融入日常生活和社交面向中。此位置既舒适也适合全天候佩戴,也与世界互动的主要工具“双手”在距离上非常接近;也比语音输入在隐私性上更为出色。如此近距离能让Facebook将双手灵活的操作能力融入 AR 中,实现直觉、强大且令人满意的互动。
而腕式穿戴装置还可搭配 EMG 成为最具潜力的理想解决方案。 EMG — 也就是 Electromyography 肌电图 — 使用感应器,将从嵴髓通过手腕流向手部的运动神经电信号转化为数码指令,让人们能借此控制装置的各种功能。这些指令可以让用户向装置传达清晰的一位元指令,这种控制能力具有高度个人化的特性,可以适应多种情况。流向腕部的信号非常清晰,EMG 因而能够推断小至一毫米的手指动作。这代表输入过程将毫不费力,该装置最终也许还能在用户移动手指之前即感应到其意图。
起初,EMG 仅能开创一或两个控制点,Facebook称为“点击”,相当于点一个按钮。在 AR 中,你将可触摸并移动虚拟的使用者接口与物件,就像你在中看到的,你将可控制远距离的虚拟物件。有点像是拥有像是原力的超能力。
这仍仅是开端,最终很有可能人们可以在桌上或膝盖上 —— 甚至可能比今日现有的键盘速度更快。初期的研究非常乐观,事实上,当 CTRL-labs 团队在 2019 年加入 FRL 时,就已经在个人化模式上取得重要的进展,减少因训练个人打字速度与技巧的自订键盘模式所需的时间。
FRL 的研究科学总监 Hrvoje Benko 表示:“我们相信,我们的腕带式穿戴装置可以为 AR 眼镜提供一条超低摩擦力、随时可用的输入路径,但此产品本身并不是一个完整的解决方案,就如同鼠标只是一个图形化的用户接口一样。其需要获得意图预测和使用者模型化的协助,才能实时适应用户和其所属的特定环境。”
如果系统提供让你可以用一个简单的点击的手势确认事项,而非透过选单点击你想做的事呢?当人们将微型手势输入和适应式接口结合起来后,就能获得Facebook所说的“智慧点击”。
FRL 研究科学经理 Tanya Jonker 解释:“该装置内部的 AI 对用户后续可能想做的事情有一定的了解。假设你去外面慢跑,系统会根据你过去的行为,认为你最可能想听跑步用的播放清单歌曲。接著,它就会在显示幕上向你展示这个选项:‘播放跑步用播放清单?’ 这就是适应式接口在发挥作用。接著,你就能用微型手势确认或更改该建议。智慧点击让用户能够以低摩擦力的方式采取高度情境化的操作,这是因为此类接口会根据个人历史纪录和选择,提供高度相关的建议,让你使用最少的输入手势就能达到目的。”
【聚焦触觉回馈技术】
虽然手指点击或微型手势等超低摩擦力的输入方式能让使用者与适应式接口互动,但仍需要让系统能反过来与用户沟通,并且让虚拟物件更具体有形,整个回馈循环才算完整。在此情况下,触觉回馈技术就能派上用场。
FRL 研究科学总监 Sean Keller 表示:“从出生时的第一次抓握,到能灵巧操纵各种物体还有在键盘上打字,这一切都创造了许多回馈循环机制;与外在世界互动时,你会透过双眼和双手与手指来完成各种事项,并在随后感受到外界传来的回馈。我们已经进化到能运用这些触觉信号来了解这个世界。正是触觉让我们学会了如何使用工具和进行细微操控。从外科医生使用手术刀,到音乐会上钢琴家感受琴键边缘进行演奏,这一切都要仰赖触觉。有了腕式装置,我们便取得了开端。我们无法重现你在现实世界中与真实物体互动时可能感受到的每一种感觉,但我们已经开始逐渐创建许多这种感觉。”
以虚拟弓箭为例。透过腕式触觉技术,我们能够营造近似于拉开弓弦的感觉,以便让人们相信自己正在正确执行这个动作。
Facebook目前正在探索一系列的单次研究原型,希望能协助Facebook了解腕式装置的触觉回馈机制。其中一个原型机叫做“波纹带”(Bellowband)。 这是一种柔软轻巧的腕带,上面有八个分布在手腕周围的气动波纹管。波纹管内的空气可以控制,借此呈现出有趣的压力和振动触觉回馈。这仍是很初期的研究原型,帮助Facebook决定触觉回馈值得更深入的探索。另一款原型机名为“Tasbi”,是“触觉与挤压手环接口”(Tactile and Squeeze Bracelet Interface)的缩写。Tasbi 由六个振动触觉执行器和一个新颖的手腕挤压机制所构成。
为了建构可在日常生活中实用且以人为本的 AR 接口,Facebook也必须考虑根本的研究问题,这些问题是探讨腕式互动的一切基础。Keller 说明:“理解与解决所有道德层面的议题,需要社会层面的参与。这无法单靠我们,因此我们不会尝试。当我们发明新科技时,我们承诺将与社群分享我们的学习,必且参与公开讨论以应对议题。”当Facebook持续探索 AR 的各种可能性,Facebook将持续以负责任创新为原则作为每项研究问题的指导核心与最高原则:始终以人为优先。
Facebook认为人们可以不用在虚拟世界与真实世界中做出选择。以超低摩擦力的、以情境感知 AI 驱动的适应式接口,与触觉回馈技术的协助下,我们可以与装置进行沟通交流,而无须将自己从当下情境中抽离,进而让我们能与他人创建联系并提升生活品质。
(科技)
本文由:龙8国际 提供
关键字: 龙8国际_官方app下载-手机版
微信
微博
头条
直播
快手
抖音