前言:

触控作为一种人机交互方式诞生已经数十年,但是触控技术的大规模应用则是以iPhone为代表的智能手机的普及为标志,而这个巨大的变化也才不过数年而已。本篇报告通过对过往技术与产品的发展变化进行分析,尝试对未来触控技术的发展愿景进行描绘,以供参考。

触控本质

在尝试讨论触控技术前,我们需要先对触控技术进行定义。触控技术的应用范围极其广泛。旧到常⻅见的笔记本电脑触控板,新到Google Glass,都依赖触控技术进行人机交互。但是本报告中关注的是与显⽰示相关的触控,即触控的主要目的是提供显示区域内的定位功能,例如智能手机、平板电脑等产品所具备的触控功能。

触控技术的多种应用领域

亲密的人机交互技术

触控技术的本质决定了它的生命周期。随着随着科技的进步,越来越多的人力劳动被机器所取代,与过去相比现代社会每个人面对机器的时间远远超过了与人面对面交流的时间。可以预知的是在未来,机器会成为每个人生活中信息的主要来源渠道。在这样的背景下,人机交互技术注定会经久不衰地蓬勃发展下去。下图是几种常见的人机交互技术,触控技术属于其中的一种,而且是最亲密的一种。

touch-techonology-hmis

触控技术的三大优势

虽然触控技术只是众多人机交互技术中的一种,但是它的发展速度之快,应用范围之广几乎超出了所有人的预计。例如板电脑这个新兴事物上触控技术的应用率是100%;智能手机的渗透率也已经超过了80%;甚至笔记本电脑以及台式PC一体机也在大张旗⿎鼓的将触控技术拥入怀中。这一系列的发展应用都离不开触控技术的三大优势。

优势一:迎合人类触摸的本能

人类的手指上有密集的神经分布,是人体触觉最为灵敏精细的部位。我们从很小的时候就学会了通过触摸来了解我们周围的世界,这种习惯一直延续下来,已经成为我们探索未知事物的一种本能,甚至连成年人也难以克制。最为典型的例子就是在各种博物馆、展览馆中林立的“请勿触摸”的告示牌。当我们面对未知的事物时,第一个动作就是下意识地去摸一下。

触摸会向我们反馈多种信息,包括:这个物体材质是什么,光滑的、粗糙的;冷的、热的;柔软的、坚硬的。配合人体的其他感官如视觉、听觉、嗅觉、味觉等可以大致形成对未知物体的定义。这一点用在人机交互中,尤其是结合显示屏以后可以有效提高人机交互的效率。与触控功能结合后的显示屏可以直观的告诉用户“按这里”,“两指缩放”等,这种方式直观、形象,用户不需要去记忆复杂的操作按键,极大的降低了记忆与学习成本。同时显示屏可以随时随地更改显示的内容,因此操作界面具有了极大的灵活性,可以按照不同的需求进行调整,甚至模拟完全不同的操作方式。

kinds_of_apps

例如上图所示,iPad在安装了GarageBand之后可以模拟架子鼓、吉它和钢琴等不同演奏方式的乐器发出的声音。可以认为,触控技术充分利用了人类的触摸本能,是一种零学习成本的人机交互技术。

优势二:自然而然的亲密性

当触控技术与显示屏结合,用户不再需要类似鼠标键盘的“中介”,可以直接用手去操纵屏幕上显示的内容。这一操作实现了“所见即所控”的方式,进一步拉近了人与机器的距离,创造了一种人与机器之间的亲密关系。而且这种密切的接触并非强加给用户的,它隐藏在用户每一次与显示屏幕所呈现内容的交互之中。尤其随着现在个人随身设备如智能手机的大规模普及,人与机器的交互次数与接触时间与日俱增,智能手机几乎成为了人类生活的必需品。如何利用这种密切的联系,如何从用户每天上百次的触摸中捕捉信息,进而去服务于用户,是触控技术应当考虑的课题。与其他人机交互技术相比,触控技术可谓在与人的密切关系上拥有得天独厚的优势。并且这一亲密性优势在可穿戴装置的设计制造,以及人体生理指标特征的采集方面得以有效的利用。

优势三:丰富的触觉体验

皮肤是人体最大的器官,它覆盖全身,保护身体免遭外界危险的侵袭。看起来简单的皮肤实际上是由表皮、真皮和皮下组织三部分构成的。就在这个复杂的层级结构中排布着不同种类的神经纤维,它们负责一项非常重要的功能:人类的触觉。

人类触觉大致可以分为四类:粗糙与光滑、柔软与坚硬、冷与热、以及痛觉。这些感受全部是通过皮肤下的不同感受器来捕捉并反馈给我们的大脑。当人伸手触摸物体的时候,这些不同的触觉体验综合在一起并经过人的大脑处理,形成每个物体完全不同独特的体验。例如天鹅绒的柔软、鹅卵石的坚硬、不锈钢的冰冷、丝绸的柔滑。从某种程度上来看,触觉还会通过人的本能来影响人的情绪。例如冰冷光滑的表面让人联想到蛇与昆虫的恐惧,蓬松柔软则给人以动物皮毛的温暖感觉。这些都得益于触觉体验的丰富性。

以上三点是触控技术的特征,也是触控技术的应用的优势所在。这三大优势直接决定了最适合采用触控技术的应用场景,也是触控技术本身在开发的时候应当考虑的要素。

信息流

为了更好的理解触控技术未来的发展趋势,有必要跳出触控技术的概念,考虑更宏观的因素,站在更高一层的角度来看触控技术以及相关联物体之间的关系。本报告中选择了信息流这一角度。原因主要包括:

  1. 触控本质是人机交互方式,目的是为了促进信息在人与机器之间的流通。
  2. 信息流抓住了触控技术的根本目的,避免了复杂环境对趋势分析的负面影响。
  3. 信息流是抽象的,因此不受触控技术本身具有的形态限制,在进行长期技术趋势预测分析时益处明显。

信息流循环

构建一个完整的信息流循环需要明确以下三个要素内容:

  1. 参与者是谁?
  2. 哪些信息在流通?
  3. 信息流通方向如何?

在一个完善的信息流循环里,参与者明确,信息种类多,流通渠道顺畅。并且这三个因素在数量上足够多时往往意味着会有新的应用出现。技术的发展尤其是新技术的突破往往最终体现在这里。

残缺的触控信息流循环

如果单独将触控技术拿出来进行分析,可以得出如下结论:

  1. 参与者是谁?毫无疑问,触控技术的参与者只有两类:人,机器。
  2. 哪些信息在流通?目前看来,流通的信息主要是人的手指在触控面板上的二维空间信息。
  3. 信息流通方向如何?传统的触控技术是单向流动,即机器接收人的信息。

如果用一张示意图来概括的话大致如下,其中箭头所指方向为信息的流动方向。

touch-infor-flow-1

从上图可以看出,目前的触控技术参与者明确,但是问题在于没有形成信息的循环,只是单向的信息输入,并且输入的种类单一:触摸位置的二维空间坐标。之所以说它是残缺的是因为目前单纯从触觉来看机器确实没有给人以应有的反馈。

相对完整的产品信息流循环

好在触控技术并不是孤立的存在与产品中,报告中所描述的触控技术在第一章中已经进行了定义,即与显示相关的触控。代表产品如智能手机,平板电脑。在这些产品中,触控技术是作为输入系统来使用的,而输出系统主要是通过两点:显示屏与扬声器。用户通过触摸屏控制虚拟物体,显示屏将用户对虚拟物体的操作显示出来,如移动、旋转、点击,通过视觉的形式反馈给用户;如果必要的话还会加入听觉的反馈,如敲击智能手机虚拟键盘时候的“嗒、嗒”声。所以对于产品来说,信息流的循环是相对完整的。但是重点在于,这个反馈并不是通过触觉来实现的,而是通过视觉与听觉。所以信息流的循环变成了下图所示的样子,用一条虚线表示信息的回流:

touch-infor-flow-2

虽然信息有了回路构成了循环,但是问题在于这里的信息循环都是基于产品的,回馈的方式也与触控技术没有太大的关系。所以信息流循环是相对完整。单独拿触控技术来看依旧没有回馈,仍然残缺。

完整的触控信息流循环

那么完整的触控信息流循环应当是什么样子的?在第一章中我们分析了触控的三大特点之一就是“丰富的触觉体验”。这里的“体验”的前提就是人作为信息的接收端,依靠触觉从机器端去感受信息。具体的来讲就是依靠人类皮肤组织中丰富的生物感受器去体验粗糙与光滑、柔软与坚硬、冷与热、甚至痛觉。而这样的体验是现有触控技术无法提供的,唯有突破现有触控技术的框架,甚至颠覆现有触控技术的概念,开发能够给人以触觉的技术——触觉反馈技术。

触觉反馈技术可以让人在触摸机器的同时有不同的感觉,不再是千篇一律的“玻璃感”。其应用范围也有相当大的想象空间。例如当你在线购物时,你可以摸到显示屏上衣物的面料质地是丝绸的光滑、还是亚麻的粗糙;当你在玩游戏时,画面上的火苗真的会有温暖的感觉;对于天生视力缺陷的人可以直接在屏幕上生成可以触摸的盲文;当我们和处在异地的家人视频通话时,你也许可以直接通过触摸屏幕感受到另一端亲人的体温,让科技真正惠及每一个人。唯有触觉反馈技术的加入,真正实现了触控信息在人与机器之间的循环流通,才构成完整的触控信息流循环。用一条实线代表触控信息的回流如下图所示:

touch-infor-flow-3

至此,触控技术的骨骼已初具雏形,接下来我们要思考的是在触控技术信息流循环完成后,如何来丰富其中流通的信息内容。而方法依旧是通过信息流循环的三要素入手分析。

创新突破

有了之前触控技术信息流循环的概念,我们现在可以通过对信息流元素的分析来推测下一步触控技术的发展方向。

信息流要素之一:参与者

在第二章的分析中,我们指出触控信息流参与者包括两类:机器,人。现在我们需要更加具体的针对参与者进行分析。

更多的参与者

触控技术的蓬勃发展极大地依赖智能手机、平板电脑等个人便携设备。这些产品在最初设计的时候就是针对一个人单独使用的情况,一个具有代表性的触控指标触控点数。目前为止大部分的触控设备都以10点触控作为标准的触控点数。但是当触控技术作为一种人机交互技术出现在超大尺寸显示设备上时,使用场景发生了极大的变化,有更多的人会同时操控一款设备,此时单纯的10点触控已经无法满足需求,需要更多点数的触控支持。

好在触控点数的增多目前在技术上并没有太大的困难。一些超大尺寸触摸屏产品如微软的Perceptive Pixel已经可以支持超过10点触控。3M公司也多次展出了支持多人同时操作的40点触控超大一体机。不过究竟要支持多少点操作最合适目前还没有定论。可以确定的是要支持的点数越多成本就越高,所以在超大尺寸触控应用还没有特别明确的时候,恐怕只能通过与客户的不断沟通来确定触控点数与价格之间的平衡点了。

不再是陌生人

目前的触控技术还不能解决的问题是机器无法识别当前的触控操作属于哪个个体。它不知道是谁摸的!如果这个功能实现的话,在应用端可以有更多的模式,例如一款只有你才能操作的手机,它不需要锁屏密码,因为其他人没有你的授权是无法操作的,是不是很酷?

信息流要素之二:信息种类

当前的触控技术已经可以非常准确的捕捉到你触摸的位置坐标,支持悬浮触控(Hover)的设备甚至可以在一定距离内捕捉到触控平面外部z轴方向上的距离。但是这些足够了吗?知道的越多,能做的就越多。

触摸压力

触摸是人做出的动作,每一次触摸都不可避免的伴随着触摸压力的大小变化。但是当前的触控技术还没有普及这一功能。

sensitive_large

瑞典的FlatFrog公司推出的基于光波导技术中宣称可以实现1024级压力感测,而实际上他们是通过间接测量接触面积的大小来计算触控压力的。苹果公司在Apple  Watch产品中通过在显示屏周围设有许多微小电极来实现压力感应,其原理现在尚不清楚,效果也有待验证。不过可以肯定的是压力感测的技术一定是触控技术未来必备的功能。

生物信息

皮肤组织示意图

触控的操作离不开手指与屏幕的接触,除了指纹意外,人的皮肤下有着复杂的结构,例如动静脉血管、汗腺、皮下脂肪等。这些组织从某种程度上将都透漏着用户的一些信息,如心率、体温、皮肤含水量。如果触控技术可以将这部分信息采集那么在具体的应用上又会有更多的可能性。

信息流要素之三:流通方向

目前的触控技术最大的问题在于没有触觉回馈,信息由人单向流向机器。所以从信息流通方向来看,目前最大的课题应当是建立触觉信息从机器流向人类的通道,即触觉反馈技术。

初级触觉反馈

为什么触觉反馈如此重要?几乎每一个智能手机都具备的功能就是振动,而且不仅在来电或者有消息时振动,有些在用户使用虚拟键盘输入的时候也会振动。这里的振动其实就是某种程度上的触觉反馈。加入触觉反馈功能可以有效的提升用户体验,提高用户的操作效率。但是这种反馈是较为初级的。

Apple Watch中的Taptic Engine

apple_taptic_engine

2014年苹果公司发布了可穿戴设备Apple Watch。在官方的介绍文档中有这样的描述:“Apple Watch内部有一个叫做Taptic Engine的小装置,它是一 个线性致动器,用来生成触觉反馈,通俗的讲,它会时不时戳戳你的手腕,感觉类似于轻拍。当你收到提醒或通知、旋转数码表冠、按压显示屏时,手表都会轻轻戳你一下,你可以明显感觉到每一种互动产生的“戳”都各不相同。”与传统提供振动回馈的手机相比这种能够提供“各不相同”触觉反馈的装置已经是一大进步了,但是远远没有达到真正触觉反馈需要的效果。

先进触觉反馈技术

迪士尼公司(没错,就是那个米老鼠的迪士尼)在2013年的时候发表了一篇题为Tactile Rendering of 3D Features on Touch Surface的文章。通过调制手 指与屏幕指尖的摩擦力来实现在显示画面不同的位置拥有不同的触觉效果。具体做法是先对显示的画面进行计算分析,得到当前画面的深度图像,然后根据指尖划过不同位置的不同深度给予不同程度的摩擦力,这样用户就可以直接触摸到画面的不同。即使是2维的平面图像,也会有凸起、凹陷褶皱等不同的感觉。详情可以参考官方的Disney关于触觉反馈项目的介绍。

作为触控技术的未来发展方向,一些全球领先的技术研究院也投身其中。“Haptics技术,在触屏上实现物理按钮效果”这篇文章来自于微软亚洲研究院。在他们的研究中尝试将物体的纹理分解成几个独立变量。就如同现实行业中的三原色原理一样,他们认为粗糙度、粘滞度、柔软度很可能是触觉的三个基本维度,并且采用了不同的技术方案去模拟物体表面的触觉。例如通过压电原件实现开关的咔哒体验;通过20-40kHz超声波来振动触摸表面,表面的空气 会使手指与屏幕的接触变得非常顺滑;或者利用静电效应来改变屏幕与手指指尖的微小摩擦力。

触觉反馈技术本身已经是一项重要的研究领域,国际上相关的研究报道也层出不穷。考虑到未来触控这种人机交互技术应用范围的不断扩大,现在依旧有必要提前进行适当的布局。

总结

仔细想一想,为什么世界各地的显示面板厂都在触控技术上进行大量的研发投入?赚钱当然是一个解释的理由,但是更重要的原因是信息的流通本来就应当是双向的——显示是输出、触控是输入。虽然输出与输入的方式多种多样,但是显示与触控这一对无疑是互补性最强,配合最好的一对。触控技术的飞速发展离不开它的三大特征所带来的优势,而作为人机交互技术,不断进行功能的扩展与性能的提升是技术内在禀赋的推动力。虽说在解决现有产品的“操控”需求上已经非常完善,但要形成完整的触控技术信息流循环通道目前还没有妥善的解决方案。这其中的课题远超出本篇报告列出的这些内容,并且值得每一个对触控技术感兴趣的人继续探索下去。

(完)