人机交互:现状与趋势

特邀编辑导言 • Paolo Montuschi, Andrea Sanna, Fabrizio Lamberti, Gianluca Paravati • 2014年9月

国际读者可阅读这篇文章的
西班牙语版中文版
full color earth with interconnected sensors

人机交互(HCI)是一个关注人和机器之间交互模式的多学科研究领域,有时也使用在制造业或过程控制系统有时更普通的术语的人机界面(HMI)被用于指在用户界面中的制造或过程控制系统。换句话说,HCI学科关注有关人和计算机之间的界面设计和实现的所有问题。由于其性质和目标,人机交互自然而然地会涉及到计算机科学的多个学科方向(图像处理,计算机视觉,编程语言等)以及人文学科的多个方向(人体工程学,人因,认知心理学等)。人机交互研究首先关心能够改善人机互动的新型界面的设计、实现和评估。这里的改善 涉及多个方面,包括使用直观性和与接口健壮性。

一个直观、自然、高效、健壮且可定制的界面可以明显缩小人类心智模式与计算机、机器或机器人完成既定任务之间的隔阂。虽然有关人机交互的研究可追溯到1975年,但近年来消费电子技术的进步更是打开了令人兴奋的新局面:在设计经济实惠的自然用户界面(NUI,Natural User Interface) 过程中,手势、手和身体姿态、言语、目光不过是多种自然互动模式中的几个例子。

"今日计算"九月号着眼于人机交互领域正在发生的演进,以及人机交互技术的巨大潜在价值。

为什么说人机交互在ICT发展中的角色十分关键?

在计算机科学初期,设计和开发人员对软硬件产品的可用性或者说"用户友好性"关注甚少。然而,随着越来越多的用户期望设备易用,终于把研究者的注意力聚焦到可用性(usablitiy)上来。

国际标准化组织(ISO)对可用性的定义是:一个产品可被特定用户有效地、高效地、满意地达成特定目标的程度。也就是说,可用性定义了一套标准,包括效率、安全性和实用性,主要涉及计算机系统。

1990年代中期,出现了另一个和可用性有关的重要概念:用户体验(UX),主要关注与用户相关的因素:满意、喜爱、情感满足、审美情趣等。在某些领域,UX的概念已经扩展,且更加明确。例如,Web界面设计人员经常在设计阶段利用用户体验蜂巢(User Experience Honeycomb) 来确定重点。蜂窝状的七个六边形代表让用户获得满意的体验质量(QoE)所必须仔细平衡的参数:有用、可用、需要、易见、方便、可靠和有价值。

了解人类的心智模式是人机交互的另一个重要问题。不同用户学习和保持知识和技能的方式并不相同,往往受年龄以及文化和社会背景的影响。因此,HCI研究的目的就是要消除用户和新技术(现在比以前变化得更快)之间的间隙。有效、高效和自然的人机交互形式可以降低操作复杂设备所需的技能水平,从而潜在地减少人与人之间的不平等,从而有助于解决"数字鸿沟"问题——能够接触并有能力利用ICT技术的人和那些接触不到、缺乏相关技能的人之间的差距。

新趋势和机遇

多年以来,人类一直通过键盘鼠标给机器发号施令,这种模式也称为WIMP(窗口、图标、菜单、指点设备)。这里的机器一词含义十分宽泛:除了通常与计算机相关联的指向和点击设备,我们还会用各种各样的键盘:拨打电话号码,与电视互动,选择汽车仪表盘上纷繁复杂的功能,以及其它各种使用按键进行方式的活动。多数情况下,设备最好通过监视器等显著装置把输出反馈给用户。

正如Andy van Dam在IEEE Computer Graphics & Applications新世纪第一期上发表的展望论文中所预见的:"后WIMP界面不仅充分利用我们更多的感官,而且还越来越多地基于我们与环境以及他人自然互动的方式"。

一些经济实惠的传感器也已经开始撼动人与设备的交互方式。触摸和多点触屏推动了从普通手机到智能手机的转型,手势已成为在个人设备上激活功能的主要交互模式。同时,语音识别技术和CPU日益增长的计算性能也让用户能在手势不便时能够有效地输入。

个人设备是新型人机交互形式能够减少人类心智模式与技术之间隔阂的最明显的例子。引领人机交互领域这一巨大创新的一个市场是娱乐。随着用户期望游戏和设备制造商提供控制人物的新方法,游戏主机开发商设计出各种新的控制器来把玩家从键盘和鼠标中解放出来。新界面提供触觉反馈和某种形式的接触式界面(控制器变成方向盘、枪或网球拍等)。

传感器——例如微软Kinect向全自然界面迈出了重要一步,在这种界面中,人体本身就是控制器。该设备让用户通过手势和身体姿势向机器发出指令,后台的嵌入式硬件对深度相机获取的原始数据进行实时处理,从而获得人体骨骼和关节组成的骨架的基本形态。识别出骨骼的位置和朝向,硬件就可以识别出姿势和手势,再映射为送给机器的指令。

研究人员还在研制能够跟踪用户双手的传感器。举例来说, Leap Motion通过识别指尖位置和手掌中心来交互式地跟踪用户的双手,随后再利用反向运动学解算出指关节位置。一些汽车制造商已经开发出基于手跟踪的交互方案,以替代通过触摸屏管理信息娱乐功能的传统模式。同样,一些智能电视可以让用户采用手势进行选择,从而取代传统遥控器。

上述情景几年前还只存在于科幻电影中,当下已经成为人机交互的现实。另一方面,新的、更有趣的场景y也会很快到来,例如,脑接口似乎正在蓄势反转人与机器之间的关系。新交互模式的成功依赖于未来技术进步,其目标是把接口设备转换成可穿戴的嵌入式对象。基于增强现实(AR)技术的界面就是这种转变的明显例子。面向个人设备的旅游、娱乐、维修、购物和社交网络应用层出不穷,而新的可穿戴式传感器可能会很快就改变我们的习惯。谷歌眼镜在不久的将来会(大规模地)进入市场,新的应用领域每天都会出现。人机交互和人机"一体化"的概念注定要合二为一,而事实上,类似谷歌眼镜这样的方案可能很快就会被隐形眼镜代替,从而真正实现自然的眼戴界面。

新的人机交互形式将显著改变我们的生活。新的交互范式将提高那些难以享受当今界面的人们——例如由于身体残障——的生活质量。在另一方面,也会出现新的问题——尤其是涉及到隐私、安全和道德——从而有可能放缓可穿戴软硬件产品的推广。虽然一些研究人员已经在研究界面设计和法律和隐私相关的问题,但各国五花八门的法律系统还没有为应对未来的人机交互进步做好准备。

主题文章

本月主题的第一篇文章我们选择了《手势技术:界面新动向》 ,作者Lee Garber探讨了基于手势的界面的演变,特别是未来发展趋势。通过检测身体、手、脸和眼睛,研究人员已经开发出利用姿势、手势和表情来控制设备的方法。文章还研究了手势界面——尤其其可用性和健壮性——的相关挑战。

《通向自然对话语音界面之路》中,Charles L. Ortiz讨论了实施有效的语音界面所面临的挑战。效率和稳健性再次成为可否采用的关键,特别是有关确定情景和意义的语义表示,这是正确解释自然语言句子的关键。

情景判断往往与人的情感状态有关:情绪会深刻影响我们与他人以及设备互动的方式。Sidney K. D'Mello和他同事们的 《人机交互过程中自然非基本情感状态的单模和多模感知》报告了他们对人机交互过程中情感状态所进行深入研究的成果。作者着眼于人的多模态情感检测,采用一组参数来衡量人在接受单模多模刺激时可能的状态:中性、无聊、困惑、吸引和无奈。文章研究了一种(单模)、两种(双模)或者多种(多模)刺激(嗅觉、视觉或听觉)对人类情感的不同影响。如果界面可以设计成能用多种方式刺激用户,那么感知情绪研究在HCI研究中就很关键。

下面我们转向一个利用人机交互克服身体或精神障碍的好例子,在《利用触觉辅助运动损伤用户完成视觉点击任务中的目标捕获》,作者Christopher AsqueAndy DayStephen Laycock介绍了一种触觉界面,可以帮助有运动障碍的人完成点击任务,从而提高他们使用计算机软件的能力。

最后一篇文章的重点是一种众所周知的模式:(多)触摸交互。在《理解交互式白板上面向数据探索的笔和触交互》中,Jagoda Walny和她的同事们研究了笔和触摸方案如何可以克服多层迂回问题(通过菜单、框和面板实现)。文章介绍了一种用于信息可视化(InforVis)领域的交互式白板的触摸界面,用户以一种无模式、无按钮的方式和三种图表进行互动。

这些主题文章还只涉及本领域的部分研究方向。如果你需要人机交互其他应用领域的洞见,可以参考IEEE计算机学会杂志和期刊上的一些专辑。例如,例如,IEEE Transactions on Affective Computing最近出版了一个面向游戏的情感界面的专辑,IEEE Computer Graphics & Applications在2013年3月-4月号报道了交互式显示,Computer2012年第四期重点介绍了新的HCI范式。

行业展望

本月我们提供了一段来自微软Ivan Tashev的行业展望视频,他介绍了NUI的趋势,特别是能够识别说话人和调节人与机器之间交互关系的智能音频界面。
[[此处插入视频]

人机交互的机遇是巨大的。更实用、更自然的人机交互界面的进展具有难以估量的价值,并将深刻地改变我们的日常生活。我们邀请您从这个月的主题文章出发,挖掘可能的宝藏。

 

引用

P Montuschi, A Sanna, F Lamberti, and G Paravati, "Human-Computer Interaction: Present and Future Trends," Computing Now, vol. 7, no. 9, September 2014, IEEE Computer Society [online]; http://www.computer.org/web/computingnow/archive/september2014.

Paolo Montuschi

Paolo Montuschi是意大利都灵理工大学的计算机工程教授。他的研究兴趣包括计算机算法和体系结构、计算机图形学、电子出版以及科学知识传播的新框架。Montuschi是IEEE会士和IEEE计算机学会金牌核心会员,并担任计算机协会的杂志运营委员会主席、IEEE Transactions on Computers副主编以及IEEE Transactions on Emerging Topics in Computing指导委员会和Computing Now顾问委员会成员。他还是IEEE出版服务和产品委员会的成员。请访问他的个人网页http://staff.polito.it/paolo.montuschi或通过paolo.montuschi@polito.it 和他联系。

 

Andrea Sanna

Andrea Sanna是都灵理工大学副教授。他在计算机图形学、虚拟现实、并行和分布式计算、科学计算可视化和计算几何领域发表了多篇论文。桑纳目前正在参与分布式体系结构和人机交互方面的多个国家和国际项目。他是ACM高级会员,担任多个国际会议和期刊的审稿人。请访问他的个人网页 http://sanna.polito.it或通过andrea.sanna@polito.it和他联系 。

 

Fabrizio Lamberti

Fabrizio Lamberti是都灵理工大学的助理教授。他的研究兴趣包括计算智能、语义处理、分布式计算、人机交互、计算机图形学和可视化。Lamberti是IEEE和IEEE计算机学会的高级会员。他在国际同行评审的期刊、杂志和会议上已发表90余篇论文。请访问他的个人网页http://staff.polito.it/fabrizio.lamberti或通过fabrizio.lamberti@polito.it和他联系。

 

Gianluca Paravati

Gianluca Paravati是都灵理工大学的助理教授。他的研究兴趣包括图像处理、计算机图形学、虚拟现实、人机交互和可视化。Paravati是IEEE和IEEE计算机学会会员。他还担任一些国际期刊和会议的编委和审稿人。他的联系方式是gianluca.paravati@polito.it