中国自动化学会专家咨询工作委员会指定宣传媒体
新闻详情
isee-

奇妙的科技:人机交互改善人类生存状态

http://www.gkong.com 2011-06-03 10:36 来源:微软研究院

  美国计算机协会的CHI 2011 (Conference on Human Factors in Computing Systems)于5月7日至12日在加拿大温哥华举办。作为人机交互(HCI)领域的顶尖国际大会,CHI 2011为人机交互领域的最新研究提供了一个展示平台。  

  本届CHI 2011大会主席、微软雷德蒙研究院高级研究员Desney S. Tan表示:“如何通过将技术无缝整合到人们的日常工作中使计算惠及更多人群,以及如何进一步理解和改善人类的生存状态一直是我们持续面临的挑战。”

  一直以来,微软研究院通过经费赞助和学术贡献为CHI提供支持。今年,有40篇由微软研究人员撰写或与他人共同撰写的论文被CHI选中,约占大会接受论文总数的10%。

  对Tan而言,这丝毫不值得惊奇。“微软研究院致力于进一步推进计算机科学与技术的发展。由于人类和技术之间的关联愈发紧密,微软研究院正将越来越多的精力集中于人机交互,这一点从我们研究人员的参与程度上也可见一斑。”

  微软研究院首席研究员Bill Buxton对本次会议的贡献不同寻常。在主题为“让过去告诉未来:Bill Buxton交互设备精选展”上,Buxton收藏的交互设备令人印象深刻。

  由微软雷德蒙研究院的Ryen White和Matthew Richardson以及卡内基-梅隆大学的Yandong Liu联合撰写的论文《社区规模和接触率对于同步社会问答的影响》(Effects of Community Size and Contact Rate in Synchronous Social Q&A)成为会议期间获得最佳论文奖的13篇论文之一;同时获奖的还有由前微软研究院实习生Gabe Cohn和访问学者Shwetak Patel(两人均来自华盛顿大学)、微软雷德蒙研究院的Dan Morris和Tan联合撰写的论文《你的噪声就是我的命令:以身体作为天线的手势遥感》(Your Noise is My Command: Sensing Gestures Using the Body as an Antenna)。由来自Phillips Exeter学院(新罕布什尔州埃克塞特的当地中学)的Akash Badshah,来自华盛顿大学的Sidhant Gupta、Cohn以及Patel,以及来自微软剑桥研究院的Nicolas Villar 和 Steve Hodges共同撰写的《互动发电机:自供电触觉反馈装置》(Interactive Generator: A Self-Powered Haptic Feedback Device)成为获得最佳注释奖(Best Notes Awards)的两篇文章之一。 

  触感家庭

  想象一下,有一天你不再需要物理附件即可操作输入设备——因为你的身体本身就是输入设备。方法之一是在身体上附加传感器。我们面临的挑战则是将实际的“信号(signal)”与“噪音(noise)”分开——例如周围环境中的电磁干扰,它们会淹没传感器,导致信号难以处理。在《你的噪声就是我的命令:利用身体作为天线的手势遥感》这篇论文中,研究人员采用逆向思维解决这个问题。

  “我们能不能把电噪声 (electrical noise) 看作一种信息源?它们能告诉我们,用户在哪里以及他在干什么。”Morris回忆道,“这是第一次对可行性加以评估的试验。”

存在电力线路和电器噪声辐射的场合,人体就像一根天线。

  人体是真正的天线,在典型家庭的嘈杂用电环境中走动时就会感应到这些信号。研究人员尝试是否能够识别出足够精确信号,告诉系统用户在触摸什么、身在何处。为了测量这些信号,研究人员在每个研究参与者身上放置了一个简单的传感器,并记录这些传感器捕捉到的电信号。参与者做出各种“手势”时,他们背包内放置的笔记本电脑就会不断收集这些数据,例如触摸墙壁上的特定点和电器,或者在不同的房间内走动等。

  接下来,是确定对这些数据加以分析能否足以区分这些手势和位置。在很多情况下,只凭借参与者身体所感应到的环境噪声即可识别他们的行为了。例如,参与者可以通过示范操作开关的动作,将特定电灯开关周围的环境噪声“教给”算法语言,它就能确定用户在触摸开关附近五个点中的哪一个,精度在90%以上。同样,研究人员可以识别参加者在任何给定时刻身处哪个房间,其精度可达99%以上,因为每个房间的电气噪声环境是迥然相异的。

  “这是一系列相当可喜的成果,”Morris说:“现在,我们正在考虑如何把它打包成为一个实时交互的系统(a real-time, interactive system) ,以及当我们把你的整个住所都变成触感平面时,会有哪些创新情境。”

  把患者当作医疗显示平面

  来自世界卫生组织和美国医学协会(the American Medical Association)的报告证实,病人不遵守医嘱是成功治疗慢性疾病的主要障碍之一。有证据表明,医患沟通是改善患者遵守医嘱的最重要因素之一。研究论文《AnatOnMe:利用基于投影技术的手持设备促进医患沟通》(AnatOnMe: Facilitating Doctor-Patient Communication Using a Projection-Based Handheld Devicei)主要是帮助我们理解如何在面对面交流和临床环境下使用轻便的手持投影技术,改善医患沟通。

三个演示屏幕:a)身体;b)模型;c)墙面。

  论文作者弗吉尼亚理工大学的Tao Ni(微软雷德蒙研究院的前实习生),微软雷德蒙研究院的Amy k. Karlson以及微软研究院前研究员、目前在多伦多大学任职的Daniel Wigdor,以物理治疗(physical therapy)为重点,联合访问了多名医生,了解到常见的沟通挑战和设计要求,而后制作并研究了手持式投影系统(handheld projection system),使其能够灵活地为信息交流提供支持。医生可以将手持投影仪对准墙面或窗帘,使之成为“无处不在”的显示器,也可以对准病人,将有用的医疗信息直接叠加在解剖图的特定部分上,形成“强化现实(augmented-reality)”影响,或称之为“虚拟X射线(virtual X-ray)”。

  由物理治疗师和病人参与的测评和正规的实验室研究表明,与传统方法相比,手持投影仪能够创造很高的价值,提供更加令人投入的认知体验。

  “这是一个有趣的新领域,”Karlson说:“因为,尽管在许多医疗机构里,技术已经相当普及,但是在医患面对面沟通和教育的环节上,技术仍然相对缺失。

  “最酷的部分,是当我们把医疗图像直接投射到研究对象的胳膊和腿上时,听到了他们的积极反应。他们说,‘哇!酷!’‘我感觉好像看透了自己的皮肤!’似乎在自己的身体上看到医疗影像,是一件相当引人注意和独特的体验。”

  手术室的非接触型交互

  随着影像引导型流程在手术室里的普及,医师对与数字影像之间互动的需要也越来越多。在由微软研究院学术合作部(Microsoft Research Connections)资助,与兰卡斯特大学的一个合作项目中,英国米尔顿·凯恩斯开放大学的Rose Johnson,微软剑桥研究院的Kenton O’Hara、Abigail Sellen和 Antonio Criminisi,以及英国剑桥阿登布鲁克医院的Claire Cousins,他们合作来实现在手术室环境中丰富、灵活且非接触型的患者数据交互。由此产生的论文《探索非接触型互动在影像引导型介入放射学中的应用潜力》(Exploring the Potential for Touchless Interaction in Image-Guided Interventional Radiology)获得了CHI 2011荣誉提名论文奖。

  在介入放射学(the interventional radiology)等治疗中,影像引导在外科医生的工作中起着关键作用,然而由于消毒问题,外科医生必须避免接触鼠标、键盘等输入设备。并且不得不借助“代理(proxy)”来浏览数字影像,也就是通过手术小组的其他成员找到合适的影像、平移或缩放。这非常枯燥而且浪费时间。

   这张图片是从计算机区域向X射线台拍摄的情景,表现了外科手术团队以及复杂的协作环境,这正是非接触型互动所必须解决的问题。

  研究小组开始了实地考察,目标是了解医生的工作实践。研究人员与外科手术团队协作进行系统的开发和评估。针对Xbox 360设计的Kinect等非接触型互动解决方案为外科医生提供了重新掌握数据导航控制权的可能。但是,在实现界面的协同控制,以及实现流畅的系统介入与脱离上,他们仍面临很多挑战,因为系统需要知道哪些动作是“针对系统的”,哪些则不是。

  Sellen说:“这个项目最有趣的看点是,我们有可能通过减少复杂操作所花费的时间,并让外科医生对他们所依赖的关键数据掌握更大的主动权,来真正改善病人护理和临床治疗效果。从技术的角度看,能够让Kinect等技术在游戏领域之外实现其价值,是十分令人欣喜的。”

  双手并用

  触摸界面十分适用于即兴随意的互动,但用手指精确地选择一个点,或移动影像而不至于发生旋转,是不容易做到的,除非屏幕上有菜单或把手。不过,在触摸控制的世界里,这样的选项是不受欢迎的,因为它们会引发混乱。《岩石和轨道:扩展带有形状手势的多点触控互动,实现精确的空间操作》(Rock & Rails: Extending Multi-touch Interactions with Shape Gestures to Enable Precise Spatial Manipulations),合作者包括来自微软雷德蒙研究院的Wigdor,、Hrvoje Benko,来自微软公司的John Pella、Jarrod Lombardo和 Sarah Williams,他们提出了一项解决方案,在平面上结合运用可识别的手型和触控。

  “岩石和轨道”是对触控交互词汇的扩展。它保留了直接触控输入模式(the direct-touch input paradigm),但允许用户使用流畅、高度自由的操作,同时提供简单的机制以提高精确度、指定操作限制以及避免遮挡。这套工具提供了用于定位、分离、缩放以及使用系统可识别的手型操作的机制,同时也保留了传统、简单、直接触控的操作。

  《岩石和轨道》这篇论文认为,a)传统、独立识别手型的直接操控通常限制了用另一只手进行的操作:b)旋转;c)调整;以及d)单维度缩放。这样实现了旋转角度的流畅,因而可对屏幕内容进行迅速而高精度的操作。

  该项目是微软研究院和Microsoft Surface团队协作的成果。为此,研究人员就能够在现实世界的设计师(项目的目标受众)身上验证他们的成果。

  Benko回忆说:“该项目最值得铭记的时刻之一,是当我们意识到我们可以的手势可以在屏幕上‘常驻(persistent)’。按照从前的模式,你必须保持手的姿势,才能发出特定选项的信号;而现在用户可以‘创建(create)’或‘固定(pin)’某些特定手势的替代符号,这让操作更加轻松。这样用户就可以执行各种千奇百怪的组合操作,而无需长时间保持特定的手势了。”

  在微软研究院针对如何加强人际互动而展开的调查研究中,上面只是很少一部分例子。

  “人机交互的意义在于发现和发明能深刻改变人们生活的技术,”Tan总结道:“微软研究院致力于推进人机交互技术的不断发展。”

版权所有 中华工控网 Copyright©2024 Gkong.com, All Rights Reserved