人工智能：智能人机交互

本书全面讲解人机交互的概念、方法、技术和应用，理论与实践相结合，具有实用性和前瞻性。

人工智能：智能人机交互

王宏安 中国科学院软件研究所特聘研究员，软件所学术委员会常务副主任，人机交互与智能信息处理实验室主任、北京市人机交互重点实验室主任，ISO/IEC JTC1 SC35 工作组召集人（Convenor）；主要从事智能人机交互和实时智能技术研究；曾任英国Brunel University设计与工程学院客座教授；主持研发了国内首套大型实时数据库系统安捷，取得了显著的经济效果；曾获国家科技进步二等奖和英国牛顿基金会“牛顿奖”。

第1章绪论

11人机交互的发展历程

第1章绪论

11人机交互的发展历程

111人机交互的定义

112人机交互的发展

113人机交互的核心问题

114人机交互的新进展

12人机交互与人工智能

121交替沉浮的历史

122相互驱动的当下

123协同共进的未来

13智能人机交互的发展趋势

参考文献

第2章智能人机交互基础理论

21用户认知模型

211MHP模型

212GOMS模型

213SOAR模型

214ACT-R模型

215EPIC模型

22用户运动模型

221用户运动时间模型

222用户运动错误率模型

223用户运动控制模型

23智能人机交互模型

231人机合作心理模型

232基于语义三角形的自然人机交互模型

参考文献

第3章生理计算与交互

31概述

32生理计算理论

321生理学概念

322生理信号采集手段

323生理信号分析

324小结

33生理交互系统设计

331硬件

332信号处理

333状态推断

334反馈规则

335总结

34实例

参考文献

第4章手势理解与交互

41概述

42手势交互中的核心概念与功用

421手势的概念与意义

422手势的分类

423手势在应用中的功能

43手势理解与交互模型

44人手检测

441现状总结

442实例

45人手姿态估计

451主要难点

452现状总结

453实现

46基于视觉输入的手势识别

461现状总结

462实例

参考文献

第5章草图计算与交互

51概述

52草图表征方法与认知模型

521草图表征方法

522草图认知模型

53草图智能处理技术

531草图手势

532草图研判

533草图补全

54基于草图交互的多模态视频摘要生成与可视化分析

541基于场景结构图的视频创作

542视频螺旋摘要（SpiralTape Video Summarization）

543视频地图（Video Map）

参考文献

第6章情感计算与交互

61概述

62情感计算与交互模型

621情感计算

622情感交互模型

63自发情感跟踪与识别

631综述

632基于三维头部信息的连续情感识别与跟踪

633头部姿态鲁棒的连续情感识别

634人脸自遮挡和用户身份鲁棒的情感识别

64情感生成

641情感生成综述

642几何引导的连续面部表情生成

65实例

参考文献

第7章言语计算与交互

71概述

72语音识别技术

73言语表示与交互模型

731言语信息的特点

732语义三角形

733言语表示模型

734言语交互模型

74言语交互意图理解

741 言语交互意图理解的基本框架

742基于知识图谱的意图表示

743言语交互意图的计算过程

75实例

751领域知识图谱构建

752基本意图划分

753交互意图理解与计算

参考文献

第8章智能仿真与交互

81概述

82MR环境中的交互模型

821MR的界面范式

822MR的交互任务

823MR的交互设备

83智能仿真交互技术

831三维交互技术

832语音交互技术

833多通道交互技术

834面向增强现实的交互

84问题与展望

841存在的问题

842展望

参考文献

第9章交互式机器学习

91概述

92交互式机器学习系统框架

93领域应用

931推荐系统

932信息检索

933情境感知系统

94实例

941Crayons: 交互式的构造用于图像分割的像素分类器

942CueFlik:交互式的构造图片分类器

943ManiMatrix: 通过调整混淆矩阵训练个性化分类器

944EnsembleMatrix: 通过交互式地调整子分类器的权重构造集成分类器

945MindMiner: 交互式机器学习用于聚类分析中的距离度量学习

946SmartEye:交互式地对用户构图偏好进行建模

947ReGroup:交互式地为用户推荐相关的群组成员

948小结

95讨论与展望

参考文献

前言

人机交互（Human-Computer Interaction， HCI），作为一个术语，首次使用在由 Stuart K Card、Allen Newell 和 Thomas P Moran 撰写的著作The Psychology of Human-Computer Interaction（《人机交互心理学》）中，它是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。人机交互技术是计算机用户界面设计中的重要内容之一，与认知学、人机工程学、心理学等学科领域有密切的联系。

人机交互与人工智能是智能信息时代备受关注的两大重要研究领域。通过人机交互与人工智能发展历程可以发现，二者的关系从过去的此起彼伏逐渐变成了当下的相互促进，基于二者深度融合的典型应用也在教育、医疗等关键领域不断涌现。人机交互为人工智能提供了应用需求和研究思路，而人工智能也驱动了人机交互技术的发展和变革。放眼未来，人机交互与人工智能将保持当下这种相互促进、相互驱动的关系，从而更加深入地融合并协同发展。

从人机交互历史的发展规律来看，人机交互的发展模式可以归纳为技术的革新、范式的变迁、关键人和事件三者之间的关系：技术的革新导致范式的变迁，范式的变迁产生关键人和事件；而关键人和事件实现了范式的变迁，范式的变迁又进一步促进了技术的革新。伴随这一过程的结果是人机交互技术从概念提出到研究实现，再走向应用。

1997年，计算机“深蓝”战胜国际象棋冠军。这场“人机大战”是人机竞争的序幕，展现了一个新时代，即一个被称为“智能时代”的来临。随着深度学习方法成功应用于多个领域，人工智能迎来了第三个发展高潮。在最新的一场“人机大战”中，Google的人工智能AlphaGo打败了曾获得多项世界冠军的围棋高手李世石，再次揭开人们对“智能革命”的关注。另外，可穿戴设备等新的交互设备的出现，使得人机交互空间发生了极大变化。与此同时，语音分析、手势识别、运动跟踪、凝视控制等技术不断进步，使用心电图、声音、面部特征等独特个人特征的安全认证技术的发展，都在引导着人机交互技术的发展轨迹和范围。

本书从一个相对全面的角度对人机交互的相关概念、方法、技术和应用进行了介绍，希望能为从事人机交互研究、开发和应用的人员提供参考。

第1章为绪论。本章首先从人机交互的定义入手，介绍人机交互过去的发展历程以及人机交互的核心问题，之后对人工智能与人机交互交替沉浮、协同共进的关系进行了分析，最后探讨了智能人机交互的发展趋势。

第2章为智能人机交互基础理论。智能人机交互面临的一个关键问题是如何通过量化人类的感知、认知和运动执行能力，对交互行为进行建模，并预测人类在不同环境下与不同系统交互的行为表现。本章将分别对现有的主流模型进行阐释：用户认知模型对用户的感知、认知和决策过程进行建模；用户运动模型对用户的运动和执行能力进行建模；智能人机交互模型则对用户和机器的交互过程进行建模。

第3章为生理计算与交互。生理计算是人机交互领域的一个重要分支。本章首先介绍生理学的基础概念，紧接着介绍常用的生理信号采集和分析方法，然后分析在设计生理交互系统过程中应当考虑的问题，最后通过三类实例介绍经典的生理计算应用。

第4章为手势理解与交互。手势理解与手势交互是一个既有理论研究意义又有重要应用前景的挑战性问题，已引起了国内外研究者的广泛关注。本章以面向手势交互中的核心问题（包含手势理解与交互模型、人手检测与姿态估计、手势识别模型等）介绍代表性的工作和思路。

第5章为草图计算与交互。草图交互是重要的自然人机交互技术之一。草图作为一种具有抽象特性的形象化信息，是自然、直接的思维外化和交流方式，可以有效地描述用户意图，真实地反映用户个性化特点。本章首先介绍草图表征方法与认知模型，然后重点介绍草图智能处理技术，包括草图手势、草图研判以及草图补全，最后介绍基于草图交互的技术在视频操作方面的应用。

第6章为情感计算与交互。随着人工智能和人机交互技术的发展，人们对于如何使计算机能够识别用户的情感并进行智能反馈的应用需求越来越强烈，使得情感计算成为人机交互领域的主要研究内容之一。人类在进行社会活动时，与环境和人类个体之间不断进行着各种类型的情感交互，在这些交互活动中产生、传递着大量的情感信息。这些信息直接或间接地反映着人们在整个过程中的活动。与人类可以自然而然地进行情感的表达、领会和运用相比，对信息系统而言，情感是最难被分析、处理和加工的一类信息。本章将围绕着如何将人类情感引入人机交互系统这一问题展开，详细介绍人机情感交互的一些方法和技术。

第7章为言语计算与交互。言语交互已成为人与计算机之间交互的重要通道，也可看作智能时代“自然交互”的重要方式。本章首先介绍语音识别技术及其发展过程；然后建立言语表示模型，以及基于语义三角形的人机交互模型，刻画言语交互过程中的知识转移过程，实现人机之间知识空间的共享；在此基础上，重点介绍“开发(Exploitation)-探索(Exploration)融合”的言语交互意图理解和计算方法；最后通过金融审计领域的一个实例进行说明。

第8章为智能仿真与交互。MR（Mixed Reality，虚实融合）的核心是人机交互。MR未来的发展将走向网络化、智能化、泛在化，深化MR和人机交互的基础理论研究，支持云计算、移动互联网、人工智能、大数据技术等新一代计算技术与MR的融合将具有重大意义。本章首先介绍虚拟仿真环境下的界面范式、交互任务和交互设备，然后对包括三维交互、语音交互、多通道交互等在内的交互技术进行介绍。

第9章为交互式机器学习。本章首先介绍交互式机器学习界面范式，系统是如何通过界面使用户与机器学习模型进行交互从而优化算法的；其次介绍交互式机器学习在相关领域的应用（推荐系统、信息检索、情境感知系统），一些较为成熟的应用已经和人们的日常生活息息相关；接着通过回顾几个典型实例，总结了它们如何利用丰富的交互设计来实现人与机器有效沟通理解并实现高效学习；最后总结了交互式机器学习领域现存的开放性问题和未来的研究机遇。

本书在写作过程中，邓小明、朱嘉奇、何小伟、姚乃明等提供了相应帮助，在此表示感谢。

限于作者水平，本书难免会有疏漏和不足之处，敬请广大读者朋友批评指正。

作者2020年11月于北京