人机交互情感测量与预测旨在通过赋予机器（如计算机、机器人等）识别、理解和表达人的情感的能力，使机器具有更高的智能。本书深度融合神经人因学、情感化设计以及人机交互等理论和方法，介绍如何利用问卷调查、眼动追踪、生理测量、脑电测量、行为观察等实验手段以及统计分析、数学建模等方法，测量和预测人机交互中的用户情感。
本书的出版对于提高我国智能交互产品的情感化设计水平与量化评测能力，进一步推动人工智能产业的发展有重要意义。
本书的主要读者对象为管理学、计算机科学、工业设计、心理学、认知神经科学等相关专业的科研人员、教师、研究生、本科生以及人机交互领域的从业者。
自2010年师从东北大学郭伏教授攻读博士学位以来，作者一直致力于人机交互领域的情感测量与预测研究。本书总结了十多年来作者在多模态情感测量与预测方面的研究心得，包括研究选题、实验设计、数据处理与数据分析，旨在拓展和丰富情感化设计以及人机交互设计理论与方法，为相关研究人员和从业人员提供理论和方法参考。随着基于网络摄像头的眼动及表情分析技术的出现、传感器技术的发展以及可穿戴设备的普及，本书所提方法有助于人机交互系统动态识别用户情感需求，从而建立情感自适应人机交互界面，提升人机交互系统用户体验水平，实现人机情感共融。
本书结合具体研究案例，系统阐述了如何采用问卷调查、眼动追踪、生理测量、脑电测量、行为观察等实验手段以及统计分析、数学建模等方法，测量和预测人机交互中的用户情感。
本书的特点是突出前沿性、科学性、知识性和适用性，从具体研究案例出发，力求深入浅出、通俗易懂，使读者能够在获取专业知识的基础上，学会应用多模态情感测量及数据分析方法。
本书在成稿过程中得到了东北大学工商管理学院郭伏教授、美国普渡大学（Purdue University）Robert W.Proctor教授和Vincent G.Duffy教授的指导和帮助。安徽工程大学丁一博士，青岛理工大学刘玮琳博士等合作伙伴也在研究案例方面提供了很多帮助。研究生张赟等人参与了部分资料收集工作。家人特别是邹泊柠小朋友在我撰写此书期间给予了充分理解和支持。本书出版获得了国家自然科学基金项目（71701003），安徽省自然科学基金面上项目（2208085MG183），安徽高校自然科学研究重点项目（KJ2021A0502），安徽省社会科学创新发展攻关研究课题（2021CX075），以及安徽省认知神经科学科研创新团队（2022AH010060）的支持，特此致谢。
由于作者的理论与实践水平有限，虽然几易其稿，但仍难免存在不足之处，欢迎读者批评指正。
作者
序
前言
第1章人机情感交互概述
1.1人机交互概述
1.1.1人机交互的概念和发展阶段
1.1.2人机交互情感测量与预测概述
1.2人机交互情感测量与预测研究进展可视化分析
1.2.1数据来源与分析工具
1.2.2文献出版情况分析
1.2.3研究主题分析
1.3人机交互情感测量与预测基本模型
第2章人机交互中的主观情感测量与分析
2.1主观情感概述
2.1.1主观情感的基本理论
2.1.2情感测量量表
2.2人机交互中主观情感研究案例
2.3人机交互中主观情感研究基本模型
2.3.1BMSEA-HCI模型
2.3.2理论模型构建方法
2.4人机交互中主观情感测量方法
2.4.1调查问卷设计方法
2.4.2数据收集方法
2.4.3问卷信度与效度分析方法
2.4.4共同方法偏差检验方法
2.5人机交互中主观情感分析方法
2.5.1主观情感数据预处理方法
2.5.2数据整理与展示方法
2.5.3数据统计分析方法
2.5.4皮尔逊（Pearson）相关分析
2.5.5多元线性回归分析
2.5.6中介效应分析
第3章基于外部表现的人机交互情感测量与分析
3.1情感外部表现概述
3.1.1情感外部表现
3.1.2情感外部表现分析与识别软件
3.2人机交互中外部表现情感测量研究案例
3.3人机交互中外部表现情感测量方法
3.3.1变量选择方法
3.3.2刺激设计方法
3.3.3被试数量计算与选择方法
3.3.4测量工具与量表
3.3.5视角计算方法
3.3.6被试间设计实验程序
3.4人机交互中外部表现数据分析方法
3.4.1异常值检测和处理方法
3.4.2行为数据统计分析方法被试间实验设计结果双因素
方差分析
第4章基于眼动追踪的人机交互情感测量与分析
4.1眼动测量概述
4.1.1眼动基本模式
4.1.2眼动测量指标
4.2基于眼动追踪的人机交互情感测量研究案例
4.3人机交互中情感测量眼动追踪方法
4.3.1眼动实验被试选择方法
4.3.2眼动测量指标选取方法
4.3.3眼动追踪实验设备选取方法
4.3.4眼动仪校准方法
4.3.5眼动实验流程
4.4人机交互中眼动数据分析方法
4.4.1眼动数据可视化分析
4.4.2眼动数据统计分析方法被试内实验重复测量双因素方差分析
第5章基于脑电信号的人机交互情感测量与分析
5.1EEG和ERP概述
5.1.1EEG概述
5.1.2ERP概述
5.2脑电测量技术
5.2.1测量脑的电磁活动的方法
5.2.2基于脑血流动力学的脑神经活动测量方法
5.3人机交互脑电情感测量研究案例
5.4人机交互脑电情感测量方法
5.4.1脑电被试选择方法
5.4.2EEG/ERP脑电实验设备选择方法
5.4.3脑电实验环境设置
5.4.4情感测量脑电实验范式选择方法
5.4.5情感测量脑电刺激材料设计与呈现方法
5.4.6脑电实验流程
5.5人机交互脑电情感测量数据分析方法
5.5.1脑电信号预处理
5.5.2EEG情感特征提取
5.5.3ERP情感特征提取
5.5.4脑电数据统计分析方法三因素混合设计方差分析
第6章基于生理信号的人机交互情感测量与分析
6.1生理测量概述
6.1.1自主神经系统
6.1.2生理测量指标
6.1.3生理测量实验设备介绍
6.2人机交互生理情感测量研究案例
6.3人机交互生理情感测量方法
6.3.1生理测量被试选择方法
6.3.2生理测量指标及实验设备选择方法
6.3.3生理测量实验流程
6.4人机交互生理情感数据分析方法
6.4.1生理信号预处理
6.4.2生理信号情感特征提取
6.4.3生理数据统计分析方法配对样本t检验
第7章基于多模态测量的人机交互情感测量与分析
7.1人机交互多模态情感测量研究案例
7.2人机交互多模态情感测量方法
7.2.1多模态情感测量一般实验程序
7.2.2多模态情感测量量表和设备选择
7.2.3多模态情感测量方法应用实例
7.3人机交互多模态情感分析方法
7.3.1多模态情感数据标准化方法
7.3.2多模态情感数据统计分析方法
第8章多模态数据驱动的人机交互情感预测
8.1多模态情感特征降维方法
8.1.1情感特征选择
8.1.2情感特征抽取
8.2多模态情感预测方法
8.2.1支持向量机
8.2.2深度神经网络
8.2.3模型性能评价指标
8.3人机交互多模态情感预测研究案例
8.4人机交互中多模态情感预测方法
8.4.1人机交互情感刺激集和情感意图集
8.4.2选择多模态情感测量指标集
8.4.3基于多模态情感测量的情感意图实验
8.4.4人机交互多模态情感预测模型深度神经网络模型
参考文献
书单推荐
