人体行为识别算法研究

　　行为识别是人工智能、计算机视觉等领域的热点与重点研究问题，旨在对图像、视频数据中的人体行为进行分析识别，其研究成果在安全监控、老年人和病人监护、视频索引与检索、人机交互、物联网等方面得到了广泛应用。然而，现有行为识别技术对解决某些实际应用问题却力有不逮。为解决一些实际问题，《人体行为识别算法研究》针对如下四个关于视频中人体行为识别问题展开了研究，即：在特定场景下，当某些行为的样本极难收集时，如何利用极少的样本快速地对特定行为进行有效识别；在比较复杂但行人可检测的场景中，如何有效地对特定行为进行识别；在比较复杂但行人可检测的场景中，如何快速有效地对多类行为进行识别；在不能有效定位行人的复杂场景中，如何有效地对多类行为进行识别。
　　《人体行为识别算法研究》从实际应用问题出发，以模式识别、机器学习、深度学习等理论为基础，开展了一系列创新性的研究，并针对上述问题给出了相应的解决方案。

　　裴利沈，女，河南濮阳人，中共党员，2016年毕业于电子科技大学，获得博士学位。现任河南财经政法大学计算机与信息工程学院专职教师，主讲课程有数据结构、操作系统原理等。主要研究方向为计算机视觉、机器学习、行为识别等。近年来主持国家自然科学基金项目、省部级项目等多项，发表相关学术论文十余篇。

第1章 绪论
1．1 研究背景及意义
1．2 研究现状及存在问题
1．2．1 人体行为识别概述
1．2．2 人体行为的表征方法
1．2．3 人体行为的分类方法
1．3 研究内容及创新点
1．3．1 主要研究内容
1．3．2 主要创新点
1．4 本书的组织结构

第2章 基于单样本的行为识别与检测
2．1 相关研究及问题形成
2．2 方法概述
2．3 基于霍夫空间投票的行为表征
2．3．1 兴趣点提取
2．3．2 兴趣点匹配
2．3．3 匹配点对投票
2．3．4 位移直方图归一化
2．4 基于运动估计的行为检测
2．4．1 运动区域估计
2．4．2 行为匹配
2．4．3 行为定位
2．5 实验
2．5．1 行为表征的有效性
2．5．2 单实例行为检测
2．5．3 多实例行为检测
2．5．4 行为分类识别
2．5．5 时间复杂度
2．6 本章小结

第3章 基于时空特征学习的行为识别
3．1 相关研究及问题形成
3．2 方法概述
3．3 基于神经网络的时空特征学习
3．3．1 行为跟踪序列
3．3．2 视频块形状特征
3．3．3 多RBMs神经网络层
3．3．4 时空特征
3．4 基于SVM分类器的行为识别
3．5 实验
3．5．1 UCF Sports行为数据库
3．5．2 Keck Gesture数据库
3．5．3 KTH行为数据库
3．6 本章小结

第4章 基于倒排索引表的快速多类行为识别
4．1 相关研究及问题形成
4．2 方法概述
4．3 基于行为状态序列的行为表征
4．3．1 预处理
4．3．2 行为状态二叉树
4．3．3 行为状态序列表征
4．4 基于倒排索引表的行为识别
4．4．1 倒排索引表
4．4．2 行为识别的分值向量
4．4．3 权重学习
4．5 实验
4．5．1 Keck Gesture数据库
4．5．2 Weizmann行为数据库
4．5．3 KTH行为数据库
4．5．4 UCF Sports行为数据库
4．5．5 时间复杂度
4．6 本章小结

第5章 基于时间缓慢不变特征学习的行为识别
5．1 相关研究及问题形成
5．2 方法概述
5．3 时间缓慢不变特征学习及池化
5．3．1 空间特征学习
5．3．2 空间特征的可视化
5．3．3 时空特征的池化处理
5．4 基于BOF的行为表征及识别
5．5 实验
5．5．1 实验设置
5．5．2 实验细节描述
5．5．3 实验结果与分析
5．6 本章小结

第6章 总结及展望
6．1 全书总结
6．2 未来展望

参考文献

　　行为识别是计算机视觉、机器学习、人工智能等领域的热点与重点研究问题。该问题对图像、视频数据中的人体行为进行分析识别，其研究成果在安全监控、老年人和病人监护、视频索引与检索、人机交互和物联网等方面得到了广泛应用。然而，现有行为识别技术对解决某些实际应用问题却力有不逮。为解决一些实际问题，本书针对如下四个关于视频中人体行为识别问题展开研究。在特定场景下，某些行为的样本极难收集，如何利用极少的样本快速地对特定行为进行识别；在比较复杂但行人可检测的场景中，如何有效地对特定行为进行识别；在比较复杂但行人可检测的场景中，如何快速有效地对多类行为进行识别；在不能有效定位行人的复杂场景中，如何有效地对多类行为进行识别。
　　本书从实际应用问题出发，以模式识别、机器学习和深度学习等理论为基础，开展了一系列创新性的研究，并提出了如上四个问题的解决方法。本书的研究内容主要包括如下几个方面。
　　对特定场景下的特定行为，提出了基于霍夫投票的全局行为表征方法，即位移直方图序列表示法。该方法首先对行为视频中的运动区域进行粗略估计；然后根据运动区域中连续多帧图像中的兴趣点的匹配情况，使用二维的位移直方图表征这些连续图像中人体的运动信息；将行为表征为位移直方图序列之后，采用矩阵余弦相似度的度量方式对行为进行识别：对于识别的行为，匹配的兴趣点精确地定位了行为发生的时空位置。实验结果表明，在静态场景或背景均匀一致情况下，该方法能够有效地对特定行为进行检测识别。此外，该方法采用从粗到细的行为定位方式，有效地提高了行为的表征速度。该方法解决了在样本极少情况下，特定行为的识别与检测问题。
　　对比较复杂场景下，但行人可检测的特定行为，提出了一种在新视角下对人体行为进行时空特征学习的方法。该方法首先对行为人体进行检测与跟踪，并使用多限制玻尔兹曼机（RBM）对人体各部位的时序形状特征进行时空特征编码；然后将人体各部位的时空特征编码通过RBM神经网络整合为行为视频的全局时空特征表征；最后通过训练的支持向量机分类器对行为进行识别。大量实验验证了该方法的有效性。这种从视频侧面，即从人各部位的形状特征序列中提取时空特征的方法，开辟了行为特征提取的新视角。该方法解决了较复杂场景下，特定行为的识别问题。
　　对比较复杂场景下行人可检测的多类行为，提出了一种基于倒排索引表的快速的多类行为识别算法。该方法首先从检测与跟踪到的行为人体的兴趣区域中提取形状运动特征，并通过层级聚类的方法利用这些特征构建行为状态二叉树；基于状态二叉树，快速地将行为表征为行为状态序列。其次通过构建的行为状态倒排索引表与行为状态转换倒排索引表，计算行为状态序列对应于各行为类别的两个分值向量。最后根据加权的分值向量的累加和来识别行为。实验表明，该方法能够快速地识别多类行为。行为状态二叉树的应用，加快了对行为视频的行为状态序列表征；倒排索引表的使用，明显提高了多类行为的识别速度。该方法解决了较复杂场景下，多类行为的快速识别问题。
　　对不能有效定位行人的复杂场景中的多类行为，提出了一种基于独立子空间分析网络利用从视频中学习的空间特征对视频行为进行时空特征编码的方法，进行行为识别。首先，该方法利用引入规则化约束的独立子空间分析网络，学习了一组时间缓慢不变的空间特征；对从采样的视频块中提取的此类特征在时间域与空间域上进行池化处理，得到了能够有效地识别行为的局部时空特征。其次，基于Bag-Of-Features模型使用提取的局部时空特征对行为进行表征。最后，采用非线性的支持向量机分类器识别多类行为。实验结果表明，时间缓慢不变规则化约束与去噪准则的引入，使学习的空间特征及提取的局部时空特征对混乱背景和遮挡等因素具有较强的鲁棒性。该方法解决了复杂场景下，多类行为的识别问题。
　　本书受到如下多个科研项目的支持，中国国家自然科学基金（61806073，U1904119）、中国民航大学省部级科研机构开放基金（CAAC-ITRB-201607）、河南省重点研发与推广专项（科技攻关）项目基金（192102210097、192102210126、192102210269、172102210171）和河南省高校关键科学研究项目（18A520050）等。由于笔者水平有限，对于书中的不足和错误之处，恳请读者批评指正，有问题可邮件联系（651863271@qq.com）。