人与机器听觉：听见声音的意义

　　《人与机器听觉：听见声音的意义》由谷歌首席科学家Lyon撰写，是一部关于听觉研究的系统性学术著作。
　　《人与机器听觉：听见声音的意义》中提出利用CARFAC模型模拟耳蜗对声音信号的分析，利用带有精细时序结构的SAI表征听觉神经模式，明确反对将耳蜗视作傅里叶频率分析器的做法。
　　《人与机器听觉：听见声音的意义》内容系统且全面，涵盖人类听觉原理、机器听觉理论、精密听觉模型建模和机器听觉应用实例，还包括对听觉研究史上的标志性人物及事例的介绍。
　　《人与机器听觉：听见声音的意义》对数学原理的阐释脉络清晰，并配有算法源码，适合相关领域的技术人员和研究人员参考，也适合作为高等院校相关研究生课程的教材。
　　《人与机器听觉：听见声音的意义》构建了一套完整的听觉理论框架，具有鲜明的学术观点和创作特色：
　　创造性地提出利用CARFAC模型模拟耳蜗对声音信号的分析，利用带有精细时序结构的SAI表征听觉神经模式，强调将听觉模型引入机器听觉应用，反对将耳蜗视作傅里叶频率分析器的做法。
　　将听觉系统划分为四层，在底层听觉过程模拟的基础上探索高层信息处理机制并验证模型的有效性，为远近场模型等问题的解决以及CASA等技术的落地提供理论支撑，同时拓展了研究思路。
　　全面涵盖人类听觉原理、机器听觉理论、精密听觉模型建模方法以及利用机器学习方法构建的应用实例，不仅对研究现状进行了系统梳理，而且穿插着对听觉研究史上标志性人物和事例的介绍。
　　对听觉问题的阐释直击本质，对相关数学表述及推导过程的讲解尤为清晰明了，无须复杂的专业知识也能逐步理解。此外，所有听觉处理算法均配有可免费下载的源代码，便于读者实践。

　　理查德·F.里昂（Richard F．Lyon），谷歌公司首席科学家，IEEE Fellow，ACM Fellow。他目前主要负责谷歌机器听觉方向的研发工作，其团队开发了用于谷歌街景的相机系统。他的研究兴趣包括用于声音分析及可视化的耳蜗模型和听觉相关谱图，以及这些模型的模拟电路及VLSI数字实现。在加入谷歌之前，他曾在施乐公司、斯伦贝谢公司和苹果公司从事相关研发工作。此外，他还拥有包括光电鼠标在内的58项美国发明专利授权。
　　
　　朱维彬，博士，北京交通大学信息科学研究所副教授，主要从事言语信息处理理论及应用研究，涉及语义的言语表现及计算、言语情感分析及建模。曾在IBM中国研究中心任研究员，从事语音声学模型、韵律建模和言语数据库的研究。
　　
　　高莹莹，博士，毕业于北京交通大学信息科学研究所，研究方向为言语情感生成建模。现就职于中国移动研究院人工智能与智慧运营中心，主要从事语音识别、端到端一体化建模的研究。

　　★对于机器听觉来说，本书是一部全面的参考指南。Lyon在此领域耕耘数十载，对机器听觉的科学与艺术有着非凡且深刻的见解，无论是通读全书还是随手翻阅，相信读者一定会从中受益匪浅。
　　——Roy D.Patterson，神经科学家，曾任剑桥大学听觉神经基础研究中心（CNBH）主管
　　
　　★如果你想了解精彩纷呈的听觉研究史，或者想学习听觉技术，那么不要错过本书。如果你想构建一部会“听”的机器，那么必须拜读本书。
　　——William Yost，著有Fundamentals of Hearing： An Introduction
　　
　　★作为领域专家，Lyon写了一本无与伦比的好书，涵盖听觉神经科学与建模方面的重要技术和前沿成果，是广大学生和专业人员期待已久的理想之作。
　　——Daniel J.Levitin，著有This is Your Brain on Music

译者序
序言
前言
关于作者

第一部分 声音分析与表征概述
第1章 引言
1．1 DavidMarr论视觉与听觉
1．2 自上而下与自下而上分析
1．3 神经模拟方法
1．4 听觉图像
1．5 耳朵是频率分析器吗
1．6 第三音
1．7 声音理解与意义提取
1．8 机器视觉与机器学习技术的利用
1．9 本书的内容安排
第2章 听觉理论
2．1 一种“新”的听觉理论
2．2 更新的听觉理论
2．3 主动与非线性听觉理论
2．4 听觉三元理论
2．5 听觉图像理论
第3章 对数及幂律听觉
3．1 对数与幂律
3．2 对数频率
3．3 对数功率
3．4 Bode图
3．5 感知映射
3．6 恒Q值分析
3．7 对数应用注意事项
第4章 人类听觉概述
4．1 人机对比
4．2 听觉生理学
4．3 听觉中的关键问题
4．4 响度
4．5 临界频带、掩蔽与抑制
4．6 音高感知
4．7 音色
4．8 协和与不协和
4．9 语音感知
4．10 双耳听觉
4．11 听觉流
4．12 非线性
4．13 后续建议
第5章 声学方法与听觉修正
5．1 声音、语音与音乐建模
5．2 短时谱分析
5．3 谱的平滑与变换
5．4 源一滤波器模型与同态信号处理
5．5 摆脱对数
5．6 听觉频率尺度
5．7 mel频率倒谱
5．8 线性预测编码
5．9 PLP与RASTA
5．10 自动语音识别中的听觉技术
5．11 必要的改进

第二部分 听觉的系统理论
第6章 线性系统引言
6．1 平滑：恰当的起点
6．2 线性时不变系统
6．3 滤波器与频率
6．4 微分方程与齐次解
6．5 冲激响应
6．6 因果性与稳定性
6．7 卷积
6．8 本征函数与传递函数
6．9 频率响应
6．10 变换与运算方法
6．11 有理函数及其零极点
6．12 传递函数增益与相位的图解计算
6．13 卷积定理
6．14 级联、并联与反馈结构中滤波器的互联
6．15 总结及后续安排
第7章 离散时间与数字系统
7．1 计算机模拟系统
7．2 离散时间线性移不变系统
7．3 冲激响应与卷积
7．4 离散时间系统中的频率
7．5 Z变换及其逆变换
7．6 单位超前算子与单位延迟算子
7．7 滤波器与传递函数
7．8 采样与混叠
7．9 自连续时间系统的映射
7．10 滤波器设计
7．11 数字滤波器
7．12 多输入输出
7．13 傅里叶分析与频谱图
7．14 观点及拓展阅读
第8章 谐振器
……

第三部分 听觉外周
第四部分 听神经系统
第五部分 机器学习及应用

中英文术语对照表
参考文献

　　人类的听觉系统奇妙而又精密，几乎每时每刻都在运行，使我们感知周边发声的事物，获悉与人交谈的言语内容，或沉浸于令人愉悦的音乐旋律，对此我们习以为常，因为这似乎是我们与生俱来的能力。那么，听觉功能究竟是如何实现的？在好奇心的驱使下，200年前人们借助生理解剖就绘制出了堪称精美的耳蜗与螺旋神经节生理结构图，由此开启了波澜壮阔而又坎坷曲折的现代听觉理论与技术探索的征程。时至今日，带有听觉功能的各类机器越来越多地出现在我们的身边。为使机器具备与人类接近乃至超出人类的听觉能力，我们需要对人类如何感知声音有足够的了解。而这也正是本书作者Richard F.Lyon所极力推崇且一直实践的方法：通过模拟人的听觉过程，利用计算模型实现机器听觉。
　　纵览全书，本书在内容组织上有以下几个特点：
　　内容翔实，系统全面。本书涉及听觉研究的众多领域，包括：听觉感知与生理理论，以及刻画声波传导的声学理论；针对耳蜗建模所需的线性/非线性系统分析理论，以及耳蜗分布式滤波模型（CARFAC模型）；还有用以表征听觉神经传递模式的稳定听觉图像（SAI），以及两个以此为输入特征并利用机器学习方法构建的机器听觉应用实例。书中不仅有对听觉研究问题的全面梳理，还有对听觉研究史上标志性人物及其学术建树的介绍——这部分内容对于国内读者尤其难得。
　　见解深刻，观点鲜明。通过对听觉现象内在机制的解析，创造性地提出CARFAC模型以模拟耳蜗对声音信号的分析，以及带有精细时序结构的SAI以表征听觉神经模式，二者的结合完成了听觉信息处理前端的大部分任务，形成了书中听觉模型的两大亮点。作者对听觉建模问题进行了深入剖析，给出的结论有力且明确，并旗帜鲜明地对将耳蜗视作傅里叶频率分析器的做法表示批评，一再强调要将听觉模型引入机器听觉应用中，强调精细时序结构对听觉建模的重要性。
　　说理通透，实操性强。作者从事听觉研究近40年，对于听觉的本质有着敏锐的判断，对听觉问题的诠释由表及里，直达要点。为构建听觉计算模型，书中介绍了相关的数学表述及推导过程，由于已有具体概念作为铺垫，原理阐述特别清晰又不失严谨性。
　　比如针对在CARFAC模型中发挥重要作用的可调参零极点滤波器的介绍，整个环节丝丝相扣，脉络清晰明了，不需要信号与系统以及复变函数的知识背景，顺着书中章节就能轻松掌握。书中所涉及的听觉处理算法皆通过编程验证，且相应的代码都已开源，方便读者学习使用。