机器视觉与应用

在人工智能浪潮的大背景之下,机器视觉的应用广度已经覆盖各个行业，机器视觉与应用研究主要的目的是让计算机实时处理传感器感知信息、用图像和图像序列来识别和认知三维世界，最终达到让机器人或机器具有“视觉”功能，满足社会对机器的智能化需求。该书理论与实际结合，分享了机器视觉在物体识别和测量、实时3D环境建模以及机器人的视觉伺服应用解决方案。

机器视觉是自动化与机器人领域一项新兴技术，提高自动化装备的智能化水平。机器视觉让自动化装备具备视觉的功能，包括观测、检测和识别，提高自动化设备的柔性化和智能化水平。本书重在理论联系实际，介绍图像处理、机器人控制、视觉光源、光学成像、视觉传感、模拟与数字视频技术、机器视觉算法应用以及涉及软硬件技术。同时，围绕着机器人测量、抓取和导航定位应用案例和专题实验，系统介绍了当前视觉识别、视觉测量、伺服以及三维重构的新理论和新方法。

本书非常适合有兴趣深入研究机器视觉理论和技术应用的非电专业研究生或可供从事先进制造和智能控制研究与应用的科技人员及管理人员阅读参考。

　　曹其新，上海交通大学机械与动力工程学院教授，博士生导师。主要研究方向为机器视觉、机器人控制技术。曾发表EI&SCI论文150多篇，获得国家发明专利90多项、国家科技进步二等奖1项、吴文俊人工智能科学技术奖一等奖1项、省部级科技奖项5项。
　　
　　庄春刚，上海交通大学机械与动力工程学院副研究员，博士生导师。主要研究方向为机器视觉与控制。曾发表EI&SCI论文30多篇，获得国家发明专利10多项、上海市技术发明一等奖1项。

前言

第1章 绪论
1．1 机器视觉的发展及系统构成
1．1．1 机器视觉的发展
1．1．2 机器视觉系统的构成
1．2 Marr的视觉理论框架
1．2．1 视觉系统研究的3个层次
1．2．2 视觉信息处理的3个阶段
1．3 机器视觉任务和机器视觉与其他领域的关系
1．3．1 机器视觉任务
1．3．2 机器视觉与其他领域的关系
1．4 参考文献

第2章 成像与图像采集
2．1 亮度与成像
2．1．1 光度学
2．1．2 亮度成像模型
2．2 镜头
2．2．1 针孔成像模型
2．2．2 镜头畸变
2．2．3 远心与景深
2．3 摄像机
2．3．1 CCD传感器
2．3．2 CMOS传感器
2．3．3 彩色成像
2．3．4 摄像机性能
2．3．5 深度摄像机
2．4 摄像机-计算机接口
2．5 参考文献

第3章 图像预处理基础
3．1 数据结构
3．1．1 传统的图像数据结构
3．1．2 分层数据结构
3．2 图像预处理
3．2．1 灰度值变换
3．2．2 几何变换
3．2．3 图像滤波器
3．2．4 形态学操作
3．3 参考文献

第4章 图像分割和特征匹配
4．1 图像分割
4．1．1 阈值分割
4．1．2 连通域与边缘提取
4．1．3 亚像素精度阈值分割
4．1．4 基于区域的分割
4．1．5 基于3D图的图像分割
4．2 特征匹配
4．2．1 区域特征
4．2．2 几何元素的提取
4．2．3 轮廓特征
4．2．4 特征检测子
4．2．5 特征描述子
4．2．6 匹配优化算法
4．2．7 模板匹配
4．3 参考文献

第5章 立体视觉与三维重建
5．1 立体视觉概述
5．2 立体视觉的基本原理
5．3 三维重建
5．3．1 摄像机标定
5．3．2 机器人手眼标定
5．3．3 射影几何
5．3．4 多视图重建场景
5．3．5 双目摄像机与多目摄像机
5．3．6 深度图
5．4 参考文献

第6章 模式识别算法
6．1 支持向量机
6．2 贝叶斯分类器
6．3 聚类算法
6．4 神经网络基础
6．4．1 感知机与神经网络基础
……
第7章 机器视觉在物体识别与测量中的应用
第8章 视觉伺服的基础
第9章 机器视觉从容器中抓取零件的应用
第10章 机器视觉在无源导航与定位中的应用

　　机器视觉是一项综合技术，其内容涉及数字信号处理、机械工程技术、控制与光源照明技术、传感器技术、计算机软件技术和人机接口技术等。典型的机器视觉应用系统包括图像捕捉模块、光源模块、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。因此，机器视觉就是为智能设备安装的“眼睛”。机器视觉系统的鲁棒性、实时性、高速度和高精度是其实用性的重要指标。近年来，计算机的运算速度逐年提高，人们的生活消费方式、生产制造方式有了很大的变化，这给机器视觉应用技术带来了新的需求和挑战。
　　上海交通大学的“机器视觉与应用”课程开始于2001年，最早是面向该校机械工程学院机械电子工程专业研究生开设的选修课，是作为机器人学配套课程出现的。该课程主要在图像处理的基础上重点介绍机器视觉理论与算法，如图像预处理、立体视觉建模、运动视觉（或称为序列图像分析）、由图像灰度恢复三维物体形状、物体建模与识别方法，以及距离图像分析方法等。本书规避了图像处理涉及的大量数学公式，而是从应用案例人手，帮助读者掌握机器视觉技术并解决实际问题。
　　20年来，机器视觉应用技术一直在向更深、更高层次发展，特别是2010年以来深度学习解决了图像识别的一系列瓶颈问题，机器视觉应用也从单一视觉检测走向视觉定位、环境建模和对象识别的实用化方向。由于非电类专业出身的工程技术人员迫切希望掌握机器视觉技术并期待能灵活应用该项技术提高机器人和装备的智能化性能，因此，本书在系统地描述机器视觉的基本理论与方法时，重点介绍机器视觉应用系统涉及的新技术、新方法、新器件以及机器视觉的典型应用实例。本书内容包含计算机视觉与机器视觉的基本概念、光源技术、镜头技术、摄像机技术和典型接口技术，以及构成机器视觉系统的标定技术。同时，结合Matlab图像处理工具和OpenCV开源代码平台，绕开了烦琐的公式，介绍了机器视觉涉及的图像处理和模式识别技术。书中的主要应用案例分别来自作者指导过的张昊若、林敏捷、杨理欣几位研究生的学位论文，研究生倪培远和张悦也参与了本书的整理和编辑工作，在此表示感谢！
　　由于作者的水平有限，书中难免存在不足之处，请大家就如何完善本书提出宝贵意见，我们的联系方式是：qxcao@sjtu. edu. cn。