【摘要】为解决制鞋行业精度低、柔性差、生产效率低等问题，设计了一种基于机器视觉的鞋模喷胶系统。系统硬件由工业摄像头、工控机和路由器组成，软件由图像识别库OpenCV和图形界面应用开发框架Qt编程，部署在Linux操作系统上。实际测试表明，该系统可以对不同类型的鞋模进行喷胶，灵活性高、精度高，还可以对不同位置的鞋模进行喷胶，从而达到提高制鞋企业生产效率、节约成本的目的。
【关键词】机器视觉；图像处理；鞋模；喷胶；OpenCV夸脱
第0部分-简介
中国是制鞋大国，为全球鞋类市场提供60%的鞋类产品。随着“中国制造2025”的推进，工业机械手在制鞋行业得到广泛应用。喷胶是制鞋行业的重要工序，很多制鞋企业在生产过程中都使用工业机器人进行喷胶。目前大多数鞋厂采用程序化鞋模示教驱动机械手操作[1]，存在精度低、灵活性差、生产效率低等问题。由于每次手工教学时间长，鞋底种类多，教学效率低。另外，在实际生产过程中，鞋底放置位置不同，编程和教学的公差相对较小，所以喷涂精度不高，导致制鞋企业生产效率低。
随着电子技术和物联网技术的快速发展，计算机的计算速度突飞猛进，图像处理在工业中得到了广泛的应用。同时，工业机械手在制鞋行业也得到了大力推广和应用。如何将两者有效结合，找到高效的解决方案，是这个行业的一个热点。设计了一种基于机器图像处理的鞋模喷胶系统。该系统可以灵活驱动机器人喷胶，也可以处理不同类型的鞋底，具有公差大、精度高的特点。使用该系统可以提高制鞋企业的发电效益，促进传统制鞋企业逐步向智能工厂转型，从而提高我国制鞋行业的自动化水平。
第1部分-整体系统设计
1.1总体结构本文中鞋模喷胶系统的硬件主要由两台工控机、一台路由器和一台工业摄像机组成。为了控制成本，该机CPU采用英特尔奔腾J2900芯片，时钟为2.41 GHz，内存空间为2 GB，硬盘采用Sandisk/SanDisk MSATA3 SSD 16 GB。总的来说，这台机器性价比很高。路由器采用水星MW315R 300M机，适合稳定传输大图像。此外，工业相机选用Basler acA2500-14gm相机，通过GigE网线传输图像。每台机器的用途如下：
(1)工控机1，用于搭载鞋底喷胶教学软件；
(2)工控计算机2，用于运行图像处理组件，进行图像识别和计算处理；
(3)用于传输和转发数据的路由器；(4)工业相机，用于拍摄鞋模图像；(5)喷胶机械手。
此外，整个系统的软件组件部署在具有以太网功能的Ubuntu14.04操作系统上。该系统的软件组件主要包括两部分：图像处理组件，需要安装图像识别库OpenCV 2.4.13，用于识别计算鞋模图像，提取鞋底的车轮轮廓。喷胶教学组件，通过图形界面应用开发框架的Qt编程实现，主要用于展示鞋模轮廓，指导机械手根据轮廓喷胶。基于机器视觉的鞋模喷胶系统整体结构如图1所示。
图1:系统总体结构图
1.2工作流程
针对本文设计的机器视觉鞋模喷胶系统，在第一次操作时，用户需要将棋盘放置在工业相机下方进行相机标定。在后续操作中，机器传送带上的硬件装置不断触发摄像头拍照，并将采集到的图像传输到图像识别端。图像识别端获取图像后，通过算法提取鞋底轮廓，然后将摄像头坐标转换为世界坐标，再通过TCP/IP协议将轮廓数据发送给喷胶示教装置。收到数据后，演示者在其界面上显示鞋底的轮廓。最后，演示者引导机器人手根据鞋底轮廓喷胶。系统工作流程如图2所示。
图2:系统工作流程图
第2部分-系统实现
2.1摄像机标定的实现
摄像机标定的目的是将图像像素的水平和垂直坐标转换成机器人能够识别的世界坐标。该功能是通过图像处理组件和工业相机的合作来实现的。摄像机采集到黑白分布明显的棋盘格图像并传输到图像处理组件后，图像处理组件中的算法获取棋盘格图像中的角点信息和世界坐标，然后根据这些数据计算出摄像机内部参数系数、外部参数系数、图像旋转矢量和图像位移矢量。通过图像旋转矢量和图像位移矢量，可以得到摄像机坐标到世界坐标的转换参数，从而实现坐标转换。
其中，角点识别在图像处理部分由哈里斯角点检测算法完成。该算法的主要流程是取一个像素的邻域窗口迭代像素点，观察窗口内平均像素灰度值的变化。众所周知，在图像的平坦区域，角的所有方向都没有灰度变化；然而，在图像的边缘区域，角点在某个方向上有明显的灰度变化。
当窗口沿着边缘区域迭代到角度边缘，如发现窗 口各方向的平均像素灰度值有明显变化时，即认定该窗口所 覆盖的区域为图像上的角点。根据上述算法实际测试，可得 到棋盘格的角点如图 3 圆点所示。然而，上述算法找到的角点只能达到像素级别，为了使 标定参数更加精确，本文采用拟合法进一步提取亚像素角点 信息，通过拟合法将角点信息锁定在像素点后两位，实际 测试获取的精确角点像素信息如图 4 所示。另外，角点世界 坐标由世界坐标转换算法按照棋盘格格子大小与数量产生的序列网状坐标点获得。
图3：棋盘格角点图
图4：角点精确像素信息
2.2 图像识别实现
为了使图像的轮廓像素更易传输，本文采用点云数据处理技术。同时，为了减少干扰信息，本文系统将待处理的图 像从彩色图转换成灰度图。另外，为了使图像更加圆滑且轮 廓清晰，本文系统采用均值滤波对图像进行模糊化处理，实 际测试处理后的图像如图 5 所示。
图5：经过均值滤波后的鞋模
为进一步提取图像的关键内容，本文采用二值法 。该 方法主要由选定的阈值来确定图像黑白场，公式如下：
式中:255 表示白场;0 表示黑场;val 与 dst 分别为转换前 后的灰度值;thresh 为选定的阈值。
图像经过二值化处理后，大致可提取鞋模轮廓，但仍有 一些凹凸不平的花纹。为了消除这些干扰，本文系统采用漫水填充操作 。具体做法为:选取图像中的背景点，并找 到其连通区域，对其进行取反即可得到漫水填充图，具体如 图 6 所示。
图6：处理过程的鞋模图
将二值化处理后的鞋模图取反再叠加漫水填充后的鞋模 图，并采用 Canny 算法即可检测出鞋模轮廓 [8]，结果如图 7所示。
图7：鞋模轮廓图
获取鞋模轮廓后，将其相机坐标转换成世界坐标，并通 过网络传输协议将轮廓数据发送至示教客户端。
2.3 示教客户端实现
示教器客户端包含客户端连接设置、确认鞋模与示教机 械手三大功能。在连接设置中，用户可设置目标服务器(图像处理组件)的 IP 与端口。该功能实现的主要原理是 Socket 通信。首先，服务器端先初始化 Socket，然后与端口绑定(Bind)，并对 端口进行监听(Listen)，再调用阻塞函数 Accept，等待示教 器连接。当用户设置完服务器 IP 与端口后，点击连接服务 端按钮，示教器客户端随即初始化一个 Socket，然后连接服 务器(Connect)。如果 IP 与端口设置正确，即可成功连接上 服务器，当图像处理端有识别好的鞋模轮廓数据会立即传输 至示教客户端。
在确认鞋模的功能中，可实时显示鞋模轮廓的世界坐标，该功能采用绘点控件实现。控件的主要功能是将获取的点全 部显示在控件上，控件内部有一个点数组成员。初始化控件 时，主线程获取保存的点信息，并将其存入点数组成员中。程序运行过程中，点数组会一直被清空再重新被赋值，同时 控件也通过 Update 函数进行刷新，最终用户可在图像空间 看到获取到的鞋模轮廓图，示教器客户端如图 8 所示。
图8：示教器客户端
图示教机械手的主要功能是使喷胶示教器通过 TCP/IP 协议将鞋底轮廓世界坐标数据发送至机器手，机器手根据这些 坐标数据运动进行喷胶处理。
PART 3-结语
从制鞋行业出现的主要问题出发，本文提出了一种基于 机器视觉的鞋模喷胶系统设计方案。该系统能够灵活处理不 同摆放位置的鞋底，同时增高旋转的角度容差，从而提升鞋 底喷胶的精度。另外，由于不需要对鞋底编程示教，因此系 统的整体灵活性得到了显著提高。另外，整套系统人机交互 界面整洁，方便用户操作。目前，在国家对中国制造与智能 工厂的倡导下，本文系统已得到大力推广。当然，在图像识 别时还存在一些不足，如有噪点影响时需要人工干预，全程 自动化将是本文系统今后改进的方向。
作者简介:
tmdsw(1988—)，硕士，助教，研究方向为计算机软件、人工智能。
本文转载自物联网技术：智能处理与应用，如有侵权，请通知删除。
更多问题，可以扫码加微信chhfbluesky2009或者关注公众号“DLP投影”咨询。
添加时务必备注”称呼+单位信息“，否则不予通过。