一种基于SIFT和DDIS的智能立体仓库货物自动识别方法

Submitted by neurta on Mon, 02/24/2020 - 10:24
sift,三维建模

权利要求书

1.一种基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,包括以下步骤:

S1、采集待匹配货物图像,将所述待匹配货物图像进行预处理,得到预处理图像;

S2、对所述预处理图像进行目标提取,得到匹配模板图像;

S3、采用SIFT特征匹配法对所述匹配模板图像与图像库进行粗匹配,并进行匹配对数判别;

S4、采用DDIS模板匹配法对无法识别的所述匹配模板图像与图像库进行精匹配。

2.根据权利要求1所述基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S1的所述待匹配货物图像的预处理过程包括调整图像大小和图像二值化。

3.根据权利要求2所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S1中先调整图像大小,后进行图像二值化。

4.根据权利要求3所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S1中调节图像大小之后进行图像灰度化,图像灰度化之后进行图像二值化。

5.根据权利要求1所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S1采用仓库专用相机采集所述待匹配货物图像。

6.根据权利要求1所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S2采用主轴法对所述待匹配货物图像提取目标的最小外接矩形。

7.根据权利要求1所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S3中降低匹配阈值。

8.根据权利要求1所述的基于SIFT和DDIS的智能立体仓库货物自动识别方法,其特征在于,步骤S4中,匹配得分最高的即为匹配结果;若匹配对数不少于2对,则判别是否仅有一个最大匹配对数的图像,若是,则输出匹配结果,若否,则将几个相同最大匹配对数的图像进行DDIS模板匹配法精匹配,匹配得分最高的即为匹配结果。

说明书

一种基于SIFT和DDIS的智能立体仓库货物自动识别方法

技术领域

本发明涉及图像识别方法领域,特别是一种基于SIFT和DDIS的 智能立体仓库货物自动识别方法。

背景技术

大量制造企业开始推进智能制造,其中就包括智能工厂、智能物流等涉及智能立体仓库仓储运输管理技术的应用,其中智能立体仓库中货物自动识别模块是整个系统中占比重很大的一部分。目前,已经应用于智能立体仓库的自动识别技术有:条码识别技术、磁卡(条)识别技术、RFID无线射频识别技术、机器视觉图像识别技术等。但由于纸质标签易损坏、易遮挡,电子标签价格昂贵、系统集成稳定性差、在国内无统一标准,且标签并不是货物的固有属性,我们也不是仅靠标签来识别货物的,所以根据货物本身的特点,采用机器视觉技术,通过图像匹配的方法提取货物本身的特征信息,对货物进行自动识别入库,可以有效地避免贴标签所带来的一系列问题。

目前,已有研究者将机器视觉自动识别技术应用于智能立体仓 库,主要分为基于模板的图像匹配自动识别技术和基于特征的图像匹 配自动识别技术。但这些方法在进行图像匹配时仅考虑了货物形状或 进行简单的数字识别,不能满足真实货物图像复杂度高的情况。近年 来,由于三维深度传感器(如Kinect、激光雷达、结构光传感器)的 出现,研究者提出基于点对特征描述子的三维物体识别与定位方法, 识别效果较好,但该方法对硬件设备要求高,成本较高。

基于特征匹配和基于模板匹配方法虽然已成功应用到图像拼接、 目标检测和汽车车型自动识别等任务上,且均获得了优越的性能,但 应用于智能立体仓库货物识别领域的方法很少,主要问题在于仓库光 照,背景等环境复杂,货物形态、种类极为复杂,使得货物特征很难 提取,识别任务十分具有挑战性,仍无法达到较好的识别效果。因此, 亟需一种能较好识别仓库货物的识别方法。

发明内容

有鉴于此,本发明的目的在于提供一种基于SIFT和DDIS的智能 立体仓库货物自动识别方法。

尺度不变特征变换法(Scale InvariantFeature Transform,SIFT)。

可形变多相似性度量方法(Deformable Diversity Similarity, DDIS)。

本发明的目的采用以下技术方案实现:

一种基于SIFT和DDIS的智能立体仓库货物自动识别方法,包 括以下步骤:

S1、采集待匹配货物图像,将待匹配货物图像进行预处理,得到 预处理图像;

S2、对预处理图像进行目标提取,得到匹配模板图像;

S3、采用SIFT特征匹配法对匹配模板图像与图像库进行粗匹配, 并进行匹配对数判别;

S4、采用DDIS模板匹配法对无法识别的匹配模板图像与图像库 进行精匹配。

在本发明的其中一种具体实施方式中,步骤S1的待匹配货物图 像的预处理过程包括调整图像大小和图像二值化。

在本发明的其中一种具体实施方式中,步骤S1中先调整图像大 小,后进行图像二值化。

在本发明的其中一种具体实施方式中,步骤S1中调节图像大小 之后进行图像灰度化,图像灰度化之后进行图像二值化。

在本发明的其中一种具体实施方式中,步骤S1采用仓库专用相 机采集待匹配货物图像。

在本发明的其中一种具体实施方式中,步骤S2采用主轴法对待 匹配货物图像提取目标的最小外接矩形。

在本发明的其中一种具体实施方式中,步骤S3中降低匹配阈值。

在本发明的其中一种具体实施方式中,步骤S4中,匹配得分最 高的即为匹配结果;若匹配对数不少于2对,则判别是否仅有一个最 大匹配对数的图像,若是,则输出匹配结果,若否,则将几个相同最 大匹配对数的图像进行DDIS模板匹配法精匹配,匹配得分最高的即 为匹配结果。

相比现有技术,本发明的有益效果在于:

对待匹配货物图像进行目标提取作为匹配模板图像,通过提取适 应仓库环境,对旋转、亮度等保持不变性,对视角变化、仿射变换、 噪声也保持一定程度的稳定性的SIFT特征,对货物进行匹配识别, 识别不受仓库环境影响,对于特征匹配仍然识别不了的图像采用耗时 稍多但匹配精度更高且不受光照、噪声不变,形变、背景特性影响的 DDIS模板匹配法进行精匹配。通过SIFT特征匹配与DDIS模板匹配 方法相结合,能将复杂货物图像准确地识别出来,通过对待匹配货物 图像的预处理以及目标提取,减少了识别时间,满足仓库要求的实时 性。

附图说明

图1是本发明方法实现的货物图像识别方法总体流程框图。

图2是匹配模板图像的提取方法流程图。

图3为采用DDIS模板匹配法的具体过程。

图4为本发明方法实现的货物图像识别方法详细流程图。

具体实施方式

下面详细描述本发明的具体实施方式,具体实施方式的示例在附 图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或 具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例 性的,仅用于解释本发明,而不能理解为对本发明的限制。

本具体实施方式提出了一种基于SIFT和DDIS的智能立体仓库 货物自动识别法,以下结合附图对本发明进行进一步详细说明。

如图1所示,本具体实施方式的自动识别方法采用两个阶段进 行,第一个阶段包括待匹配图像采集、预处理、匹配模板图像提取、 SIFT特征匹配和匹配对数判别,对于未识别的图像采用第二阶段 DDIS模板匹配。

待匹配图像的采集利用仓库专用相机,将其固定放置于货物入/ 出库识别口的正上方。采用仓库专用相机,在仓库环境中成像清晰, 减少待匹配货物图像的预处理工作量,便于匹配模板图像的提取以及 特征匹配。

仓库专用相机可为但不限于海康威视仓库专用相机 DS-2CD2725F-IZ或DS-2CD2725F-IZS。

预处理包括调整图像大小和二值化。由于采用仓库专用相机拍摄 的图像清晰度比较高,像素大,但图像太大会增加匹配时间,影响立 体仓库的实时性,因此调整图像大小为356*256。再将灰度图像转换 为二值图像,使图像中背景为黑色,目标为白色,从而突出图像目标, 便于提取目标的最小外接矩形。调整图像大小后将图像转换为灰度图 像,便于后续操作,减少处理时间。

为了避免货物图像中背景对货物识别造成的影响和减少图像匹 配时所需计算的图像面积大小,从而缩短运行时间,对图像进行目标 提取,并裁减出来作为匹配模板图像。

如图2所示,先对图像目标采用寻找主轴法进行最小外接矩形提 取,即将图像看作一块密度均匀的薄板,不考虑其厚度,利用重心原 理确定水平和垂直主轴的初始位置,寻找旋转中心和初始外接矩形, 以确定的间隔和方向旋转初始外接矩形,最终获得图像目标的最小外 接矩形。此方法确定图像目标矩形边较容易,旋转次数少,运算速度 快。由于大多数目标对象得到的MBR并非正立,影响裁剪效果,故 将图像进行旋转,使得到的最小外接矩形呈正立。由目标最小外接矩 形可得矩形从左上角开始顺时针四个顶点分别为A(x1,y1)、B(x2,y2)、 C(x3,y3)、D(x4,y4),旋转角度θ表示为:

 

 

将图像逆时针旋转θ度,便可得到 正立矩形的图像。再根据矩形的顶点A(x1,y1),和矩形的两邻边长 

 

裁剪目标图像,得到匹 配模板图像。

为了满足仓库复杂环境下货物图像的特征要求,所提取的特征需 对旋转、亮度等保持不变性,对视角变化、仿射变换、噪声也要保持 一定程度的稳定性,选用SIFT特征,它是一种非常稳定的局部特征。 对模板图像与图像库进行SIFT特征匹配法粗匹配,并将匹配阈值设 置由原来的0.8降低为0.7,增加了匹配对数,提高识别准确率。

由于图像中能找到的SIFT特征点总是有限且不多的,就有可能 匹配不到目标图像,或者匹配到特征点对数相同的几幅图片。此时, 对SIFT特征匹配法未能识别的图像,选用DDIS模板匹配法进行精 匹配。

如图3所示。SIFT特征匹配过程中,进行匹配对数判别,若匹 配对数少于2对,则输出未找到匹配图像,进入第二阶段优化后的 DDIS模板匹配法精匹配,匹配得分最高的为匹配结果,匹配结束; 若SIFT特征匹配结果仅有一个最大匹配对数的图像,即只有一个最 匹配的图像,则输出匹配结果,匹配结束;若不止一个最大匹配对数 的图像,则进入第二阶段,将待匹配图像与第一阶段得到的几个最大 匹配对数相同的图像进行优化后的DDIS模板匹配,匹配得分最高的 图像即为匹配结果。

本具体实施方式对DDIS模板匹配法进行了优化,在模板图像提 取模板框时,采用了通过图像目标的最小外接矩形自动计算模板框、 目标框大小及位置来代替实验前手动提取目标矩形框参数并调入实 验的方法,减少了大量前期工作。

本具体实施方式的货物图像识别方法详细流程如图4所示,对仓 库货物图像进行SIFT特征匹配与DDIS模板匹配方法相结合,能将 复杂货物图像较准确地识别出来,通过对模板图像的最小外接矩形提 取以及调整图像大小,也大大减少了识别所需时间,满足仓库要求的 实时性。

上述实施方式仅为本发明的部分优选实施方式,不能以此来限定 本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何 非实质性的变化及替换均属于本发明所要求保护的范围。