最近要做数字识别这块,但是自己又完全不懂这个,网上搜资料搜了好多,但是都没找到完整代码。只有自己慢慢搞,下面写下自己的过程以及代码有不好的地方希望大神可以指出,大家相互交流下。有需要完整代码的可以自行下载(源码里面 是需要自己做一个图片的,没有图片,不能直接运行)
git 源码
我是在VS2013 和opencv 2.4.9 环境下实现的。关于环境的搭建和配置以及软件的下载可以可以参考,http://blog.csdn.net/ltg01/article/details/50433386
我要做的是把0123456789 印刷体数字识别出来。
一、首先对图片进行预处理
对图片进行灰度化二值化
-
Mat src = imread(
"D:\\b.png", CV_LOAD_IMAGE_GRAYSCALE);
//读取图片并进行灰度化处理
-
threshold(src, src,
100 ,
255, CV_THRESH_BINARY);
//二值化
-
imshow(
"origin", src);
//显示图片
原图经过灰度二值化的图
Mat imread(const string& filename, int flags);
filename:文件地址 flags:标志,读取什么样(灰度,彩色)图像hdrtype:传入的为载入什么类型(enum {LOAD_CVMAT=0,LOAD_IMAGE=1, LOAD_MAT=2 };这三个中的一个。) Mat :保存图像的Mat对象了。
double threshold(InputArray src, OutputArray dst, double thresh, double maxval, int type)
参数信息:
第一个参数,InputArray类型的src,输入数组,填单通道 , 8或32位浮点类型的Mat即可。
第二个参数,OutputArray类型的dst,函数调用后的运算结果存在这里,即这个参数用于存放输出结果,且和第一个参数中的Mat变量有一样的尺寸和类型。
第三个参数,double类型的thresh,阈值的具体值。
第四个参数,double类型的maxval,当第五个参数阈值类型type取 THRESH_BINARY 或THRESH_BINARY_INV阈值类型时的最大值.
第五个参数,int类型的type,阈值类型,。
其它参数很好理解,我们来看看第五个参数,第五参数有以下几种类型
0: THRESH_BINARY 当前点值大于阈值时,取Maxval,也就是第四个参数,下面再不说明,否则设置为0
1: THRESH_BINARY_INV 当前点值大于阈值时,设置为0,否则设置为Maxval
2: THRESH_TRUNC 当前点值大于阈值时,设置为阈值,否则不改变
3: THRESH_TOZERO 当前点值大于阈值时,不改变,否则设置为0
4: THRESH_TOZERO_INV 当前点值大于阈值时,设置为0,否则不改变
二、对图片上的数字进行切割
图片经过二值化后每个像素点的值只有1和0两种,在这里黑色部分的像素点的值为0白色字体部分的值为1.
对图片
先进行列扫描求每列的和。刚开始是都是黑色所以每列的和都是0,知道扫描到3的左边缘的那列的时候因为有白色所以这列的和大于0,这时候记下当前位置left,然后接着扫描,接下来每列的和都大于0,直到3的右边缘时候这列和右等于0,记下当前位置right,则right减去left则是3的宽度,高度仍为原图的高度,这样通过函数
-
int width = right - left;
-
Rect rect(left, 0, width, src.rows);
-
leftImg = src(rect);
就可以把3截取出来了,如图
但是3的上下部分没有截取,同样对图片进行行扫描,截取上下部分,如下图
就这样循环截取图片就可以吧其他数字截取下来了,但是每次截取的原图是不一样的,第二次截取的时候原图上就没有3 是从6开始的如图
-
int cutLeft(Mat& src, Mat& leftImg, Mat& rightImg)//左右切割
-
{
-
int left, right;
-
left =
0;
-
right = src.cols;
-
-
int i;
-
for (i =
0; i < src.cols; i++)
-
{
-
int colValue = getColSum(src, i);
-
//cout <<i<<" th "<< colValue << endl;
-
if (colValue>
0)
-
{
-
left = i;
-
break;
-
}
-
}
-
if (left ==
0)
-
{
-
return
1;
-
}
-
-
-
for (; i < src.cols; i++)
-
{
-
int colValue = getColSum(src, i);
-
//cout << i << " th " << colValue << endl;
-
if (colValue ==
0)
-
{
-
right = i;
-
break;
-
}
-
}
-
int width = right - left;
-
Rect rect(left, 0, width, src.rows);
-
leftImg = src(rect).clone();
-
Rect rectRight(right, 0, src.cols - right, src.rows);
-
rightImg = src(rectRight).clone();
-
cutTop(leftImg, leftImg);
-
return
0;
-
}
-
-
void cutTop(Mat& src, Mat& dstImg)//上下切割
-
{
-
int top, bottom;
-
top =
0;
-
bottom = src.rows;
-
-
int i;
-
for (i =
0; i < src.rows; i++)
-
{
-
int colValue = getRowSum(src, i);
-
//cout <<i<<" th "<< colValue << endl;
-
if (colValue>
0)
-
{
-
top = i;
-
break;
-
}
-
}
-
for (; i < src.rows; i++)
-
{
-
int colValue = getRowSum(src, i);
-
//cout << i << " th " << colValue << endl;
-
if (colValue ==
0)
-
{
-
bottom = i;
-
break;
-
}
-
}
-
-
int height = bottom - top;
-
Rect rect(0, top, src.cols, height);
-
dstImg = src(rect).clone();
-
}
-
int main()
-
{
-
Mat src = imread(
"D:\\s.png", CV_LOAD_IMAGE_GRAYSCALE);
-
threshold(src, src,
100 ,
255, CV_THRESH_BINARY_INV);
-
imshow(
"origin", src);
-
-
Mat leftImg,rightImg;
-
int res = cutLeft(src, leftImg, rightImg);
-
int i =
0;
-
while (res ==
0)
-
{
-
char nameLeft[
10];
-
sprintf(nameLeft,
"%dLeft", i);
-
char nameRight[
10];
-
sprintf(nameRight,
"%dRight", i);
-
i++;
-
//stringstream ss;
-
//ss << nameLeft;
-
//imwrite("D:\\" + ss.str() + ".jpg", leftImg);
-
//ss >> nameLeft;
-
Mat srcTmp = rightImg;
-
//getSubtract(leftImg, 10);
-
res = cutLeft(srcTmp, leftImg, rightImg);
-
}
-
-
waitKey(
0);
-
return
0;
-
}
最后截取结果如下图
(截取的很清楚只是拖动的时候留下的划痕)
三、制作模板
模板的制作和步骤二完全一样,首先你要切割的图片的字体样式和大小要和模板的样式和大小一样(比如都是宋体,10号)要不然匹配的结果就不准确,而且把0123456789最好按顺序这样匹配的时候可以知道是匹配到那个数字,比如你切割下的数字和模板匹配的时候,匹配到第三个模板则知道是匹配的数字3(模板从第0个开始)。只需要改主函数
-
int main()
-
{
-
Mat src = imread(
"D:\\s.png", CV_LOAD_IMAGE_GRAYSCALE);
-
threshold(src, src,
100 ,
255, CV_THRESH_BINARY_INV);
-
imshow(
"origin", src);
-
-
Mat leftImg,rightImg;
-
int res = cutLeft(src, leftImg, rightImg);
-
int i =
0;
-
while (res ==
0)
-
{
-
char nameLeft[
10];
-
sprintf(nameLeft,
"%dLeft", i);
-
char nameRight[
10];
-
sprintf(nameRight,
"%dRight", i);
-
i++;
-
imshow(nameLeft, leftImg);
-
<strong>
stringstream ss;
-
ss << nameLeft;
-
imwrite(
"D:\\" + ss.str() +
".jpg", leftImg);
//保存截取图片做为模板
-
ss >> nameLeft;</strong>
-
Mat srcTmp = rightImg;
-
//getSubtract(leftImg, 10);
-
res = cutLeft(srcTmp, leftImg, rightImg);
-
}
-
-
waitKey(
0);
-
return
0;
-
}
四、数字识别
把你切割的数字图片大小调整到和模板一样的大小,然后让需要匹配的图和分别和10个模板相减,(让两个图片对应像素点值相减)然后求返回图片的整个图片的像素点值得平方和,和哪个模板匹配时候返回图片的平方和最小则就可以得到结果。只需要改主函数
-
void getPXSum(Mat &src, int &a)//获取所有像素点和
-
{
-
threshold(src, src,
100,
255, CV_THRESH_BINARY);
-
a =
0;
-
for (
int i =
0; i < src.rows;i++)
-
{
-
for (
int j =
0; j < src.cols; j++)
-
{
-
a += src.at <uchar>(i, j);
-
}
-
}
-
}
-
-
int getSubtract(Mat &src, int TemplateNum) //两张图片相减
-
{
-
Mat img_result;
-
int min =
1000000;
-
int serieNum =
0;
-
for (
int i =
0; i < TemplateNum; i++){
-
char name[
20];
-
sprintf_s(name,
"D:\\%dLeft.jpg", i);
-
Mat Template = imread(name, CV_LOAD_IMAGE_GRAYSCALE);
-
threshold(Template, Template,
100,
255, CV_THRESH_BINARY);
-
threshold(src, src,
100,
255, CV_THRESH_BINARY);
-
resize(src, src, Size(
32,
48),
0,
0, CV_INTER_LINEAR);
-
resize(Template, Template, Size(
32,
48),
0,
0, CV_INTER_LINEAR);
//调整尺寸
-
//imshow(name, Template);
-
absdiff(Template, src, img_result);
//
-
getPXSum(img_result, diff);
-
if (diff < min)
-
{
-
min = diff;
-
serieNum = i;
-
}
-
}
-
printf(
"最小距离是%d ", min);
-
printf(
"匹配到第%d个模板匹配的数字是%d\n", serieNum,serieNum);
-
return serieNum;
-
}
-
-
int main()
-
{
-
Mat src = imread(
"D:\\s.png", CV_LOAD_IMAGE_GRAYSCALE);
-
threshold(src, src,
100 ,
255, CV_THRESH_BINARY_INV);
-
imshow(
"origin", src);
-
-
Mat leftImg,rightImg;
-
int res = cutLeft(src, leftImg, rightImg);
-
int i =
0;
-
while (res ==
0)
-
{
-
// char nameLeft[10];
-
// sprintf(nameLeft, "%dLeft", i);
-
// char nameRight[10];
-
// sprintf(nameRight, "%dRight", i);
-
// i++;
-
imshow(nameLeft, leftImg);
-
// stringstream ss;
-
// ss << nameLeft;
-
// imwrite("D:\\" + ss.str() + ".jpg", leftImg);
-
// ss >> nameLeft;
-
Mat srcTmp = rightImg;
-
getSubtract(leftImg,
10);
//数字识别
-
res = cutLeft(srcTmp, leftImg, rightImg);
-
}
-
-
waitKey(
0);
-
return
0;
-
}
运行最终结果如下图
转载:https://blog.csdn.net/LTG01/article/details/50492556