团队 承接嵌入式linux软硬件开发、机器视觉 图像处理、网络流等项目

微信号：hgz1173136060http://blog.csdn.net/hgz_gs/article/details/51957651
原理：http://blog.csdn.net/zouxy09/article/details/7929348           http://www.xuebuyuan.com/582349.html
svm：http://blog.csdn.net/hgz_gs/article/details/51942480行人检测代码 HOG+svm：http://blog.csdn.net/pb09013037/article/details/41256945
http://blog.csdn.net/qianqing13579/article/details/46509037
行人检测DataSetsMIT数据库该数据库为较早公开的行人数据库，共924张行人图片（ppm格式，宽高为64x128），肩到脚的距离约80象素。该数据库只含正面和背面两个视角，无负样本，未区分训练集和测试集。Dalal等采用“HOG+SVM”，在该数据库上的检测准确率接近100%。INRIA数据库该数据库是目前使用最多的静态行人检测数据库，提供原始图片及相应的标注文件。训练集有正样本614张（包含2416个行人），负样本1218张；测试集有正样本288张（包含1126个行人），负样本453张。图片中人体大部分为站立姿势且高度大于100个象素，部分标注可能不正确。图片主要来源于GRAZ-01、个人照片及google，因此图片的清晰度较高。在XP操作系统下部分训练或者测试图片无法看清楚，但可用OpenCV正常读取和显示。Daimler行人数据库该数据库采用车载摄像机获取，分为检测和分类两个数据集。检测数据集的训练样本集有正样本大小为18x36和48x96的图片各15560（3915x4）张，行人的最小高度为72个象素；负样本6744张（大小为640x480或360x288）。测试集为一段27分钟左右的视频（分辨率为640x480），共21790张图片，包含56492个行人。分类数据库有三个训练集和两个测试集，每个数据集有4800张行人图片，5000张非行人图片，大小均为18x36，另外还有3个辅助的非行人图片集，各1200张图片。Caltech行人数据库该数据库是目前规模较大的行人数据库，采用车载摄像头拍摄，约10个小时左右，视频的分辨率为640x480，30帧/秒。标注了约250,000帧（约137分钟），350000个矩形框，2300个行人，另外还对矩形框之间的时间对应关系及其遮挡的情况进行标注。数据集分为set00~set10，其中set00~set05为训练集，set06~set10为测试集（标注信息尚未公开）。性能评估方法有以下三种：（1）用外部数据进行训练，在set06~set10进行测试；（2）6-fold交叉验证，选择其中的5个做训练，另外一个做测试，调整参数，最后给出训练集上的性能；（3）用set00~set05训练，set06~set10做测试。由于测试集的标注信息没有公开，需要提交给Pitor Dollar。结果提交方法为每30帧做一个测试，将结果保存在txt文档中（文件的命名方式为I00029.txt I00059.txt ……），每个txt文件中的每行表示检测到一个行人，格式为“[left, top,width, height, score]”。如果没有检测到任何行人，则txt文档为空。该数据库还提供了相应的Matlab工具包，包括视频标注信息的读取、画ROC（Receiver Operatingcharacteristic Curve）曲线图和非极大值抑制等工具。TUD行人数据库TUD行人数据库为评估运动信息在行人检测中的作用，提供图像对以便计算光流信息。训练集的正样本为1092对图像（图片大小为720x576，包含1776个行人）；负样本为192对非行人图像（手持摄像机85对，车载摄像机107对）；另外还提供26对车载摄像机拍摄的图像（包含183个行人）作为附加训练集。测试集有508对图像（图像对的时间间隔为1秒，分辨率为640x480），共有1326个行人。Andriluka等也构建了一个数据库用于验证他们提出的检测与跟踪相结合的行人检测技术。该数据集的训练集提供了行人的矩形框信息、分割掩膜及其各部位（脚、小腿、大腿、躯干和头部）的大小和位置信息。测试集为250张图片（包含311个完全可见的行人）用于测试检测器的性能，2个视频序列（TUD-Campus和TUD-Crossing）用于评估跟踪器的性能。NICTA行人数据库该数据库是目前规模较大的静态图像行人数据库，25551张含单人的图片，5207张高分辨率非行人图片，数据库中已分好训练集和测试集，方便不同分类器的比较。Overett等用“RealBoost+Haar”评估训练样本的平移、旋转和宽高比等各种因素对分类性能的影响：（1）行人高度至少要大于40个象素；（2）在低分辨率下，对于Haar特征来说，增加样本宽度的性能好于增加样本高度的性能；（3）训练图片的大小要大于行人的实际大小，即背景信息有助于提高性能；（4）对训练样本进行平移提高检测性能，旋转对性能的提高影响不大。以上的结论对于构建行人数据库具有很好的指导意义。ETH行人数据库Ess等构建了基于双目视觉的行人数据库用于多人的行人检测与跟踪研究。该数据库采用一对车载的AVT Marlins F033C摄像头进行拍摄，分辨率为640x480，帧率13-14fps，给出标定信息和行人标注信息，深度信息采用置信度传播方法获取。CVC行人数据库该数据库目前包含三个数据集（CVC-01、CVC-02和CVC-Virtual），主要用于车辆辅助驾驶中的行人检测研究。CVC-01[Geronimo,2007]有1000个行人样本，6175个非行人样本（来自于图片中公路区域中的非行人图片，不像有的行人数据库非行人样本为天空、沙滩和树木等自然图像）。CVC-02包含三个子数据集（CVC-02-CG、CVC-02-Classification和CVC-02-System），分别针对行人检测的三个不同任务：感兴趣区域的产生、分类和系统性能评估。图像的采集采用Bumblebee2立体彩 {MOD}视觉系统，分辨率640x480，焦距6mm，对距离摄像头0~50m的行人进行标注，最小的行人图片为12x24。CVC-02-CG主要针对候选区域的产生，有100张彩 {MOD}图像，包含深度和3D点信息；CVC-02-Classification主要针对行人分类，训练集有1016张正样本，7650张负样本，测试集分为基于切割窗口的分类（570张行人，7500张非行人）和整张图片的检测（250张包含行人的图片，共587个行人）；CVC-02-System主要用于系统的性能评估，包含15个视频序列（4364帧），7983个行人。CVC-Virtual是通过Half-Life 2图像引擎产生的虚拟行人数据集，共包含1678虚拟行人，2048个非行人图片用于测试。USC行人数据库该数据库包含三组数据集（USC-A、USC-B和USC-C），以XML格式提供标注信息。USC-A[Wu, 2005]的图片来自于网络，共205张图片，313个站立的行人，行人间不存在相互遮挡，拍摄角度为正面或者背面；USC-B的图片主要来自于CAVIAR视频库，包括各种视角的行人，行人之间有的相互遮挡，共54张图片，271个行人；USC-C有100张图片来自网络的图片，232个行人（多角度），行人之间无相互遮挡。

下面，就说说使用OpenCV 中的HOG+SVM实现行人检测的两种方式说明：程序运行环境为VS2013+OpenCV3.0

第一种

先说第一种方式，直接上代码:///////////////////////////////////HOG+SVM识别方式2/////////////////////////////////////////////////// void Train() { ////////////////////////////////读入训练样本图片路径和类别/////////////////////////////////////////////////// //图像路径和类别 vector imagePath; vector imageClass; int numberOfLine = 0; string buffer; ifstream trainingData(string(FILEPATH)+"TrainData.txt"); unsigned long n; while (!trainingData.eof()) { getline(trainingData, buffer); if (!buffer.empty()) { ++numberOfLine; if (numberOfLine % 2 == 0) { //读取样本类别 imageClass.push_back(atoi(buffer.c_str())); } else { //读取图像路径 imagePath.push_back(buffer); } } } //关闭文件 trainingData.close(); ////////////////////////////////获取样本的HOG特征/////////////////////////////////////////////////// //样本特征向量矩阵 int numberOfSample = numberOfLine / 2; Mat featureVectorOfSample(numberOfSample, 3780, CV_32FC1);//矩阵中每行为一个样本 //样本的类别 Mat classOfSample(numberOfSample, 1, CV_32SC1); Mat convertedImage; Mat trainImage; // 计算HOG特征 for (vector::size_type i = 0; i <= imagePath.size() - 1; ++i) { //读入图片 Mat src = imread(imagePath[i], -1); if (src.empty()) { cout << "can not load the image:" << imagePath[i] << endl; continue; } //cout << "processing:" << imagePath[i] << endl; // 归一化 resize(src, trainImage, Size(64, 128)); // 提取HOG特征 HOGDescriptor hog(cvSize(64, 128), cvSize(16, 16), cvSize(8, 8), cvSize(8, 8), 9); vector descriptors; double time1 = getTickCount(); hog.compute(trainImage, descriptors);//这里可以设置检测窗口步长，如果图片大小超过64×128，可以设置winStride double time2 = getTickCount(); double elapse_ms = (time2 - time1) * 1000 / getTickFrequency(); //cout << "HOG dimensions:" << descriptors.size() << endl; //cout << "Compute time:" << elapse_ms << endl; //保存到特征向量矩阵中 for (vector::size_type j = 0; j <= descriptors.size() - 1; ++j) { featureVectorOfSample.at(i, j) = descriptors[j]; } //保存类别到类别矩阵 //!!注意类别类型一定要是int 类型的 classOfSample.at(i, 0) = imageClass[i]; } ///////////////////////////////////使用SVM分类器训练/////////////////////////////////////////////////// //设置参数，注意Ptr的使用 Ptr svm = SVM::create(); svm->setType(SVM::C_SVC); svm->setKernel(SVM::LINEAR);//注意必须使用线性SVM进行训练，因为HogDescriptor检测函数只支持线性检测！！！ svm->setTermCriteria(TermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON)); //使用SVM学习 svm->train(featureVectorOfSample, ROW_SAMPLE, classOfSample); //保存分类器(里面包括了SVM的参数，支持向量,α和rho) svm->save(string(FILEPATH) + "Classifier.xml"); /* SVM训练完成后得到的XML文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho; 将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个行向量，将该向量前面乘以-1。之后，再该行向量的最后添加一个元素rho。 如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()）， */ //获取支持向量机：矩阵默认是CV_32F Mat supportVector = svm->getSupportVectors();// //获取alpha和rho Mat alpha;//每个支持向量对应的参数α(拉格朗日乘子)，默认alpha是float64的 Mat svIndex;//支持向量所在的索引 float rho = svm->getDecisionFunction(0, alpha, svIndex); //转换类型:这里一定要注意，需要转换为32的 Mat alpha2; alpha.convertTo(alpha2, CV_32FC1); //结果矩阵，两个矩阵相乘 Mat result(1, 3780, CV_32FC1); result = alpha2*supportVector; //乘以-1，这里为什么会乘以-1？ //注意因为svm.predict使用的是alpha*sv*another-rho，如果为负的话则认为是正样本，在HOG的检测函数中，使用rho+alpha*sv*another(another为-1) for (int i = 0; i < 3780; ++i) result.at(0, i) *= -1; //将分类器保存到文件，便于HOG识别 //这个才是真正的判别函数的参数(ω)，HOG可以直接使用该参数进行识别 FILE *fp = fopen((string(FILEPATH) + "HOG_SVM.txt").c_str(), "wb"); for (int i = 0; i<3780; i++) { fprintf(fp, "%f ", result.at(0,i)); } fprintf(fp, "%f", rho); fclose(fp); } // 使用训练好的分类器识别 void Detect() { Mat img; FILE* f = 0; char _filename[1024]; // 获取测试图片文件路径 f = fopen((string(FILEPATH) + "TestData.txt").c_str(), "rt"); if (!f) { fprintf(stderr, "ERROR: the specified file could not be loaded "); return; } //加载训练好的判别函数的参数(注意，与svm->save保存的分类器不同) vector detector; ifstream fileIn(string(FILEPATH) + "HOG_SVM.txt", ios::in); float val = 0.0f; while (!fileIn.eof()) { fileIn >> val; detector.push_back(val); } fileIn.close(); //设置HOG HOGDescriptor hog; hog.setSVMDetector(detector);// 使用自己训练的分类器 //hog.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());//可以直接使用05 CVPR已训练好的分类器,这样就不用Train()这个步骤了 namedWindow("people detector", 1); // 检测图片 for (;;) { // 读取文件名 char* filename = _filename; if (f) { if (!fgets(filename, (int)sizeof(_filename)-2, f)) break; //while(*filename && isspace(*filename)) // ++filename; if (filename[0] == '#') continue; //去掉空格 int l = (int)strlen(filename); while (l > 0 && isspace(filename[l - 1])) --l; filename[l] = '