文章目录
人脸识别–实战
一、前言
1、介绍
本文基于GitHub上一基于Dlib的人脸识别项目，进行学习、整理并根据遇到的问题做一些补充。项目源码：Dlib_face_recognition_from_camera
Dlib（官网：http://dlib.net/）是一个现代c++工具包，包含机器学习算法和用c++创建复杂软件来解决现实世界问题的工具。它被广泛应用于工业和学术界，包括机器人、嵌入式设备、移动电话和大型高性能计算环境。Dlib的开源许可允许您在任何应用程序中免费使用它。
2、库和相关包的下载
python3.9下载dlib库的方法：
打开命令行窗口使用pip命令
1、pip install boost
2、pip install cmake
3、下载dlib-19.22.99-cp39-cp39-win_amd64.whl文件至命令窗口的目录位置，并执行pip install dlib-19.22.99-cp39-cp39-win_amd64.whl（注：其他版本的python找到相应的dlib包即可，若是python3.8版本，尾缀应该是cp38-cp38-win_amd64.whl)
相关人脸识别的包：
1、shape_predictor_68_face_landmarks
2、dlib_face_recognition_resnet_model_v1
（关于两个包的功能及使用，下文会介绍到）
dlib库（dlib-19.22.99-cp39-cp39-win_amd64.whl）以及两个包的下载链接：
https://download.csdn.net/download/Li_y_berty/86497465不需要积分即可下载，下载有问题可私我。
二、效果演示
1、人脸录入
- Information： 显示先关信息，包括帧数、当前摄像头捕捉的人脸数，数据库已存入的人脸数。
- Menu1： 输入要录入的人脸名称。（目前输入中文名称可能会有点点小问题）
- Menu2： 保存当前的人脸照片，同一人可录入任意张人脸照片，建议录入三张。
- Menu3： 清除数据库所有录入的人脸信息，包括提取的特征信息。
2、特征提取
提取所有人脸的特征，将每人的人脸的128D特征以csv文件保存至features_all.csv中。（若一人录入多张人脸，计算该人这几张人脸的128D特征的均值并保存）
3、人脸识别
- 左上角显示相关信息，Frame为记录捕捉的总帧数，FPS记录帧率，Faces记录当前捕捉的人脸数目。
- 目前只限定于一张人脸时，开始匹配识别，按‘q’退出。
三、识别原理
1、关于检测
采用Dlib 正向人脸检测器，输出人脸矩形的四个坐标点。该人脸检测器使用经典的方向梯度直方图(HOG)特征，结合线性分类器、图像金字塔和滑动窗口检测方案。详情可参照：http://dlib.net/face_detector.py.html
# This face detector is made using the now classic Histogram of Oriented
# Gradients (HOG) feature combined with a linear classifier, an image
# pyramid, and sliding window detection scheme. This type of object detector
# is fairly general and capable of detecting many types of semi-rigid objects
# in addition to human faces. Therefore, if you are interested in making
# your own object detectors then read the train_object_detector.py example
# program.
detector = dlib.get_frontal_face_detector()
faces = detector(img_gray, 0)2、关于识别
- 首先是调用人脸特征点检测器，使用shape_predictor_68_face_landmarks.dat模型，该模型在ibug 300-W数据集上训练，这个模型文件是为与dlib的HOG人脸检测器一起使用而设计的。它期望来自人脸检测器的边界框以某种方式对齐。
- 然后是调用Dlib Resnet 人脸识别模型, 提取 128D 的特征矢量，最后通过比对数据库中的特征（计算欧氏距离，并设定合适的阈值）进行识别匹配。
# Dlib人脸特征点检测器 / Get face landmarks
predictor = dlib.shape_predictor("data/dlib_models/shape_predictor_68_face_landmarks.dat")
# Dlib Resnet人脸识别模型，提取128D的特征矢量 / Use Dlib resnet50 model to get 128D face descriptor
face_reco_model = dlib.face_recognition_model_v1("data/dlib_models/dlib_face_recognition_resnet_model_v1.dat")
for i in range(len(faces)):
shape = predictor(img_rd, faces[i])
self.current_frame_face_feature_list.append(
face_reco_model.compute_face_descriptor(img_rd, shape))四、源码
1、代码结构
├── data
│ ├── data_dlib # Dlib's models
│ │ ├── dlib_face_recognition_resnet_model_v1.dat
│ │ └── shape_predictor_68_face_landmarks.dat
│ ├── data_faces_from_camera # Face images captured from camera (will generate after step 1)
│ │ ├── person_1
│ │ │ ├── img_face_1.jpg
│ │ │ ├── img_face_2.jpg
│ │ │ └── img_face_3.jpg
│ │ └── person_2
│ │ └── img_face_1.jpg
│ │ ├── img_face_2.jpg
│ │ └── img_face_3.jpg
│ └── features_all.csv # CSV to save all the features of known faces (will generate after Menu 2)
├── get_faces.py # Menu1: Face register GUI with Tkinter
├── extract_features.py # Menu2: Feature extraction
└── face_reco.py # Menu3: Face recognizer for single person
get_faces.py:
以界面的功能键为单位实现代码。
extract_features.py:
提取录入照片的特征值，并以csv格式保存。
face_reco.py:
# 检测 -> 识别人脸, 新人脸出现 -> 再识别, 不会对于每一帧都进行识别
# 控制再识别的后续帧数
# 如果识别出 "unknown" 的脸, 将在 cnt_reclassify_interval 计数到 reclassify_interval 后, 对于人脸进行重新识别
self.cnt_reclassify_interval = 0
self.reclassify_interval = 10
# 按帧操作
while stream isOpened():
│
├── 人脸数未变化：1-->1 or 0-->0
│ ├── 1.有"unknown",cnt_reclassify_interval += 1
│ │ 2.len(face) == 1：
│ │ cnt_reclassify_interval = reclassify_interval：
│ │ 识别、比对人脸
│ │ cnt_reclassify_interval ！= reclassify_interval：
│ └── 正常的框选显示操作
│
├── 人脸数发生变化：1-->0 or 0-->1
│ ├── 0-->1
│ │ 1.将人物初始化为"unknown"
│ │ 2.识别、比对人脸
│ │ 3.若仍不认识，识别为"unknown", cnt_reclassify_interval += 1
│ │
│ └── 1-->0
│ 1.初始化，cnt_reclassify_interval清零
│
└── 信息显示 2、源码地址
https://download.csdn.net/download/Li_y_berty/86500365下载有问题可私我。