当前位置：首页 > news >正文

基于 PyTorch 和 TensorFlow 的口罩检测与人脸识别系统

news 2025/5/18 4:21:05

在后疫情时代，口罩检测成为了人脸识别系统的一个重要功能。如何在戴口罩的情况下准确识别身份，是一个技术难点。本文将介绍如何利用 PyTorch 和 TensorFlow 实现一个包含口罩检测功能的简单人脸识别系统，结合了Facenet 模型用于特征提取，以及**卷积神经网络（CNN）**用于口罩检测。

通过这篇博客，你将了解如何实现一个可以检测用户是否佩戴口罩，并在此基础上进行人脸识别的系统。具体步骤包括：图像预处理、口罩检测、特征提取和人脸识别。

1. 系统功能概述

该系统的核心流程包括以下几个模块：

口罩检测：使用预训练的 TensorFlow 模型来检测面部是否佩戴口罩。
人脸检测：使用 MTCNN 检测人脸区域。
特征提取：使用 Facenet 模型从人脸图像中提取特征向量。
人脸识别：将提取的特征向量与已知人脸的特征向量进行对比，判断身份。

2. 使用的技术栈

OpenCV：用于图像处理，如读取图像、转换颜色空间等。
Facenet-PyTorch：用于人脸特征提取，使用了预训练的 InceptionResnetV1 模型。
TensorFlow/Keras：用于加载和运行口罩检测模型。
Pickle：用于保存和加载已知人脸的特征编码和名称。

3. 代码结构

3.1 导入必要的库

首先，我们需要导入项目所需的所有库：

import cv2
import numpy as np
from facenet_pytorch import InceptionResnetV1, MTCNN
import torch
import os
import pickle
from keras.models import load_model

cv2：用于图像处理。
numpy：用于矩阵计算。
facenet_pytorch：包含用于人脸检测和特征提取的预训练模型。
torch：作为 PyTorch 的底层框架，用于运行深度学习模型。
pickle：用于序列化和反序列化已知人脸特征。
keras.models：用于加载口罩检测模型。

3.2 模型加载

Facenet 和 MTCNN 是该系统的两个核心模型，分别用于特征提取和人脸检测：

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
mtcnn = MTCNN(keep_all=True, device=device)
model = InceptionResnetV1(pretrained='vggface2').eval().to(device)

MTCNN：多任务卷积神经网络，用于检测人脸的关键点。
InceptionResnetV1：用于从人脸图像中提取特征向量。

此外，我们还需要加载口罩检测模型，这个模型用于判断人脸是否佩戴了口罩：

mask_detector = load_model(r'mask-detector-model.h5')

3.3 口罩检测功能

该功能通过卷积神经网络（CNN）模型来检测人脸是否佩戴口罩：

def detect_mask(face):face = cv2.resize(face, (224, 224))face = face / 255.0face = np.expand_dims(face, axis=0)(mask, withoutMask) = mask_detector.predict(face)[0]return mask > withoutMask

3.4 图像预处理与人脸检测

在图像预处理步骤中，我们使用 OpenCV 读取图像并将其转换为 RGB 格式，然后使用 MTCNN 检测图像中的所有人脸：

def preprocess_image(image_path):if not os.path.exists(image_path):raise FileNotFoundError(f"File not found: {image_path}")image = cv2.imread(image_path)if image is None:raise ValueError(f"Failed to read image: {image_path}")rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)faces, _ = mtcnn.detect(rgb_image)mask_status = []  # 存储每张人脸的口罩状态if faces is not None:for i, (x, y, w, h) in enumerate(faces):face = rgb_image[int(y):int(h), int(x):int(w)]if detect_mask(face):print(f"Face {i} is wearing a mask.")mask_status.append("佩戴口罩")else:print(f"Face {i} is not wearing a mask.")mask_status.append("未佩戴口罩")return image, rgb_image, faces, mask_status

此步骤检测所有人脸，并通过调用 detect_mask 函数判断每张人脸是否佩戴了口罩。

3.5 特征提取与人脸识别

从检测到的每个人脸中提取特征向量，然后使用 InceptionResnetV1 提取特征，并与已知人脸特征库中的编码进行比对：

def extract_features(model, image, faces):features = []if faces is not None:for (x, y, w, h) in faces:face = image[int(y):int(h), int(x):int(w)]face = cv2.resize(face, (160, 160))face = torch.tensor(face).permute(2, 0, 1).float().to(device)face = (face - 127.5) / 128.0face = face.unsqueeze(0)with torch.no_grad():embedding = model(face).cpu().numpy()features.append(embedding)return features

使用人脸特征向量，我们可以进行人脸识别，通过计算每张人脸与已知人脸的欧氏距离来确定身份：

def recognize_face(known_encodings, known_names, face_encoding):distances = np.linalg.norm(known_encodings - face_encoding, axis=1)min_distance_index = np.argmin(distances)if distances[min_distance_index] < 0.6:  # 阈值return known_names[min_distance_index]return "Unknown"

3.6 示例调用

最后，我们将系统运行在一张示例图片上，并输出每个人脸的识别结果和口罩状态：

image_path = r'01.jpg'# 保存已知人脸编码和名称
known_encodings = [np.random.rand(512)]  # 示例已知人脸编码
known_names = ["Person 1"]  # 示例已知人脸名称
save_known_faces(known_encodings, known_names)try:image, rgb_image, faces, mask_status = preprocess_image(image_path)if faces is not None:features = extract_features(model, rgb_image, faces)known_encodings, known_names = load_known_faces()for feature, status in zip(features, mask_status):result = recognize_face(known_encodings, known_names, feature)print(f"识别结果：{result}, 口罩状态：{status}")else:print("未检测到人脸")
except FileNotFoundError as e:print(e)
except ValueError as e:print(e)