python + dlib 实现简单疲劳驾驶检测

发布时间:2023-07-07 18:30

引言

本文章实现的疲劳驾驶功能比较单一,仅对眼部进行一个眨眼阈值的检测,并没有对人脸其它部位(瞌睡会点头、嘴部微张等)进行检测,需要在疲劳驾驶这个方向上深究的hxd可以自己对代码进行迭代更新。

这篇文章会很啰嗦,想看代码的hxd可以跳到后边去看。。。

仅供参考— 因为Github上已经有开源的项目了

需要用到的环境及配置文件

python3.8
dlib
opencv

定位人脸关键点模型(注:进入页面后拖到最下边,下载 shape_predictor_68_face_landmarks.dat.bz2 这个文件)

本次项目实现的理论来源–论文

dlib人脸关键点模型有问题的可以参考这篇文章,再不会可以给我留言,有问必答。
python + dlib 实现简单疲劳驾驶检测_第1张图片

实现思路

1、获取到人脸,计算机摄像头获取到的图像是一张大画布,人脸在上边显得很小,这时候按照传统的方法需要写一些回归算法来定位到人脸,而dlib的内置函数会帮我们解决这一问题。

python + dlib 实现简单疲劳驾驶检测_第2张图片

2、获取到人脸关键点,在上边的基础上,定位到人脸之后,再利用我们上述说到的68个关键点模型对关键点进行定位

python + dlib 实现简单疲劳驾驶检测_第3张图片
利用68个关键点模型获取到人脸的关键点坐标后,仔细观察可以看到左眼坐标是(42-48),右眼坐标是(36-42) ,得到关键点坐标之后就可以开撸了

python + dlib 实现简单疲劳驾驶检测_第4张图片

3、最后参考上边的论文算法基础对本项目进行最后的实现,简单说一下这篇论文算法的核心思想。

这篇论文提到了两个关键的参数,EAR(眨眼最小阈值)、ratio(连续眨眼的最小连续帧)。

这里解释一下这个ratio,因为计算读取视频其实就是将视频分为一帧一帧的来播放,这里你可以理解为PPT放映,就是当闭眼超过多少帧之后,判定为瞌睡疲劳驾驶。
python + dlib 实现简单疲劳驾驶检测_第5张图片
在这里插入图片描述

代码实现

import cv2
import dlib
import pygame
import time
from scipy.spatial import distance
from collections import OrderedDict
from imutils import face_utils

# 读取音乐
pygame.mixer.init()
pygame.mixer.music.load('../img/audio.mp3')

# 加载dlib人脸分类器
detection = dlib.get_frontal_face_detector()
# 读取68点模型文件
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

# 开摄像头
video_capture = cv2.VideoCapture(0)
time.sleep(2)

# 求er值
def calculate_EAR(eye):
    # 计算眼睛之间的距离,利用scipy  distance 计算上眼皮和下眼皮之间欧氏距离
    A = distance.euclidean(eye[1], eye[5])
    B = distance.euclidean(eye[2], eye[4])
    C = distance.euclidean(eye[0], eye[3])
    ear_aspect_ratio = (A + B) / (2.0 * C)
    return ear_aspect_ratio

# 眨眼最小阈值  触发报警的眼睛纵横比的最小阈值
eyes_blink = 0.3
# 眼睛比率低于触发警报阈值的最小连续帧
eyes_ratio = 50
# 眨眼次数检测
count = 0
SHAPE_68_INDEX = OrderedDict([
    ("left_eye", (42, 48)),
    ("right_eye", (36, 42))
])
# 拿坐标
(lstart,lend) = SHAPE_68_INDEX['left_eye']
(rstart,rend) = SHAPE_68_INDEX['right_eye']

while (True):
    # 读取每个帧并将其翻转,然后转换为灰度
    ret, frame = video_capture.read()
    frame = cv2.flip(frame,1)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 利用模型文件对脸型上的68个点进行定位寻找
    faces = detection(gray,0)
    for face in faces:
        shape = predictor(gray, face)
        shape = face_utils.shape_to_np(shape)
        # 左右眼坐标
        leftEye = shape[lstart:lend]
        rightEye = shape[rstart:rend]

        # 调用参数计算上眼皮和下眼皮的距离
        leftEyeDistance = calculate_EAR(leftEye)
        rightEyeDistance = calculate_EAR(rightEye)
        # 计算均值
        ER = (leftEyeDistance+rightEyeDistance) / 2

        # 利用cv2.convexhull 寻找图像凸包(凸包就是:打比方一个五角星,每一个尖点相连)
        leftEyeHull = cv2.convexHull(leftEye)
        rightEyeHull = cv2.convexHull(rightEye)
        # 将眼睛画线
        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

        # 眨眼检测
        if (ER < eyes_blink):
            count += 1
            if count >= eyes_ratio:
                pygame.mixer.music.play(-1)
                # 因为编码格式原因,中文显示不了
                cv2.putText(frame, "you are tired", (150, 200), cv2.FONT_HERSHEY_SIMPLEX, 1.5, (0, 0, 255), 2)
        else:
            pygame.mixer.music.stop()
            count = 0

    cv2.imshow('Video', frame)
    if(cv2.waitKey(1) & 0xFF == ord('q')):
        break

video_capture.release()
cv2.destroyAllWindows()

总结

为了方便大家看得更清晰一点,我加了很多注释,还有什么问题欢迎大家点赞留言

python + dlib 实现简单疲劳驾驶检测_第6张图片

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号