其他
Pytorch 深度学习实战教程(六):仝卓自爆,快本打码。
点击上方“Jack Cui”,选择“加为星标”
第一时间关注技术干货!
1
2
3
使用检测技术,检测出人脸位置。
使用 landmark 技术,检测出人脸关键点。
根据人脸位置和人脸关键点,裁剪出人脸区域,并根据关键点将人脸图片进行矫正,得到「标准脸」。
计算「标准脸」的人脸特征向量。
与「人脸库」的人脸特征向量比对,计算向量的距离,找到最接近的人,输出人脸识别结果。
1、人脸检测
对于同一个人的人脸图像,对应的向量的欧几里得距离应该比较小。
对于不同人的人脸图像,对应的向量之间的欧几里得距离应该比较大。
4
人脸识别技术原理清楚了,我们就可以使用这个技术,给仝卓打码。
可以看到,人脸识别技术涉及到的算法较多,自己依次实现是需要时间的。
但这,难不倒身为优秀「调包侠」的我。
开源的第三方库有很多,比如 face_recognition。
里面集成了人脸检测、人脸识别等接口。
我们先看下今天的任务。
使用人脸识别技术,对这一小段视频,给仝卓的人脸进行打码。
整理一下思路:
首先,我们使用 opencv 这类的程序处理视频,只能处理画面,不能处理声音。
所以,需要先将音频保存,再将处理好的视频和音频进行合成,这样既保证了画面打码,又保证了声音还在。
这块可以使用 ffmpeg 实现。
安装好 ffmpeg 并配置好环境变量。
ffmpeg 下载地址:
https://ffmpeg.zeranoe.com/builds/
编写如下代码:
import subprocess
import os
from PIL import Image
def video2mp3(file_name):
"""
将视频转为音频
:param file_name: 传入视频文件的路径
:return:
"""
outfile_name = file_name.split('.')[0] + '.mp3'
cmd = 'ffmpeg -i ' + file_name + ' -f mp3 ' + outfile_name
subprocess.call(cmd, shell=True)
def video_add_mp3(file_name, mp3_file):
"""
视频添加音频
:param file_name: 传入视频文件的路径
:param mp3_file: 传入音频文件的路径
:return:
"""
outfile_name = file_name.split('.')[0] + '-f.mp4'
subprocess.call('ffmpeg -i ' + file_name
+ ' -i ' + mp3_file + ' -strict -2 -f mp4 '
+ outfile_name, shell=True)
视频转音频,视频加音频的函数写好了,接下来,我们写视频自动打码的程序。
首先,安装 face_recognition。
python -m pip install face_recognition
face_recognition 有详细的 API 文档:https://face-recognition.readthedocs.io/en/latest/face_recognition.html
我们先将要处理的视频保存到本地:
https://cuijiahua.com/wp-content/uploads/2020/07/cut.mp4
然后就可以使用 opencv 读取视频检测画面的每一张人脸。
import cv2
import face_recognition
import matplotlib.pyplot as plt
# %matplotlib inline # 在 jupyter 中使用的时候,去掉注释
cap = cv2.VideoCapture('cut.mp4')
ret, frame = cap.read()
if ret:
face_locations = face_recognition.face_locations(frame)
for (top_right_y, top_right_x, left_bottom_y,left_bottom_x) in face_locations:
cv2.rectangle(frame, (left_bottom_x,top_right_y), (top_right_x, left_bottom_y), (0, 0, 255), 10)
plt.imshow(cv2.cvtColor(frame, cv2.COLOR_RGB2BGR))
plt.show()
运行效果:
这样,对画面中检测到的每张人脸,进行人脸识别,是仝卓,那就打码。
打码图片,咱也用个简单粗暴的。
打码图片下载地址:https://cuijiahua.com/wp-content/uploads/2020/07/mask.jpg
将 mask.jpg 保存到本地。
再截取一张仝卓的人脸图片,作为对比库,当然多张也是可以的,这里用一张就够了。
我们选择这张图片,图片下载地址:https://cuijiahua.com/wp-content/uploads/2020/07/tz.jpg
将图片下载到本地,编写如下代码,就可以提取人脸的特征。
import face_recognition
known_image = face_recognition.load_image_file("tz.jpg")
biden_encoding = face_recognition.face_encodings(known_image)[0]
print(biden_encoding)
运行结果:
可以看到使用几行代码,就可以提取 128 维的人脸特征。
整体流程是:
使用 ffmpeg 保存音频
处理视频,给仝卓打码。
为处理好的视频添加音频。
直接看代码。
# Author : Jack Cui
# Website: https://cuijiahua.com/
import cv2
import face_recognition
import matplotlib.pyplot as plt
# %matplotlib inline # 在 jupyter 中使用的时候,去掉注释
import subprocess
import os
from PIL import Image
def video2mp3(file_name):
"""
将视频转为音频
:param file_name: 传入视频文件的路径
:return:
"""
outfile_name = file_name.split('.')[0] + '.mp3'
cmd = 'ffmpeg -i ' + file_name + ' -f mp3 ' + outfile_name
print(cmd)
subprocess.call(cmd, shell=True)
def video_add_mp3(file_name, mp3_file):
"""
视频添加音频
:param file_name: 传入视频文件的路径
:param mp3_file: 传入音频文件的路径
:return:
"""
outfile_name = file_name.split('.')[0] + '-f.mp4'
subprocess.call('ffmpeg -i ' + file_name
+ ' -i ' + mp3_file + ' -strict -2 -f mp4 '
+ outfile_name, shell=True)
def mask_video(input_video, output_video, mask_path='mask.jpg'):
# 打码图片
mask = cv2.imread(mask_path)
# 读取视频
cap = cv2.VideoCapture(input_video)
# 读取视频参数,fps、width、heigth
CV_CAP_PROP_FPS = 5
CV_CAP_PROP_FRAME_WIDTH = 3
CV_CAP_PROP_FRAME_HEIGHT = 4
v_fps = cap.get(CV_CAP_PROP_FPS)
v_width = cap.get(CV_CAP_PROP_FRAME_WIDTH)
v_height = cap.get(CV_CAP_PROP_FRAME_HEIGHT)
# 设置写视频参数,格式为 mp4
size = (int(v_width), int(v_height))
fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
out = cv2.VideoWriter(output_video,fourcc, v_fps, size)
# 已知人脸
known_image = face_recognition.load_image_file("tz.jpg")
biden_encoding = face_recognition.face_encodings(known_image)[0]
# 读取视频
cap = cv2.VideoCapture(input_video)
while(cap.isOpened()):
ret, frame = cap.read()
if ret:
# 检测人脸
face_locations = face_recognition.face_locations(frame)
# 检测每一个人脸
for (top_right_y, top_right_x, left_bottom_y,left_bottom_x) in face_locations:
unknown_image = frame[top_right_y-50:left_bottom_y+50, left_bottom_x-50:top_right_x+50]
unknown_encoding = face_recognition.face_encodings(unknown_image)[0]
# 对比结果
results = face_recognition.compare_faces([biden_encoding], unknown_encoding)
# 是仝卓,就将打码贴图。
if results[0] == True:
mask = cv2.resize(mask, (top_right_x-left_bottom_x, left_bottom_y-top_right_y))
frame[top_right_y:left_bottom_y, left_bottom_x:top_right_x] = mask
# 写入视频
out.write(frame)
else:
break
if __name__ == '__main__':
# 将音频保存为cut.mp3
video2mp3(file_name='cut.mp4')
# 处理视频,自动打码,输出视频为output.mp4
mask_video(input_video='cut.mp4', output_video='output.mp4')
# 为 output.mp4 处理好的视频添加声音
video_add_mp3(file_name='output.mp4', mp3_file='cut.mp3')
程序有详细的注释,最终生成的视频会保存为 output-f.mp4,让我们看下效果吧。
效果还不错吧?
5
face_recognition 无论是检测还是识别的效果一般,想实现更强大、更稳定的自动打码效果,就需要自己有针对的优化订制了。