用ffmpeg修复录屏视频闪烁的问题

缘起

compton 是 X11 下给程序加透明背景的 compositor。前阵子,为了得到一个透明背景模糊的效果,我使用了 compton 的一个 dual_kawase 的分支。虽然平时使用时感觉不出来,但在录屏出来的视频则会不停地闪烁。这样的视频看完估计眼睛就得废掉!

寻找问题

逐帧研究发现,大概每秒都会有一帧只录到了背景,而本应有的 terminal/chrome 啥的都神奇地消失不见了。估计大概是模糊背景的性能原因,导致有的帧没能在限定的时间内完成渲染。

解决问题

事已至此,由于是会议,重新录显然是不可能的。幸好正常帧和出错帧的特征都比较明显:

  1. 出错帧背景都比较明亮
  2. 而正常帧都有一个 terminal 在运行,色彩则比较暗

结论是,我只要在图像上取一个特定点,判定它的亮度,若太明亮则用上一帧代替当前帧,这样就可以基本解决闪烁的问题了。

实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import subprocess as sp
import signal

X = 1500
Y = 450
WIDTH = 1920
HEIGHT = 1080
LENGTH = WIDTH*HEIGHT*3
OFFSET = (WIDTH*(Y-1)+X)*3
FFMPEG_BIN = 'ffmpeg'

# 读取视频解压成图片流
in_cmd = [FFMPEG_BIN,
'-i', 'zoom_0.mp4',
'-f', 'image2pipe', # 输出成图片格式
'-pix_fmt', 'rgb24',
'-vcodec','rawvideo', '-']
in_pipe = sp.Popen(in_cmd, stdout=sp.PIPE, stdin=sp.PIPE, bufsize=LENGTH*10)

# 输出到输出流进行压缩
out_cmd = [FFMPEG_BIN,
'-f', 'rawvideo',
'-pix_fmt', 'rgb24',
'-s', '%dx%d' % (WIDTH, HEIGHT), # 由于是图片流,需要显式指定尺寸
'-r', '25',
'-y',
'-an',
'-i', '-',
'output.mp4']
out_pipe = sp.Popen(out_cmd, stdout=sp.PIPE, stdin=sp.PIPE, bufsize=LENGTH*10)

# 处理逻辑
i = 0
prev_raw = None
while True:
raw_image = in_pipe.stdout.read(LENGTH)
if not raw_image:
break
r = raw_image[OFFSET]
if r > 80:
raw_image = prev_raw
out_pipe.stdin.write(raw_image)
in_pipe.stdout.flush()
prev_raw = raw_image
out_pipe.send_signal(signal.SIGINT)
Compartir Comentarios