Bootstrap

Python处理视频流后显示造成的卡顿问题分析

操作步骤

  1. 读取视频流的帧
  2. 处理视频流的帧
  3. 显示视频流处理后的帧

问题描述

假设帧率30,即每秒显示30帧,每帧间隔1/30=0.0333333…,约33.33毫秒
延时:假设处理每帧视频耗时最多500毫秒,则视为每帧处理耗时500毫秒,那么视频输出必定至少延迟500毫秒,该延时问题无法解决
卡顿:同一线程进行处理,30帧数据耗时30*500=15000毫秒,即1秒内容需要15秒进行输出,造成卡顿

解决方法

多线程并行处理耗时操作
不卡顿,则视频流显示要按照原帧率进行输出,即1秒显示30帧,保证在每帧间隔33.33毫秒中,要显示的下一帧已经准备完毕,这就意味着在33.33毫秒的间隔时间内,需要有空余的线程,因此需要的线程数量如下计算:

理想状态下,线程数量 大于 单次处理耗时除以每帧间隔

帧率每帧间隔(ms)单次处理耗时(ms)最少线程数量
3033.3350016
3033.33100031
3033.338000241
3033.3312000361
;