Qt支持RKMPP硬解的视频监控系统/性能卓越界面精美/实时性...

liudianwu

## 一、前言
之前做的监控系统，已经实现了在windows上硬解码比如dxva2和d3d11va，后续又增加了linux上的硬解vdpau的支持，这几种方式都是跨系统的硬解实现方案，也是就是如果都是windows系统，无论X86还是ARM都通用，在系统层面屏蔽了实现细节，按照规范来写就行，这种方式叫跨硬件但是不跨系统，无论是英特尔显卡还是英伟达显卡都一样，无需区分具体用的什么显卡。后面还有跨系统但是不跨硬件的策略，典型的就是针对英伟达显示，代码可以跨系统，但是不支持其他显卡。现在随着越来越多的嵌入式板子，尤其是RK3588，默认有个RKMPP的硬解，用户在这个场景下的需求也越来越多，于是也要增加支持。

最早监控系统开发就已经考虑好了模块化的方式，采用一个个core组件模块来实现，这样一旦某个组件模块更新了代码，只需要替换这个组件的代码就行，一般就是一个pri带一个目录，同理监控内核ffmpeg模块也是如此，于是抽空将对RKMPP硬解的支持也加入了其中，这其中的关键并不是使用硬解解码部分，后面捣鼓下来发现关键是要编译一个支持RKMPP硬解的ffmpeg库就行（https://github.com/nyanmisaka/ffmpeg-rockchip），把这个库替换掉，然后硬解名称选择RKMPP即可，整个硬解流程和之前的dxva2/d3d11va一模一样，然后解码后的数据发给opengl绘制，数据格式一般是NV12。打完收工非常完美。

## 二、效果图



## 三、相关地址
1. 国内站点：[https://gitee.com/feiyangqingyun](https://gitee.com/feiyangqingyun)
2. 国际站点：[https://github.com/feiyangqingyun](https://github.com/feiyangqingyun)
3. 个人作品：[https://blog.csdn.net/feiyangqingyun/article/details/97565652](https://blog.csdn.net/feiyangqingyun/article/details/97565652)
4. 文件地址：[https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g](https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g) 提取码：01jf 文件名：bin_video_demo/bin_video_system。

## 四、功能特点
1. 支持各种本地音视频文件和网络音视频文件，格式包括mp3、aac、wav、wma、mp4、mkv、rmvb、wmv、mpg、flv、asf等。
2. 支持各种网络音视频流，网络摄像头，协议包括rtsp、rtmp、http等。
3. 支持本地摄像头设备推流，可指定分辨率、帧率、格式等。
4. 支持本地桌面采集推流，可指定屏幕索引、采集区域、起始坐标、帧率等，也支持指定窗口标题进行采集。
5. 可实时切换预览视频文件，可切换音视频文件播放进度，切换到哪里就推流到哪里。预览过程中可以切换静音状态和暂停推流。
6. 可指定重新编码推流，任意源头格式可选强转264或265格式。
7. 可转换分辨率推流，设置等比例缩放或者指定分辨率进行转换。
8. 推流的清晰度、质量、码率都可调，可以节约网络带宽和拉流端的压力。
9. 音视频文件自动循环不间断推流。
10. 音视频流有自动掉线重连机制，重连成功自动继续推流。
11. 支持各种流媒体服务程序，包括但不限于mediamtx、ZLMediaKit、srs、LiveQing、nginx-rtmp、EasyDarwin、ABLMediaServer。
12. 通过配置文件自动加载对应流媒体程序的协议和端口，自动生成推流地址和各种协议的拉流地址。可以通过配置文件自己增加流媒体程序。
13. 可选rtmp、rtmp格式推流，推流成功后，支持多种格式拉流，包括但不限于rtsp、rtmp、hls、flv、ws-flv、webrtc等。
14. 在软件上推流成功后，可以直接单击网页预览，实时预览推流后拉流的画面，多画面网页展示。
15. 软件界面上可单击对应按钮，动态添加文件和目录，可手动输入地址。
16. 推拉流实时性极高，延迟极低，延迟时间大概在100ms左右。
17. 极低CPU资源占用，4路主码流推流只需要占用0.2%CPU。理论上常规普通PC机器推100路毫无压力，主要性能瓶颈在网络。
18. 可以推流到外网服务器，然后通过手机、电脑、平板等设备播放对应的视频流。
19. 每路推流都可以手动指定唯一标识符（方便拉流/用户无需记忆复杂的地址），没有指定则按照策略随机生成hash值。也支持自动按照指定标识后面加数字的方式递增命名。比如设置标识为字母v，策略为标识递增，则每添加一个对应的推流码命名依次是v1、v2、v3等。
20. 根据推流协议自动转码格式，默认策略按照选择的推流协议，比如rtsp支持265而rtmp不支持，如果是265的文件而选择rtmp推流，则自动转码成264格式再推流。
21. 音视频同步推流，在拉流和采集的时候就会自动处理好同步，同步后的数据再推流。
22. 表格中实时显示每一路推流的分辨率和音视频数据状态，灰色表示没有输入流，黑色表示没有输出流，绿色表示原数据推流，红色表示转码后的数据推流。
23. 自动重连视频源，自动重连流媒体服务器，保证启动后，推流地址和打开地址都实时重连，只要恢复后立即连上继续采集和推流。
24. 根据不同的流媒体服务器类型，自动生成对应的rtsp、rtmp、hls、flv、ws-flv、webrtc拉流地址，用户可以直接复制该地址到播放器或者网页中预览查看。
25. 添加的推流地址等信息自动存储到文件，可以手动打开进行修改，默认启动后自动加载历史记录。
26. 可以指定生成的网页文件保存位置，方便作为网站网页发布，可以直接在浏览器中输入网址进行访问，发布后可以直接在局域网其他设备比如手机或者电脑打开对应网址访问。
27. 可选是否开机启动、后台运行等。网络推流添加的rtsp地址可勾选是否隐藏地址中的用户信息。
28. 自带设备推流模块，自动识别本地设备，包括本地的摄像头和桌面，可以手动选择不同的是视频和音频采集设备进行推流。
29. 自带文件点播模块，添加文件后用户可以拉取地址点播，用户端可以任意切换播放进度。支持各种浏览器（谷歌chromium、微软edge、火狐firefox等）、各种播放器（vlc、mpv、ffplay、potplayer、mpchc等）打开请求。
30. 文件点播模块实时统计显示每个文件对应的访问数量、总访问数量、不同IP地址访问数量。
31. 文件点播模块采用纯QTcpSocket通信，不依赖流媒体服务程序，核心源码不到500行，注释详细，功能完整。
32. 支持任意Qt版本（Qt4、Qt5、Qt6），支持任意系统（windows、linux、macos、android、嵌入式linux等）。

## 五、相关代码
```cpp
bool FFmpegThread::initVideo()
{
    //找到视频流索引
    videoIndex = av_find_best_stream(formatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (videoIndex < 0) {
        //有些没有视频流所以这里不用返回
        videoIndex = -1;
        debug(0, "无视频流", "");
    } else {
        //如果手动指定了轨道则取指定的(节目流有多个轨道可以指定某个)
        if (videoTrack >= 0 && videoTracks.contains(videoTrack)) {
            videoIndex = videoTrack;
        }

        //取出流获取对应的信息创建解码器
        int result = -1;
        AVStream *videoStream = formatCtx->streams[videoIndex];

        //如果主动设置过旋转角度则将旋转信息设置到流信息中以便保存那边也应用(不需要保存也旋转可以注释)
        if (rotate != -1) {
            FFmpegHelper::setRotate(videoStream, rotate);
        }

        //先获取旋转角度(如果有旋转角度则不能用硬件加速)
        this->getRotate();
        if (rotate != 0) {
            hardware = "none";
        }

        //查找视频解码器(如果上面av_find_best_stream第五个参数传了则这里不需要)
        AVCodecID codecId = FFmpegHelper::getCodecId(videoStream);
        if (codecId == AV_CODEC_ID_NONE) {
            debug(result, "无视解码", "");
            return false;
        }

        //初始化解码器
        FFmpegThreadHelper::initVideoCodec(&videoCodec, codecId, videoCodecName, hardware);

        //创建视频解码器上下文
        videoCodecCtx = avcodec_alloc_context3(NULL);
        if (!videoCodecCtx) {
            debug(result, "创建视解", "");
            return false;
        }

        //将视频流的参数拷贝给视频解码器上下文/以便能够按照对应流参数进行解码
        result = FFmpegHelper::copyContext(videoCodecCtx, videoStream, false);
        if (result < 0) {
            debug(result, "视频参数", "");
            return false;
        }

        //初始化硬件加速(也可以叫硬解码/如果当前格式不支持硬解则立即切换到软解码)
        if (hardware != "none" && !FFmpegThreadHelper::initHardware(this, videoCodec, videoCodecCtx, hardware)) {
            hardware = "none";
            videoCodec = avcodec_find_decoder(codecId);
        }

        if (!videoCodec) {
            return false;
        }

        //设置低延迟和加速解码等参数(设置max_lowres的话很可能画面采用最小的分辨率)
        if (!getIsFile()) {
            //videoCodecCtx->lowres = videoCodec->max_lowres;
            videoCodecCtx->flags |= AV_CODEC_FLAG_LOW_DELAY;
            videoCodecCtx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
            videoCodecCtx->flags2 |= AV_CODEC_FLAG2_FAST;
        }

        //打开视频解码器
        result = avcodec_open2(videoCodecCtx, videoCodec, NULL);
        if (result < 0) {
            debug(result, "打开视解", "");
            return false;
        }

        if (videoCodecCtx->pix_fmt == AV_PIX_FMT_NONE) {
            debug(0, "格式为空", "");
            return false;
        }

        //获取分辨率大小
        FFmpegHelper::getResolution(videoStream, videoWidth, videoHeight);
        //如果没有获取到宽高则返回
        if (videoWidth == 0 || videoHeight == 0) {
            debug(0, "无分辨率", "");
            return false;
        }

        //记录首帧开始时间和解码器名称
        videoFirstPts = videoStream->start_time;
        videoCodecName = videoCodec->name;
        frameRate = FFmpegHelper::getFrameRate(videoStream, formatName);
        qint64 frames = videoStream->nb_frames;
        this->setProperty("frames", frames);
        QString msg = QString("索引: %1 解码: %2 帧率: %3 宽高: %4x%5 角度: %6 帧数: %7").arg(videoIndex).arg(videoCodecName).arg(frameRate).arg(videoWidth).arg(videoHeight).arg(rotate).arg(frames);
        debug(0, "视频信息", msg);
        //FFmpegUtil::getExtraData(videoCodecCtx);
    }

    return true;
}

void FFmpegThreadHelper::initVideoCodec(AVCodecx **videoCodec, AVCodecID codecId, QString &videoCodecName, QString &hardware)
{
    //获取默认的解码器
    (*videoCodec) = avcodec_find_decoder(codecId);
    videoCodecName = (*videoCodec)->name;

    bool otherHardware = (hardware != "none" && hardware != "dxva2" && hardware != "d3d11va");
    if (!otherHardware) {
        return;
    }

    //264/265才能去启用系统层以外的硬解码
    if (videoCodecName != "h264" && videoCodecName != "hevc") {
        hardware = "none";
        return;
    }

    //指定硬解码器名称 h264_qsv/h264_cuvid/h264_vaapi hevc_qsv/hevc_cuvid/hevc_vaapi/h264_mediacodec
    QString name = QString("%1_%2").arg(videoCodecName).arg(hardware);
    (*videoCodec) = avcodec_find_decoder_by_name(name.toUtf8().constData());
    //如果硬解码器分配失败则立即切换到软解码
    if (!(*videoCodec)) {
        (*videoCodec) = avcodec_find_decoder(codecId);
    }
}

bool FFmpegThreadHelper::initHardware(FFmpegThread *thread, AVCodecx *videoCodec, AVCodecContext *videoCodecCtx, const QString &hardware)
{
#if (FFMPEG_VERSION_MAJOR > 2)
    //根据名称自动寻找硬解码
    enum AVHWDeviceType type;
    QByteArray hwData = hardware.toUtf8();
    const char *hwName = hwData.constData();
#ifdef __arm__
    //发现嵌入式上低版本的库没有av_hwdevice_find_type_by_name函数
#if (FFMPEG_VERSION_MAJOR < 4)
    return false;
#else
    type = av_hwdevice_find_type_by_name(hwName);
#endif
#else
    type = av_hwdevice_find_type_by_name(hwName);
#endif

    //找到对应的硬解码格式
    thread->debug(0, "硬件加速", QString("名称: %1 数值: %2").arg(hardware).arg(type));
    FFmpegThreadHelper::hw_pix_fmt = FFmpegThreadHelper::find_fmt_by_hw_type(type, videoCodec);
    if (FFmpegThreadHelper::hw_pix_fmt == -1) {
        thread->debug(0, "加速失败", "");
        return false;
    }

    int result = -1;
    //创建硬解码设备
    AVBufferRef *hw_device_ref;
    result = av_hwdevice_ctx_create(&hw_device_ref, type, NULL, NULL, 0);
    if (result < 0) {
        thread->debug(result, "创建硬解", "av_hwdevice_ctx_create");
        return false;
    }

    //解码器格式赋值为硬解码
    videoCodecCtx->get_format = FFmpegThreadHelper::get_hw_format;
    videoCodecCtx->hw_device_ctx = av_buffer_ref(hw_device_ref);
    av_buffer_unref(&hw_device_ref);
    thread->debug(result, "初始硬解", QString("成功: %1").arg(hardware));
    return true;
#else
    return false;
#endif
}

bool FFmpegThreadHelper::initVideoData(FFmpegThread *thread, AVFrame *yuvFrame, AVFrame *imageFrame, SwsContext **yuvSwsCtx, SwsContext **imageSwsCtx, quint8 **imageData,
                                       AVPixelFormat srcFormat, AVPixelFormat dstFormat, int videoWidth, int videoHeight, const QString &hardware, int flags)
{
    //设置属性以便该帧对象正常
    yuvFrame->format = AV_PIX_FMT_YUV420P;
    yuvFrame->width = videoWidth;
    yuvFrame->height = videoHeight;

    //如果发现画面斜了或者条纹状可以考虑修改这里的对齐值
    int align = (hardware == "none" ? 4 : 16);

    //分配视频数据(转yuv420)
    int result = av_frame_get_buffer(yuvFrame, align);
    if (result < 0) {
        thread->debug(result, "视频转换", "av_frame_get_buffer");
        return false;
    }

    //视频图像转换(转yuv420)
    (*yuvSwsCtx) = sws_getContext(videoWidth, videoHeight, srcFormat, videoWidth, videoHeight, AV_PIX_FMT_YUV420P, flags, NULL, NULL, NULL);
    if (!yuvSwsCtx) {
        thread->debug(result, "视频转换", "sws_getContext");
        return false;
    }

    //视频图像转换(转rgb)
    AVPixelFormat imageFormat = AV_PIX_FMT_RGB24;
    (*imageSwsCtx) = sws_getContext(videoWidth, videoHeight, srcFormat, videoWidth, videoHeight, imageFormat, flags, NULL, NULL, NULL);
    if (!imageSwsCtx) {
        thread->debug(result, "视频转换", "sws_getContext");
        return false;
    }

    //分配视频帧数据(转rgb)
    align = 4;
    int imageSize = av_image_get_buffer_size(imageFormat, videoWidth, videoHeight, align);
    (*imageData) = (quint8 *)av_malloc(imageSize * sizeof(quint8));
    result = av_image_fill_arrays(imageFrame->data, imageFrame->linesize, (*imageData), imageFormat, videoWidth, videoHeight, align);
    if (result < 0) {
        thread->debug(result, "视频转换", "av_image_fill_arrays");
        return false;
    }

    QString srcFormatString = FFmpegHelper::getPixFormatString(srcFormat);
    QString dstFormatString = FFmpegHelper::getPixFormatString(dstFormat);
    QString msg = QString("源头: %1 目标: %2 硬解: %3").arg(srcFormatString).arg(dstFormatString).arg(hardware);
    thread->debug(0, "视频转换", msg);
    return true;
}
```