H264编码

        H264是一种针对视频的压缩编码方式。

一、压缩方法

        H264主要基于以下几种方法，将数据进行压缩：

1.帧内预测压缩：解决空间域数据冗余的问题

2.帧间预测压缩：（运动估计与补偿）解决时间域数据冗余的问题

3.整数离散余弦变换(DCT)：将空间上的相关性转换为频域上的无关性，然后量化

二、压缩后数据

        压缩后，H264文件由I帧、B帧、P帧和GOP图像序列组成。

I帧：关键帧，由帧内压缩得到

B帧：双向预测帧，由帧间压缩得到，压缩时既考虑前面的帧，又考虑后边的帧

P帧：前向预测帧，由帧间压缩得到，压缩时只考虑前面处理的帧

GOP图像序列：由一个关键帧（I 帧）和后续的若干预测帧（P 帧和 B 帧）组成

三、H264组成

        H264由网络提取层 + 视讯编码层这两层组成。

1.网络提取层（NAL）：网络编码后产生的数据流。通过NAL的第一个字节可以判断帧的类型

2.视讯编码层（VCL）：是一个过程的汇总，由数据通过压缩编码得到NAL的过程，称为VCL

四、码流结构

        视频数据序列被压缩后形成VCL数据，VCL数据要封装在NAL单元中才可以传输。

SPS：序列参数集，作用于一系列连续的编码图像

PSS：图像参数集，作用于编码视频序列中一个或多个独立图像

         上图中的NALU可以分为两种：VCL类型 和 非VCL类型

五、IDR帧

        IDR帧，一种特殊的I帧。

一般由于B和P帧都需要参考前后帧进行压缩，因此缓冲区中总保存着前后帧的信息。当解码器接收到当前是IDR帧时，会清空当前缓冲区，找到第一个IDR帧，并重新解码。

        每一个GOP的第一个帧就是IDR帧。（当图像差异过大时，会出现IDR帧）