-
NAL Header头部解析
查看全部 -
H264码流每层的关系图
查看全部 -
切片与宏块的关系：每个切片都包括切片头和切片数据，每个切片数据又包括了很多宏块，每个宏块又包括了宏块的类型、宏块的预测、编码的残渣数据等
查看全部 -
一个H264帧最少要有一个切片(NAL Unit)
查看全部 -
H264编码分层：1、NAL层（Network Abstraction Layer）,视频数据网络抽象层。2、VCL层（Video Coding Layer），视频数据编码层
码流基本概念：1、SODB（String Of Data Bits）,原始数据比特流，长度不一定是8的倍数，它是由VCL层产生的。2、RBSP（Raw Byte Sequence Payload,SODB+trailing bits），算法是在SODB最后一位补1，不按字节对齐则补0。3、EBSP(Encapsulate Byte Sequence Payload)，需到两个连续的0x00就增加一个0x03。4、NALU，NAL Header(1B)+EBSP
H264结构图
查看全部 -
帧分组(一组连续的图片，一幅图片为一帧)
查看全部 -
（1）帧内预测压缩，解决的是空域数据冗余问题（将一幅图里的人眼不是很敏感的色彩、光亮等数据剔除）
（2）帧间预测压缩，解决的是时域数据冗余问题（将一组图里面连续的重复性高的帧剔除）
（3）整数离散余弦变换(DCT),将空间上的相关性变为频域上无关的数据然后进行量化。
（4）CABAC压缩(无损压缩)
查看全部 -
H264宏块划分与子块划分：宏块里面可以再包含很多子块
查看全部 -
GOF(group of frame):一组帧，可以将一段时间内画面变化不大的所有帧划为一组帧
SPS与PPS（这两种都划为I帧）：
SPS(Sequence Parameter Set):序列参数集，存放帧数、参考帧数目、解码图像尺寸、帧场编码模式选择标识等。
PPS(Picture Parameter Set):图像参数集，存放熵编码模式选择标识、片组数目、初始量化参数和去方块滤波系统数调整标识等
视频花屏/卡顿原因：1、如果GOP分组中的P帧丢失会造成解码端的图像发生错误（于是形成了花屏）。2、为了避免花屏问题的发生，一般如果发现P帧或者I帧丢失，就不显示本GOP内的所有帧，直到下一个I帧来后重新刷新图像（因为丢了一组数据，所以形成了卡顿）
视频编码器：1、x264/x265。2、openH264(支持SVC技术)。3、vp8/vp9
查看全部 -
AAC格式：1、ADIF(Audio Data Interchange Format):只能从头开始解码，常用在磁盘文件中。2、ADTS(Audio Data Transport Stream)：这种格式每一帧都有一个同步字，可以在音频流的任何位置开始解码，它似于数据流格式（缺点：文件比ADIF大，优点:每个帧都可以被单独解码播放）
查看全部 -
AAC规格描述（AAC、AAC HE、AAC HE V2）--> AAC+SBR=AAC HE V1, AAC + SBR + PS = AAC HE V2
查看全部 -
音频压缩技术
1、消除冗余数据（有损压缩技术）。
压缩的主要方法是去除采集到的音频冗余信息，所谓冗余信息包括人耳听觉范围外的音频信号以及被掩蔽掉的音频信号
信号的掩蔽可分为频域掩蔽和时域掩蔽
频域掩蔽：一个强纯音会掩蔽在其附近同时发声的弱纯音。也称同时掩蔽
时域掩蔽：在时间上相邻的声音之间也有掩蔽现象，主要原因是人的大脑处理信息需要花费时间。
同步掩蔽效应和不同频率声音的频率和相对竟是有关，而时间掩蔽则仅仅和时间有关。如果两个声音在时间上特别接近，分辨会有困难（如两个声音音量相差较大且两个声音间隔时间低于5毫秒，则其中弱的那个声音会听不到）。
2、哈夫曼无损编码
查看全部 -
公式：采样率*采样大小*声道数
查看全部 -
量化基本概念：1、采样大小：一个采集用多少bit存放。常用的是16bit。2、采样率:采样频率8k/秒、16k/秒、32k/秒、44.1k/秒、48k/秒。3、声道数:单声道、双声道、多声道
查看全部 -
声音三要素：1、音调（也就是音频）。2、音量：振动的幅度。3、音色：它与材质有很大关系，本质是谐波
图一音量：甲乙的振动频率相同、振幅不同。图二音调：甲乙振幅相同、频率不同
查看全部
举报