音视频原理

音频相关

声音原理

物体的振动会挤压周围的环境，产生波动。这种波动通过空气等介质传递到人的耳朵里由耳膜感应到从而产生声音。
所以声音是一种波。 音波有三要素

• 频率，音阶的高低
• 振幅，声音的响亮程度
• 波形，音色

音频数字化原理

• 采样，依据时间轴对声音进行数字化。
• 量化，对采集到的每个样本进行数字化。
• 编码，将量化之后的每个样本进行编码。

视频相关

光原理

对阳光进行棱镜折射，透过的阳光将分为🌈。而红绿蓝三色可以合成白色，红绿蓝被称为三原色。

图像编码

每种颜色都可以通过RGB的混合表示。而如何混合RGB就是位图的编码。 比如：

• RGB_565: Red 5个bit，Green 6个bit，Blue 5个bit。
• RGBA_8888: Red 8个bit，Green 8个bit，Blue 8个bit，Alaph 8个bit。

另外还有一种图像编码方式YUV。

YUV 是一种彩色编码系统，主要用在视频、图形处理流水线中(pipeline)。相对于 RGB 颜色空间，设计 YUV 的目的就是为了编码、传输的方便，减少带宽占用和信息出错。 人眼的视觉特点是对亮度更铭感，对位置、色彩相对来说不铭感。在视频编码系统中为了降低带宽，可以保存更多的亮度信息(luma)，保存较少的色差信息(chroma)。
参考文档

在4X2的参考框中，第一个4表示每一行的4个像素点都采集亮度（Y）的信息，第二个数字表示第一行采集多少色度信息（UV，准确德说是CbCr值），第三个数字表示第二行采集多少色度信息。

视频数字化原理

视频就是一系列图片的集合。而我们常见的视频就是对视频的原数据进行压缩。压缩包括时间上的压缩和空间上的压缩。

IBP帧

• I帧，intra picture 一般是一系列picture的第一帧，相当于一张静态图像。
• P帧，参考上一张I帧或者上一张P帧。
• B帧，参考前后的已经渲染完成的帧。