网站推广哪个好,如何做一个网站赚钱,html如何做购物网站,企业营销型网站应该有哪些内容视频解码基础
一、封裝格式
我们播放的视频文件一般都是用一种封装格式封装起来的#xff0c;封装格式的作用是什么呢#xff1f;一般视频文件里不光有视频#xff0c;还有音频#xff0c;封装格式的作用就是把视频和音频打包起来。 所以我们先要解封装格式#xff0…视频解码基础
一、封裝格式
我们播放的视频文件一般都是用一种封装格式封装起来的封装格式的作用是什么呢一般视频文件里不光有视频还有音频封装格式的作用就是把视频和音频打包起来。 所以我们先要解封装格式看有哪些视频流和哪些音频流此时的音频流和视频流都还是压缩数据不能直接用于显示的这就需要解码。下面是播放一个视频文件时的流程图。 FFmpeg 视频文件 是一个容器 (视频流H264 音频流(aac))
二、视频文件封装格式
封装格式也叫容器就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中也就是说仅仅是一个外壳或者大家把它当成一个放视频轨和音频轨的文件夹也可以。说得通俗点视频轨相当于饭而音频轨相当于菜封装格式就是一个碗或者一个锅用来盛放饭菜的容器。 下面是几种常用的 视频文件后缀类型 与其相对应的 封装格式。
视频文件格式视频封装格式.aviAVIAudio Video Interleaved.wmv、.asfWMVWindows Media Video.mpg、.mpeg、.vob、.dat、.3gp、.mp4MPEGMoving Picture Experts Group.mkvMatroska.rm、.rmvbReal Video.movQuickTime File Format.flvFlash Video
三、 音视频编码方式简介
1、视频编码方式
视频编码的作用 将视频像素数据RGBYUV 等压缩成视频码流从而降低视频的数据量。
HEVCH.265MPEG/ITU-T2013研发中名称推出机构推出时间目前使用领域H.264MPEG/ITU-T2003各个领域MPEG4MPEG2001不温不火MPEG2MPEG1994数字电视VP9Google2013研发中VP8Google2008不普及VC-1Microsoft Inc.2006微软平台 四, 音频编码方式
音频编码的作用 将音频采样数据PCM 等压缩成音频码流从而降低音频的数据量。 常用的音频编码方式有以下几种
名称推出机构推出时间目前使用领域AACMPEG1997各个领域新MP3MPEG1993各个领域旧WMVMicrosoft Inc.1999微软平台AC-3Dolby Inc.1992电影
一、视频封装格式
我们常见的视频封装格式有:.mov、.avi、.mpg、.vob、.mkv、.rm、.rmvb 等等。为什么会有这么多种不同的文件格式那是因为它们通过不同的方式实现了视频这件事情至于这个不同在哪里那就需要了解一下接下来要说的**「视频封装格式」**这个概念了。
1.1 视频封装格式
视频封装格式简称视频格式相当于一种存放视频信息的容器它里面包含了视频信息、音频信息和相关的配置信息例如视频和音频的关联信息、如何解码等。视频封装格式最直接的反映就是视频文件格式如下表
视频文件格式视频封装格式释义.aviAVI(Audio Video Interleave)图像质量好但体积过于庞大压缩标准不统一存在高低版本兼容问题。.wmvWMV(Windows Media Video)可边下载边播放很适合网上播放和传输.mpg .mpeg .mpe .dat .vob .asf .3gp .mp4MPEG(Moving Picture Experts Group)由运动图像专家组制定的视频格式有三个压缩标准分别是 MPEG-1、MPEG-2、和 MPEG-4它为了播放流式媒体的高质量视频而专门设计的以求使用最少的数据获得最佳的图像质量。.mkvMatroska一种新的视频封装格式它可将多种不同编码的视频及 16 条以上不同格式的音频和不同语言的字幕流封装到一个 Matroska Media 文件当中。.rm、.rmvbReal VideoReal Networks 公司所制定的音频视频压缩规范称为 Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率从而实现在低速率的网络上进行影像数据实时传送和播放。.movQuickTime File FormatApple 公司开发的一种视频格式默认的播放器是苹果的 QuickTime。这种封装格式具有较高的压缩比率和较完美的视频清晰度等特点并可以保存 alpha 通道。.flvFlash Video由 Adobe Flash 延伸出来的一种网络视频封装格式。这种格式被很多视频网站所采用。
1.2 容器
将已经编码压缩好的视频数据和音频数据按照一定的格式放到一个文件中这个文件可以称为容器。当然可以理解为这只是一个外壳。
通常除了音频数据和视频数据外还会存放一些视频同步的元数据例如字幕这种多数据会给不同的程序来处理但是在传输和存储的时候又是被绑定在一起的。
二、常用视频和音频编码格式介绍
2.1 视频编解码
视频编解码的过程–对数字视频进行压缩或解压缩的过程。
2.2 常见的视频编解码方式
.H26x系列 由国际电传视讯联盟远程通信标准化组织(ITU-T)主导包括 H.261、H.262、H.263、H.264、H.265。 .H261 用于老的视频会议或视频电话系统之后的所有标准都基于它设计的。.H262 等同于 MPEG-2 第二部分使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。.H263 主要用于视频会议、视频电话和网络视频相关产品。比它之前的视频编码标准在性能上有了较大的提升。尤其是在低码率端它可以在保证一定质量的前提下大大的节约码率。.H264 等同于 MPEG-4 第十部分也被称为高级视频编码(Advanced Video Coding简称 AVC)是一种视频压缩标准一种被广泛使用的高精度视频的录制、压缩和发布格式。该标准引入了一系列新的能够大大提高压缩性能的技术并能够同时在高码率端和低码率端大大超越以前的诸标准。.H265 高效率视频编码(High Efficiency Video Coding简称 HEVC)是一种视频压缩标准是 H.264 的继任者。HEVC 被认为不仅提升图像质量同时也能达到 H.264 两倍的压缩率等同于同样画面质量下比特率减少了 50%可支持 4K 分辨率甚至到超高画质电视最高分辨率可达到 8192×43208K 分辨率这是目前发展的趋势。 MPEG系列 由国际标准组织机构(ISO)下属的运动图象专家组(MPEG)开发。 MPEG-1 第二部分主要使用在 VCD 上有些在线视频也使用这种格式。该编解码器的质量大致上和原有的 VHS 录像带相当。MPEG-2 第二部分等同于H.262使用在 DVD、SVCD 和大多数数字视频广播系统和有线分布系统中。MPEG-4 第二部分可以使用在网络传输、广播和媒体存储上。比起MPEG-2 第二部分和第一版的H.263它的压缩性能有所提高。MPEG-4 第十部分等同于H.264是这两个编码组织合作诞生的标准。
不选择H265的原因
iOS11.0之后才支持H265。相对于H264H265对CPU造成的负荷更大当然CPU发热更严重。
2.3「编解码方式」和「封装格式」的关系 「视频封装格式」 视频 音频 视频编解码方式 等信息的容器。 一种「视频封装格式」可以支持多种「视频编解码方式」。比如QuickTime File Format(.MOV) 支持几乎所有的「视频编解码方式」MPEG(.MP4) 也支持相当广的「视频编解码方式」。
比较专业的说法可能是以 A/B 这种方式A 是「视频编解码方式」B 是「视频封装格式」。比如一个 H.264/MOV 的视频文件它的封装方式就是 QuickTime File Format编码方式是 H.264。
2.4 音频编解码方式
经常使用的音频编码方式有
AAC英文全称 Advanced Audio Coding是由 Fraunhofer IIS、杜比实验室、ATT、Sony等公司共同开发在 1997 年推出的基于 MPEG-2 的音频编码技术。2000 年MPEG-4 标准出现后AAC 重新集成了其特性加入了 SBR 技术和 PS 技术为了区别于传统的 MPEG-2 AAC 又称为 MPEG-4 AAC。MP3英文全称 MPEG-1 or MPEG-2 Audio Layer III是当曾经非常流行的一种数字音频编码和有损压缩格式它被设计来大幅降低音频数据量。它是在 1991 年由位于德国埃尔朗根的研究组织 Fraunhofer-Gesellschaft 的一组工程师发明和标准化的。MP3 的普及曾对音乐产业造成极大的冲击与影响。WMA英文全称 Windows Media Audio由微软公司开发的一种数字音频压缩格式本身包括有损和无损压缩格式。
2.5 直播/小视频中的编码格式 视频编码格式– H264低码率高质量图像容错能力强网络适应强具有很高的数据压缩比能达到惊人的1021 音频编码格式– AAC目前比较热门的有损压缩编码技术在 小于128Kbit/s 的码率下表现优异并且多用于视频中的音频编码。并且衍生了 LC-AAC,HE-AAC,HE-AAC v2 三种主要编码格式. LC-AAC 是比较传统的AAC,主要应用于中高码率的场景编码( 80Kbit/s)HE-AAC 主要应用于低码率场景的编码( 48Kbit/s)
2.6 RGB YUV
通常我们采用RGB模型来表示颜色RGB模型中每种颜色需要3个数字分别表示R、G、B每个数字占用1个bit字节这样总共需要24bits。 那么有没有更高效的颜色模型用更少的bit来表示颜色呢–YUV,Y表示亮度也是灰阶值U和V表示色度分量。
现在我们假设我们定义一个 「亮度(Luminance)」 的概念来表示颜色的亮度那它就可以用含 R、G、B 的表达式表示为
Y kr*R kg*G kb*B
Y 即「亮度」kr、kg、kb 即 R、G、B 的权重值。
这时我们可以定义一个 「色度(Chrominance)」 的概念来表示颜色的差异
Cr R – Y
Cg G – Y
Cb B – Y
Cr、Cg、Cb 分别表示在 R、G、B 上的色度分量。上述模型就是 YCbCr 颜色模型基本原理。
YCbCr 是属于 YUV 家族的一员是在计算机系统中应用最为广泛的颜色模型就比如在本文所讲的视频领域。 在 YUV 中 Y 表示的是「亮度」也就是灰阶值U 和 V 则是表示「色度」。 YUV 的关键是在于它的亮度信号 Y 和色度信号 U、V 是分离的那就是说即使只有 Y 信号分量而没有 U、V 分量我们仍然可以表示出图像只不过图像是黑白灰度图像。在YCbCr 中 Y 是指亮度分量Cb 指蓝色色度分量而 Cr 指红色色度分量。
现在我们从 ITU-R BT.601-7 标准中拿到推荐的相关系数就可以得到 YCbCr 与 RGB 相互转换的公式
Y 0.299R 0.587G 0.114B
Cb 0.564(B - Y)
Cr 0.713(R - Y)
R Y 1.402Cr
G Y - 0.344Cb - 0.714Cr
B Y 1.772Cb至此我们对 YCbCr 这个颜色模型我们就有个初步认识了但是细心的你会发现这里 YCbCr 也仍然用了 3 个数字来表示颜色啊有节省 bit 吗请看下图
假设图片有如下像素组成 一副图片就是一个像素阵列.每个像素的 3 个分量的信息是完整的YCbCr 4:4:4。 下图中对于每个像素点都保留「亮度」值但是省略每行中偶素位像素点的「色度」值从而节省了 bit。YCbCr4:2:2 下图做了更多的省略但是对图片质量的影响却不会太大.YCbCr4:2:0 所以目前90%以上的直播啊小视频啊都采用的这种YCbCr4:2:0。
