营销型网站建设必备功能,wordpress个人主页,做企业网站需要维护费吗,站长是什么级别2010 03 25基于MPI的H.264并行编码代码移植与优化范 文洛阳理工学院计算机信息工程系 洛阳 471023摘 要 H.264获得出色压缩效果和质量的代价是压缩编码算法复杂度的增加。为了寻求更高的编码速度#xff0c;集群并行计算被运用到H.264的视频编码计算中。分析H.264可实现并行计…2010 03 25基于MPI的H.264并行编码代码移植与优化范 文洛阳理工学院计算机信息工程系 洛阳 471023摘 要 H.264获得出色压缩效果和质量的代价是压缩编码算法复杂度的增加。为了寻求更高的编码速度集群并行计算被运用到H.264的视频编码计算中。分析H.264可实现并行计算的任务单元选择采用了片(slice)级的H.264并行编码计算方法实现了基于MPI并行环境的X264源代码移植针对实验室的小型集群平台通过测试给出较优的并行任务分配方案,结果表明对标清视频在分8片以上并行编码时能够达到实时编码的要求。关键词 H.264视频编码并行计算MPI引言随着计算机、通信、广播等技术的发展数字视频(Digital Video)已应用于许多领域如可视电话、会议电视、安全监控、高清晰度电视(HDTV),视频点播(VOD)等。多媒体视频应用的广泛普及高质量的视频服务市场潜力巨大。实时的高清晰视频编码传输技术成为视频发展重点。视频业务的实时应用面临着视频图像的大数据量、有限的通信信道的传输率、存储容量及计算机的处理速度的瓶颈。如果单靠增加通信信道的带宽、存储器容量及提高计算机的运算速度效果有限而且也不经济。而对视频数据进行高效的编码压缩不仅可以提高通信传输效率也节省了存储空间。数字视频压缩技术在各种需求的推动下不断得到发展和提高。由视频编码专家小组(VCEG)和运动图像专家小组(MPEG)成立的联合视频专家小组JVT (JointVideo Term)共同制定的H.26L标准草案其成果成为MPEG-4的第十部分于2002年底正式命名为H.264并且成为ITU-T和MPEG联合专家组JVT制订的下一代视频编码标准AVC(Advanced Video Coding)的基础[1]。它具备很多以往同类标准没有的优点适用范围广泛发展潜力巨大。为了获得更好的视频编码效果视频编码计算的复杂性也就随之极大的增加它对计算机的处理能力要求也越来越高。仅依赖于单核计算机处理器速度的提高现在还无法达到高清和标清视频的实时H.264编码压缩。因此需要寻求一种利用现有的资源能够更高效地完成复杂任务的方法通过高速网络充分利用网络连接的计算机资源实现复杂问题的并行计算。本文研究利用MPI来实现视频编码的并行处理实现H.264并行视频编码计算从而有效提升了H.264编码的速度。在实时的高清、标清视频编码压缩方面对H.264编码压缩代码的并行处理移植实现是一个较新并具有应用价值的研究这也是本论文研究的主要课题。1 并行计算并行计算简单地讲就是在并行计算机或分布式计算机等高性能计算系统上所做的大型复杂计算其物质基础是高性能并行计算机(包括分布式网络计算机)。并行计算的发展基于两方面的认识第一单处理机性能不可能满足大规模计算和工程问题计算的需求而并行计算机则是实现高性能计算、解决挑战性问题的唯一途径第二同时性和并行性是客观物质世界存在的普遍属性具有实际物理背景的计算问题在许多情况下都可划分为能够并行计算的多个子任务。实现并行算法的常用软件环境是操作系统( 如Research Development研究与开发Research Development26 信息通信技术L i n u x , Windows等)配合并行计算环境加上工具语言(如C, C, Fortran)。并行计算环境随着近年来分布式M P P 系统与工作站集群系统的发展得到了迅速发展相继出现了PVM,MPI,ExpressLinda,PARMACS,P4,Nx和Zipcode等基于消息传递的并行计算环境目前常用的是PVM和MPI。我们选用MPI并行环境进行研究。MPI(Message Passing Interface)是并行计算机的消息传递接口标准的简称提供了一组可用于消息传递的通信原语。MPI的标准化开始于1992年4月29日至30在威吉尼亚的威廉姆斯堡召开的分布存储环境中消息传递标准的讨论会由Dongarra、Hempel、Hey和Walker建议的初始草案在1992年11月推出并在1993年2月完成了修订版这就是MPI1.0。1995年6月推出了MPI的新版本MPI1.1对原来的MPI作了进一步的修改完善和扩充。MPI仅仅提供并行库而不是一门语言是一种对原来的串行程序设计改动最小的并行化方法[2]。这样原来的串行编译器也能够使用不需要任何修改。编程者只需要在原来的串行程序中加入对并行库的调用就可以实现并行程序设计。MPI库可以被Fortran77Fortran90CC调用从语法上说它遵守所有对库函数/过程的调用规则和一般的函数/过程没有什么区别。MPI是目前最重要的并行编程工具它具有移植性好功能强大效率高等多种优点。2 H.264并行化编码分析与实现H.264的码流数据层次包括一个表头、一个或多个图像片及序列的结束标志码。如图1所示视频序列(Sequence)是由一系列的图像(Picture)组成每帧图像由一个或多个片(slice)组成每个片又由多个宏块(Macroblock)组成[3]。为了追求更高的压缩效率去除图像序列间时间冗余度同时满足多媒体播放等随机存取要求H.264将视频序列中的图像帧划分为I帧图像(帧内编码图像)、P帧图像(预测编码图像)和B帧图像(双向预测编码图像)组成图像的16×16大小的宏块(Macroblock)又可以分为4个8×8的块(Block)。在H.264中组成片(Slice)的连续宏块是按照一定编码顺序排列的Slice表示的是一个独立的编码单元也就是说它不需要参考同一帧中其他Slice来进行编码。通过有效的调度算法从以上这些数据结构中选择一个合适的并行任务单元能够获得一个高效率的并行编码处理器[4]。主从模式并行处理的工作流程模型如图1所示。本论文试验环境为小型的工作站集群。工作站机群是将联网的多台工作站组成一个并行集群适用于中等规模的并行系统价格便宜、配置灵活但规模及并行效率受网络设备的制约。所用的节点机器是由5台DELL工作站组成由千兆交换机和千兆网卡连接组成的小型集群采用Windows操作系统。每台工作站的配置为Intel Xeon DualCore CPU 5130 2.0GHz两颗、内存4G、千兆网卡。每台机器安装有MPI的MPICH-1.2.5实现版本。本文选择X264源代码作为实现H.264并行编码的原因是由于X264中采用了一些算法优化程序结构优化及MMX, SSE, SSE2等指令优化对原本消耗较大的去块滤波器等做了较大程度的优化。具体实现过程如图2所示。3 结论移植后的并行H.264编码程序可以运行在不同的系统平台上。根据实验室使用的Windows平台小型集群每个节点有两个双核2.0GHz CPU的特点我们用多个不同的视频序列采用不同的任务分配方式测试并行编码统计数据。通过测试结果及实验分析得出以下结论影响大分辨率视频H.264并行编码加速比的一个主要原因是网络通信问题。提高并行编码速度的一种方法是做并行编码时先把要编码视频数据存放在各台节点机器上让每个节点机器上运行的任务程序从本节点机器上读取相应的数据片进行编码。因为YUV的视频序列数据量很大这种静态的数据获取可以节约大量的通信开销。但是这种静态的数据调用对于要实现实时分发并行编研究与开发2010 03 27码是没有意义的所以我们的H.264并行编码方案是直接从主机向各从机实时的分配图像帧片数据。由于要通过一个节点机器的网卡出口同时向多台从机节点并发数据所以主机网络发送就成为一个提高并行编码速度的瓶颈。虽然对于目前的720*576数据可以达到实时编码但是更高分辨率的视频图像数据增加必然给主机端的网络发送造成压力。这些可能需要双网卡的绑定或者其他的数据获取方式提高并行传输的数据量。实现并行编码还要根据不同的平台实现不同的策略。如上述的实验室5台工作站组成的集群平台根据它的特点我们得出适应并行编码的最佳条件1) 当分配相同工作任务数量时在主机上工作的任务数越多效率越高因为每台机器是2个双核CPU相当于有4个核可以同时执行4个任务。在主机上工作任务多就意味着可以尽量少的通过网络传输数据节省整体的通信时间。2) 同样并行片编码任务数目时在充分利用主机的处理器条件下相同的任务数量分配机器数越多速度越快。因为H.264编码对内存的要求较高当多个任务分配在一个节点机器上的不同CPU核时在一个节点机器上各处理器共享内存工作时对内存资源的需求造成了冲突。所以要获得高的并行效率需要根据集群平台的实际情况优化任务分配策略这也是同一个程序能获得不同并行效果的因素。3) 经过多组视频图像的测试发现在8片时编码的平均速度为27.32fps并且每组视频序列也都达到了实时编码的要求。在实验室5台并行机器能实现上述任意任务的分配是由于我们可以写配置文件来指定任务工作方式、任务分配节点位置、数量。在这种小型的集群平台上我们可以按照我们的要求最优地分配任务。学校集群平台上的实验结果与实验室5台有所不同是因为我们不Research Development图1 主从模式并行处理的工作模型28 信息通信技术图2 X264程序并行执行流程研究与开发2010 03 29作者简历H.264 Code Parallel Implementation and OptimizationBased on MPIFan WenComputer and Information Engineering Department, Luoyang Institute of Science andTechnology, Luo Yang 471023, ChinaAbstract The cost of H.264 geting good coding effect and quality is algorithms complexity increased.The High Perfermance Parallel Computing was used in the H.264 video coding for getting fasterspeed, Choosing slice as a unit for H.264 Parallel Computing and implementing X264 codec ParallelComputing with MPI, then the best Parallel task work effi ciency based on lab´s cluster was got and testresults indicated that the parallel coding speed of SD Video can meet real-time requirement when slicesesare more than 8.Keywords H.264; Video Coding; Parallel Computing; MPI范 文洛阳理工学院计算机与信息工程系。能像实验室平台那样可以在主机上多分配执行任务节省部分通信时间。学校的集群平台上完全是把每片数据都通过网络发送给从机节点进行编码计算耗费网络通信时间较多这是两个平台实验数据有差别的一个原因。学校这种规模较大为众多公众服务的集群我们不易按配置文件来指定任务在节点的工作方式因为可能同时有别的用户在使用。对于不同的集群平台要根据实际情况优化并行任务。参考文献[1][2][3][4]Iain E.G.Richardson.H.264 and MPEG-4Video Compression Wiley.2003都志辉.高性能计算之并行编程技术—MPI并行程序设计.北京:清华大学出版社,2001I T U - T R e c . H . 2 6 4 / I S O / I E C 1 1 4 9 6 - 1 0 .Advanced Video Coding.Final CommitteeDraft,Document JVT-F100,2002.12孙彦辉.基于H_264编码码率控制方法研究[D].中南大学大学硕士学位论文,2008Research Development
