媒体技术的远程教学系统研究与实现.pdf
西安电子科技大学 硕士学位论文 基于流媒体技术的远程教学系统研究与实现 姓名：张小刚 申请学位级别：硕士 专业：情报学 指导教师：丁振国;任志纯 20050101 摘要 摘要 在网上开展远程教育突破时空限制 频教学是远程教育的一个重要组成部分 为广大学习者提供极大的方便。网络视 它主要实现师生在网络上的视音频交流。 本文基于流媒体技术设计了一个视频交互的远程教学系统，对涉及的基本技术做 了深入的探讨，并进行了软件实现。 本文首先阐述流媒体技术的工作原理，重点讨论视音频数据的同步问题，提 出一套同步方法，证明该方法有较好的效果。综述M P E G 一4 标准的系统结构和 M P E G 4 视频编码技术。分析T C P I P 协议对实时传输的局限性，对R T P R T C P 协 议、M P E G 4 码流在R T P 中的包结构、反馈控制算法进行了深入研究，并对拥塞 反馈控制算法进行了改进。最后，采用D i r e c t S h o w 技术，给出了远程教学系统方 案，对视频的实时采集、编码、传输和回放进行了编码实现。本文对视频传输在 其他行业的应用也有较大的借鉴意义。 关键字：远程教学M P E G 一4 R T PR T C P D i r e c t S h o w A b s t r a c t A b s t r a c t T e a c h i n gi nt h eI n t e r a c tb r e a k st h o u g ht h el i m i t m i o no f t h es p a c e t i m ea n db r i n g s g r e a tc o n v e n i e n c et ot h el e a r n e r s T h en e t w o r k v i d e oe d u c a t i o np l a y sa ni m p o r t a n tr o l e i nt h ed i s t a n c ee d u c a t i o n I tr e a l i z e st h ec o m m u n i c a t i o no ft h ev i d e o a u d i oo nt h e n e t w o r kb e t w e e nt e a c h e r sa n ds t u d e n t s T od e s i g na n dd e v e l o pd i s t a n c et e a c h i n gs y s t e m b a s e do ns t r e a m i n gm e d i ai sd i s c u s s e di nt h i st h e s i s T h er e l a t i v et e c h n o l o g yh a v eb e e n r e s e a r c h e da n dt h es y s t e mh a sb e e nr e a l i z e dw i t hs o f t w a r e T h i st h e s i si n t r o d u c e st h ep r i n c i p l eo fs t r e a m i n gm e d i at r a n s p o r t a t i o n H o wt O s y n c h r o n i z et h ev i d e oa n da u d i od a t ai se m p h a s i z e d ，s e v e r a lm e t h o d s a r ei n t r o d u c e dt O s o l v et h i s p r o b l e m ，w h i c hh a v eag o o de f f e c t I t s u m m a r i z e ss y s t e ma r c h i t e c t u r eo f M P E G - 4 ，a sw e l la se n c o d i n gt e c h n o l o g y T h i st h e s i sd i s c u s s e st h el i m i to f t h eT C P , R T P R T C Pp r o t o c o la n dR T Pp a y l o a df o r m a tf o rM P E G 一4v i s u a ls t r e a m s ，i th a s c o m p r e h e n s i v er e s e a r c ha b o u tf e e d b a c kc o n t r o la l g o r i t h ma n di m p r o v e si t F i n a l l y , a f e a s i b l ep r o j e c to fd i s t a n c et e a c h i n gs y s t e mi sd e s i g n e d I t d e p e n d so n D i r e c t S h o w t e c h n o l o g y T h ec o m p o n e n t s ，s u c h a st h er e a l t i m e s a m p l e ，v i d e oe n c o d i n g ，v i d e o d e c o d i n ga n dd i s p l a y , a r ep r o g r a m m e da n dt e s t e d T h i s a r t i c l ei sag o o dr e f e r e n c e l i t e r a t u r ef o rt h ev i d e ot r a n s p o r t a t i o na p p l i c a t i o ni no t h e rf i e l d s K e y w o r d s ：D i s t a n c eT e a c h i n gM P E G - 4 R T PR T C PD i r e c t S h o w 声明 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及所取得的 研究成果。尽我所知，除了文中特别加以标注和致渤中所罗列的内容以外，论文 中不包含其他人已发表或撰写的研究成果i 也不包含为获得西安电子科技大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任何贡 献均已在论文中做了说明并表示了谢意。 本人签名：址盟 关于论文使用授权的说明 F 1 j 胡：逆! 篁! ! ! 盟 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文：学校i ，以公厕】沦文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解 密后遵守此规定) 本人签名： 丛! 二旦| j1 ，o 一 同期：望! L 丛 第一章绪论 第一章绪论 1 1 引言 随着人类的进步，社会的发展，知识经济时代的到来，人们越来越深刻地认 识到只有通过不断地学习新的知识技能习能跟上时代的步伐。旧的知识传播途径 已经不能满足更多人的需求，而远程教育突破了传统教学在时间和空间上的限制， 增加学习机会，降低学习成本，学生可以按照自己的需要进行学习，从而提高教 学质量。远程教育已经成为学校教育的补充和扩展，国家教育部在全国6 7 所高校 设立了网络教育学院，为教育事业服务。 远程教学系统是能够继承传统教学模式的优点，再现课堂真实场景基础上的 有着更多优点的系统，其功能中最重要的部分是教学授课功能部分。目前，可以 通过现代通信网络传输教师的图像、声音和电子教案给学生，同时回送学生的声 音和图像给教师，来完成授课和师生之间的交互功能。 对远程教学系统而言，最关键的是对视音频信号的实时编解码和实时传输， 其次要关注的问题是对传输的控制以及接收端的视音频同步等。目前的解决方案 可以分别从硬件和软件两个方面考虑【2 J ，虽然硬件方案是较多采用的一种方案，但 是纯硬件的产品投资比较大，性价比不高，容易出现故障且不易维护，硬件系统 的升级换代也不容易。因而，纯软件的实现方案代表着远程教学系统的发展方向。 在系统的设计与实现中，不可回避的问题是需要传输的视音频信息体积庞大， 除了采用视音频的压缩这种方式之外，必须采用先进的网络播放技术来实现边发 送边播放。不久前发展起来的流媒体技术为网上实现视音频的开发、传输提供了 强大的支持。本文的主要工作就是研究流媒体及其相关技术，并在此基础上开发 纯软件的远程教学系统。 1 2 目前研究现状 目前的纯软件远程教学系统方案多使用的是多媒体视频会议的软件系统，代 表性的有：N e t s c a p eC o n f e p e n c e 、W h i t e P i n eC U s e e m e 、M i c r o s o RN e t M e e t i n g 等。 其中，N e t M e e t i n g 在功能实现上更为全面。 N e t M e e t i n g 实现在两个I P 之间建立视音频数字会议，双方或者多方可以交换 文件，使用白版交流，视音频交互以及共享桌面等。N e t M e e t i n g 支持I T U 的H 3 2 3 标准和T 1 2 0 标准，以及I E T F 的L D A P 目录服务标准。由于N e t M e e t i n g 是基于 C O M 组件技术实现的，提供的大量编程接口使得N e t M e e t i n g 的二次开发变得非常 容易。N e t M e e t i n g 把所有的底层技术都封装在C O M 组件里，只要通过访问接口就 基于流媒体技术的远程教学系统研究与实现 可以实现全部功能。N e t M e e t i n g 的组件构成如图1 1 所示。 互互 圃 oDoo l望竺!j 圈1 ，1N e t M e e t i n g 组件构成 但是，在实际的运用中，N e t M e e t i n g 有很多不足之处：N e t M e e t i n g 使用的视 音频标准主要针对低码率编码，所以视音频的质量不高；N e t M e e t i n g 只能实现点 对点的通讯模式，参与教学的个体如果是多个，则只有两个点能进行视音频的交 互【3 1 ：N e t M e e t i n g 在视音频捕获时采用的是V F M ( V i d e o F o rW i n d o w ) 这种已经被 淘汰的技术，不能适应最新的发展需要：另外，N e t m e e t i n g 不支持异步教学所需要 的视频点播功能。正因为存在这些不足，需要设计丌发新的远程教学系统来解决 这些问题。 另一方面，为了使网络视频传输更加流畅，近年来，流媒体( S t r e a m i n g M e d i a ) 技术得到了广泛的关注。流媒体技术是一种可以使视频、音频积其它多媒体在 I n t e m e t 及I n t r a n e t 上以实时的、无需下载等待的方式进行播放的技术。流媒体技 术发端于美国，国际上主要厂商有M i c r o s o f t 、R c a l N e t w o r k s 和A p p l e 公司，相应 的产品是W i n d o w sM e d i a 、R e a lS y s t e m 和Q u i c k T i m e 【4 川。 R e a lN e t w o r k s 公司的所制定R e a l S y s t e m 由媒体内容制作工具、服务器端和客 户端软件组成，所采用的自适应流技术可以自动并持续地调整数据流量以适应实 际应用中各种不同带宽需求。R e a lN e t w o r k s 的视音频压缩规范称为R e a lM e d i a 是目前在I n t e r n e t 上相当流行的跨平台客户，服务器结构的多媒体应用标准，它采用 音频视频流和同步回放技术来实现在I n t r a n e t 上全带宽地提供最优质的多媒体，同 时也能够在I n t e m e t 上以2 8 8 K b p s 的传输速率提供立体声和连续视频。R e a l M e d i a 包括三类文件：R e a lA u d i o 、R e a lV i d e o 及R e a l F l a s h 。 A p p l e 计算机公司的Q u i c k T i m e 是数字媒体领域事实上的工业标准，可咀通过 I n t e r n e t 提供实时的数字化信息流、工作流与文件回放功能，它由三个不同部分所 第一章绪论 组成：Q u i c k T i m e 电影( M o v i e ) 文件格式、Q u i c k T i m e 媒体抽象层以及Q u i c k T i m e 内置媒体服务系统。 M i c r o s o f t 公司也推出一整套包括流媒体制作、发布和播放的信息流式播放方 案M i c r o s o f tM e d i aT e c h n o l o g y 。M e d i aT o o l s 提供了一系列的工具帮助用户生成 A S F ( A d v a n c e d S t r e a m i n gF o r m a t ) 格式的多媒体流。A S F 是一个独立于编码方式 的、在I n t e m e t 上实时传播多媒体的技术标准，M i c r o s o f t 公司希望用A S F 取代 Q u i c k T i m e 之类的技术标准以及W A V 、A V I 之类的文件扩展名，并打算将A S F 用 作将来的W i n d o w s 版本中所有多媒体内容的标准文件格式。 另外， K e y n o t eS y s t e m s 和I B M 等公司也分别利用各自的优势向流媒体领域 扩张。据统计，目前I n t e m e t 上每周约有4 8 0 0 0 小时的广播节目，近半数的跨国企 业公司在内部使用流媒体实现W e b 广播。英国N T LB r o a d c a s t 公司对流媒体发展 潜力进行的调查发现，8 0 以上的广播机构和节目提供者对流媒体的未来充满信 心，大多数认为采用流媒体是一种获得新的观众和听众的途径。 在网上开展远程教学活动，需要解决的一个主要问题是视频数据的传输。由 于视频数据的大量信息和有限的传输带宽使得视频的压缩编码、传输信道和网 络协议的选择成为视频传输应用中的关键技术。流媒体技术为网上实现视频、音 频的开发和传输提供了有利的支持，己逐渐成为互联网中视频、音频传输的核心 技术。在国内市场上，对于I E G S 推荐R T P R T C P 协议和M P E G 一4 基础上的视频 编码的研究和应用比较少，国内的媒体播放通常采用微软的多媒体编程接口，这 也是需要改进的地方。 1 3 论文研究的意义和所做的工作 本文从远程教学的实际应用着手，聚焦于改进教学系统中的视音频直播方面， 结合流媒体的开发平台- - D i r e c t S h o w ，实现纯软件的远程教学系统。文章首先分析 网络多媒体应用中常用的流媒体技术，对流媒体的技术原理和播放方式进行了深 入探讨，重点研究视音频数据的同步问题，提出一套同步的方法，并证明该方法 有较好的效果。其次分析M P E G 一4 系统和视频编码方式与编解码器结构，因为系 统涉及到网络上的传输，因而也对适合网络传输的视频编码做了综述。理论研究 部分最后讨论的是视频传输的控制技术文章在指出T C P I P 支持多媒体传输的不 足之后深入分析R T P 的特点、内容，认为该协议非常适合视频信息的网上传输。 而后给出视频传输框架，对传输的M P E G 4 视频流做了结构上的分析，提出R T P 组帧算法。对网络传输不可避免的拥塞控制，提出一种拥塞反馈控制算法。 文章研究的另外一个方面是系统的设计和实现部分。首先介绍设计实现系统 的技术基础D i r e c t S h o w 以及涉及到的C O M 技术，研究D i r e c t S h o w 体系结构、基 基于流媒体技术的远程教学系统研究与实现 本原理和基本构件，并对丌发的关键部分F i l t e r 开发做了分析。然后按照视音频采 集、编码、传输、回放这一顺序，依次进行逻辑上的设计和代码上的实现。本文 的理论研究和实际开发有着重要的价值，使用D i r e c t S h o w 技术，以纯软件方式实 现的远程教学系统，降低了远程教育成本，增加了配置灵活性、兼容性以及扩展 性。另外，视频传输的理论部分研究，对于视频直播系统在其他行业中的应用也 有一定参考价值。 1 4 论文的结构 论文的结构安排如下： 第一章绪论，简述论文的研究对象、研究目的和所完成的工作等基本情况。 第二章流媒体及其同步技术，介绍流媒体的基本概念，研究流媒体的技术原 理和播放方式，分析影响流媒体同步的因素并给出同步的参考模型和控制方法。 第三章M P E G 4 与编码技术，概述M P E G 系列压缩标准之后介绍M P E G 一4 系 统，分析视频的数据结构、编码以及编解码器结构，对应用于传输的视频编码做 了分析比较。 第四章视频传输控制技术，分析T C P I P 在支持多媒体方面的不足，介绍 R T P R T C P 协议以及基于R T P 的视频流传输框架，而后分析视频数据打包和组帧 算法使之更适合网络传输，介绍拥塞控制协议和提出拥塞反馈控制算法。 第五章远程教学系统实现，介绍D i r e c t S h o w 技术构架和过滤器的开发技术， 论述系统的设计思想和实现方法。 第六章结论和将来的工作。总结本文所做工作，计划将来的研究方向。 第二章流媒体及其同步技术 第二章流媒体及其同步技术 2 1 流媒体的概念 目前，主要有下载和流式传输两种方式在网络上传输视音频等多媒体信息。 采取下载方式时，视音频文件一般较大，加上网络带宽的限制，下载需要花费很 多的时间，这种处理方式的延迟很大。采用流式传输时，视音频等媒体由视音频 服务器向用户计算机连续、实时地传送，用户端只需要经过很短时间地启动延迟 即可进行观看。 流媒体是应用流技术在网络上传输的连续时基媒体，比如音频、视频或多媒 体文件。流技术就是把连续的视音频等多媒体信息经过压缩处理后放在服务器上， 让用户一边下载一边观看、收听，而不需要等到整个压缩文件下载到自己机器后 才可以观看的网络传输技术。 实现流式传输有两种方法：顺序流式传输( P r o g r e s s i v eS t r e a m i n g ) 和实时流 式传输( R e a l t i m eS t r e a m i n g ) 。顺序流式传输是顺序下载，在下载文件的同时用户 可观看在线媒体，在给定时刻，用户只能观看己下载的部分，而不能跳到还未下 载的部分。比如使用H T T P 服务器，文件就是通过顺序流传输方法发送的。实时 流式传输指保证媒体信号带宽与网络连接相匹配使媒体可被实时观看到的传输 方式。实时流与H T T P 流式传输不同，它需要专用的流媒体服务器与传输协议。 比如使用流式传输媒体服务器或使用实时协议的应用运用的就是实时流式传输。 2 2 流媒体的技术原理 I n t e m e t 是以包传输为基础进行断续的异步传输，在传输中一个实时视音频源 要被分解为许多包，各个包选择的路由可能不尽相同，故到达客户端的时间延迟 也就不等，甚至先发的数据包有可能后到。为此，流式传输的实现需要缓存系统 来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使多媒体数据能连续 输出，而不会因为网络暂时拥塞使播放出现停顿。通常的高速缓存所需容量并不 大，高速缓存使用环形链表结构来存储数据，通过丢弃已经播放的内容，流可以 重新利用空出的高速缓存空间来缓存后续尚未播放的内容，如图2 1 所示。 流入缓冲区 的文件数据 l 播放终端 缓冲区 图2 1 流缓冲示意图 日缓冲区输出 言 6 基于流媒体技术的远程教学系统研究与实现 流式传输的实现需要合适的传输协议。在流式传输中，一般采用H T T P T C P 来传输控制信息，而用R T P U D P 来传输实时多媒体数据。以一个基于W e b 的应用 为例，当用户选择某一流媒体服务后，W e b 浏览器与W e b 服务器之间使用 H T T P T C P 交换控制信息，以便把需要传输的实时数据从原始信息中检索出来，然 后客户机上的W e b 浏览器启动_ H e l p e r 程序，使用H T T P 从W e b 服务器检索相 关参数对H e l p e r 程序初始化。A VH e l p e r 程序及V 服务器运行实时流控制协议， 以交换A v 传输所需的控制信息。A V 服务器使用R T P U D P 协议将A V 数据传 输给A V 客户程序，一旦A V 数据抵达客户端，A V 客户程序即可播放输出。流 媒体传输的基本原理如图2 2 所示。 图2 2 流式传输基本原理 与传统的下载一回放方式相比，这种对多媒体文件边下载边播放的流媒体传输 方式具有以下突出的特点【6 1 ： 启动延时大幅度地缩短，用户不用等待所有内容下载到本地才开始浏览，而 是采取一边下载一边播放的策略，因此缩短了等待时间；虽然流媒体传输仍需要 缓存，但由于不需要把所有内容全都下载到缓存中，因此对缓存的要求大大降低； 需要传输的多媒体数据量非常庞大，而且在传输过程中经常会发生突发性：多媒 体文件中不同数据部分在重要性上分布不均匀：视频流数据在网上传输不仅对丢 包和比特错误敏感，对传输延迟和实时性也同样敏感；以特定的实时传输协议传 输。另外，表2 - 1 列出的是部分媒体可接受的差错率和服务质量，其中B E R ( B i t E r r o r R a t e ) 表示可接收的差错率，P E R ( P a c k e tE r r o rR a t e ) 表示可接收的分组差错率， 表中的内容和数据说明流媒体传输在一定程度上允许错误，甚至以局部错误换取 整体效率和质量。 表2 - I 部分媒体的可接受差错率及服务质量 信息类型对网络要求 B E RP E R 语音实时性：延时、抖动敏感：误码相对不敏感 = M a x P L ) 根据宏块打包，尽 可能多的宏块打入R T P 包，宏块数量以不超过M a x P L 为限； 1 e l s e 对视频的结束编码 第四章视频传输控制技术 对剩余数据的编码： 其中，B i t c o u n t ：计数器，用于记录当前打包过程所读比特数； M a x P L ：最大的有效负荷长度； V o p _ s t a r t _ c o d e ：V O P 开始的预定义编码，被当作连续V O P 间的分界。 4 - 3 4R T P 组帧算法 视频数据拆成几个R T P 包发送后，不能保证按顺序达到，接受方要根据一定 的规则来将R T P 包重新组合成一帧。 属于同一帧的R T P 包具有相同的时间戳，其序号由R T P 头的s e q u e n c e n u m b e r 字段指明，由于视频帧的帧长是不固定的，因此在R T P 报文头添加了两个扩展字 段，即帧长( P a c k L e n ) 和包长( F r a m e L e n ) ，根据这些信息就可以重组一个信息 帧，基本流程如图4 7 所示。 图4 7 组帧基本流程 3 4 基于流媒体技术的远程教学系统研究与实现 由于R T P 包可能不是按顺序到达的，采用上面的方法可能造成较高的丢弃率， 为了补偿这种因延迟而造成的抖动，采用大缓冲区来解决这个问题，即在R e c v R T P 层为达到的R T P 包开辟了一个较大的缓冲区，为了便于处理数据，在程序中以一 个限定了最大长度的链表来表示这个缓冲区，接受端将接收到的R T P 包插入缓冲 区中合适的位置。 在采用大缓冲区后组帧算法相同，只是在处理完一帧后，反馈回一个二元组 ( T ，S ) ，这个二元组表示R T P 包组帧单元期待的下一个包的时间戳为T ，包序号 为S 。图4 8 示意了该过程。 缓冲区 图4 8 回馈示意图 当R T P 包组帧单元处理完一个R T P 包后如果发现此帧尚未结束，则将二元组 中的T 值设置为该帧的时戳，s 设置为刚处理完的R T P 包序号值加l ，并将这个 二元组反馈给系统。系统如发现缓冲区中的第一个包符合要求，则将此包从缓冲 区中取出并递交给成帧单元处理。否则搜索缓冲区，搜索停止条件有两个，一个 是发现符合的包，另一个是发现一个时间戳大于T 或等于T 且包序号大于s 的包。 在搜索过程中，如果发现R T P 包不符合上面条件，则删除这个包，因为这个包肯 定会被组帧单元抛弃。 第一种情况下，递交这个符合要求的包给组帧单元进行处理，第二种情况则 表明缓冲区中没有符合要求的包。此时，如果缓冲区中的包的个数大于L 2 ，则认 为所需要的包已经在网络传输中丢失，这时则将缓冲区的第一个包递交给组帧单 元；如果缓冲区中包的个数小于L 2 ，则认为所需要的包可能在网络传输中，这时 则等待，直到所需要的包出现( 此时提交这个包进行处理) 或者缓冲区的长度大 于L 2 ( 此时提交缓冲区中的第一个包进行处理) 。 当组帧单元处理完一帧或者抛弃一帧，则将二元组中的T 设置帧的时间戳，s 设置为0 ，系统将缓冲区中的第一个包取出递交给组帧单元处理。 接受端的算法就是如果一帧的其中一个R T P 包被丢弃，就会造成整个帧在接 受端被丢弃，所以为了节约带宽。如果缓冲队列已满而造成一个R T P 包丢弃的话， 则告诉该系统将该帧剩下的R T P 包也丢弃，即使缓冲队列尚未满也不再放入R T P 包。 第四章视频传输控制技术 4 。4 拥塞控制 突发丢失和超时延时对视频质量具有破坏性的效果，而它们往往是由网络拥 塞造成的，减少丢包和延迟的一个方法是在信源和或接收端应用拥塞控制机制， 因此为M P E G 一4 视频传输加上端到端的拥塞控制机制是非常重要的。另外，目前 I n t e m e t 上的主要流量是基于T C P 协议的，所采用的拥塞控制技术必须是T C P 友 好的，即传输时不应该影响其他T C P 流的正常传输。 应用级别的Q o S 控制通过端系统拥塞控制来实现口”，好处在于不需要对当前 的网络和路由器进行任何改造，由端系统应用程序来实现Q o S 控制，端系统拥塞 控制机制对I n t e m e t 的健壮性和稳定性非常重要p 。拥塞控制有两种机制：码率控 制和码率整形。码率控制通过使视频流的码率与可用的网络带宽相匹配，力求将 网络拥塞和丢包的数目降至最低。而码流整形是迫使信源以码率控制算法规定的 码率发送视频流。 4 4 1 码率控制 r 码率控制是一个基于估计的网络中可用带宽确定视频通信发送速率的技术。 现有的码率控制方案分为三类：基于信源的、基于接收端的和混合的码率控制。 基于信源的码率控制：在基于信源的码率控制下，有发信方负责调节视频传 输码率。通常，基于信源的码率控制机制要利用反馈。发信方根据网络的反馈信 息调节视频流的码率。基于信源的码率控制可应用于单播和组播。 对于单播，现有的机制按照两种方法实现：基于探测器的方法和基于模型的 方法。基于探测器的方法建立在探测实验的基础上。具体地，信源通过调节发送 的码率探测可用的网路带宽，方法是使丢包率p 小于某个阈值P 。基于模型的方法 建立在一个T C P 连接的吞吐量模型上，确切地，个T C P 连接的吞吐量可由下式 表征： z = ( 1 。2 2 ×M T U ) ( R T T X4 P )式( 4 - 1 ) 其中， 是T C P 连接的吞吐量，M T U 是该连接所用包的大小，R 阿是这个连 接的往返时间，P 是该连接经历的丢包率O 在基于模型的码率控制下，式( 4 - 1 ) 用于决定视频流的发送码率。这样，视频连接可以通过类似于T C P 的方式避免拥 塞，并且可以和T C P 流公平竞争。因此，基于模型的码率控制又称为“T C P 友好 的”码率控伟l J 4 。 对于基于信源的码率控制下的组播，发信方使用一条通道把视频发送到接收 端，所以，组播又称为“单信道组播”，对于单信道组播只能使用基于探测器的码 率控制。 由于所有的接收端共用一条信道，单信道组播是高效的，然而单信道组播不 基于流媒体技术的远程教学系统研究与实现 能提供灵活的服务以满足具有各种接入带宽的接收端的不同要求。相反，如果通 过各自的单播流传送多点视频，那么带宽的利用率很低，单服务可以被区分开， 因为每个接收端都可以与信源协商服务参数。单播和单信道组播是两种极端情况， 如图4 9 所示。为了实现多点传送视频在带宽利用率和服务灵活性之间较好的折 中，已经提出了基于接收端的码率控制和混合码率控制。 单通道 多点发送 低 J 局 单点发送 基于接收端混和的 码率控制 高 低 图4 9 利用率和灵活性之间的折中 基于接收端的码率控制：在基于接收端的码率控制下，接收端通过增加或丢弃 通道来调节视频流码率，而发信方不参与码流控制。一般，基于接收端的码率控 制只用于分层的组播，而不应用于单播。 类似基于信源的码率控制，现有的基于接收端的码率控制机制按照两种方法 实现：基于探测器的方法和基于模型的方法。基于探测器的方法的码率控制包含 两部分：当没有检测到拥塞时，接收端通过增加一层来探测可利用带宽，从而提 高它的接收码率，若在加入一层后没有检测到拥塞。则加入试验成功。否则丢弃 新加入的层；如果检测到拥塞，接收端丢掉一层，使它的接收码率降低。不同于 通过检测器实验隐含地估计可用网络带宽的基于检测器的方法，基于模型的方法 直接估计可用网络带宽。基于模型的方法是基于T C P 连接的吞吐量模型，如在基 于信源的码率控制下所描述的那样。 混合的码率控制：在混合的码率控制下，接收端通过增加或丢弃通道来调节 接收码率。同时发信方根据从接收端反馈回的信息也调节发送码率。混和码率控 制的一个例子是目的地集分组。 另一方面，通过码率整形技术可以将预压缩的视频比特流的码流修正到目标 码流限制；码流整形器是压缩层和网络传输层之间或两个网段之间的一个接口， 通过它可以达到视频流与可用带宽之间的匹配。 第四章视频传输控制技术 4 4 2 拥塞控制协议 对于拥塞控制的协议，人们已经做了大量的研究和实验，下面从基于模型和 基于窗口两个方面分析几种已有协议。主要分析基于模型的协议R A P 、T F R C 和 基于窗口的协议R a i n b o w 。 1 R A P 速率自适应协议R A P ( R a t e A d a p t i o n P r o t o c 0 1 ) 是单播流的一个简单A I M D 方 案，每个数据分组被接收确认。A C K 用来探测数据丢失并推断I m 。当协议经历 拥塞时，将发送速率减半。在没有拥塞的周期，发送速率以每R T T 增加一个分组 的速率增加。为了提供附加的细粒度避免基于延迟的拥塞，一个短期I 盯T 平均值 和一个长期R T T 平均值的比率用来修正连续数据分组之间的分组间隙。通过对这 些细粒度的速率的调整可以得到较为平滑的发送速率。因为R A P 速率减少与T C P 对三重确认A C K 的响应类似，所以在T C P 没有或者很少经历超时的环境中，R A P 可以获得与T C P 相同的速率。然而，R A P 没有考虑到超时的影响，因而当T C P 吞吐量主要由超时事件支配时，R A P 表现的较有侵略性。 2 T F R C T C P 友好速率控制协议T F R P ( T C P F r i e n d l y R a t eC o n t r o lP r o t o c 0 1 ) 【4 I j 是建立 在早先的T F R C P 基础上的，同T F R C P 一样，它基于复杂的T C P 方程调整速率， 但却使用更精密的方法收集必要的参数。协议的提出者阐述了丢失率评估量的一 些必要条件，得出的结论是平均丢失间隔方法可以很好满足这些需求。丢失率根 据丢失间隔来测量，丢失间隔表示连续丢失事件中间横越的分组数量。在刚启动 时，发送端进入类似于T C P 慢启动阶段，快速地增加了速率以了解公平的带宽份 额。T F R C 慢启动阶段终止于第一个丢失事件。对于每个R T T ，T F R C 接收端更新 参数，发送状态报告到发送端。发送端根据参数计算新的公平速率，相应地调整 发送速率。T F R C 的一个主要优点是具有相对稳定的发送速率，同时仍能为竞争的 通信量提供足够的响应。 3 R a i n b o w R a i n b o w 是一个针对块数据可靠传输的基于窗口的拥塞控制方案。它的关键想 法是接收端独立地请求每个数据分组的传输。每个接收端维持了一个拥塞窗口， 每个请求被标记指示请求在拥塞窗口的位置，如果接收到不同接收端的多个请求 有相同标记，则这些请求被中间的路由器积聚。另外，路由器存储它们接收到请 求的有关信息。 哪一个拥塞控制最适合给定的任务，很大程度上依赖于网络特征和发送应用 的通信量要求。没有哪种拥塞控制协议在所有情况下都是最优的，图4 1 0 比较了 上面分析的三种协议。 3 8基于流媒体技术的远程教学系统研究与实现 项目拥塞控制机制网络支持协议复杂一陛速率平滑性T C P 友好 R A P 速率端到端低 锯齿形 有限 T F R C 速率端到端 由 平滑好 R a i n b o w窗口需要低锯齿形好 图4 1 0 几种拥塞控制协议特点比较 4 , 4 f 3 拥塞反馈控制算法 当今网络状况是没有提供资源预留机制和服务质量保证，可用带宽不仅无法 预先知道，而且会随着时间不断变化而发生变化，这些情况对视音频的传输都是 不利的，因此视音频源预先感知网络状况以便决定编码器的输出码率是必要的。 算法设计的思路是这样的，首先使视频源增长其传输速率来检测可用带宽， 直至其增长到可用带宽，然后继续增长，超过可用带宽而出现拥塞。文献 4 2 】中证 明使用R T T 的反馈拥塞算法的链路吞吐率低于使用丢包率的反馈拥塞算法，因此 利用某段时间内的丢包率作为判断网络是否拥塞的标准。通过包丢失和延迟的检 测，在接收端会得到网络拥塞情况，接收端发送R T C P 反馈信息给源端，源端接 收到信息立即降低传输码率。在传输控制设计中，R T C P 在源端和目的端分别使用 发送报告s s 和接收报告R R 来提供Q o S 反馈，为了避免长时间没有控制包，发送 方和接收方至少间隔5 秒发送一个控制包。接收端在包输入到缓冲区前检测丢包 率，通过Q o S 监视器检测R T P 包序列，进而判断包丢失情况，最大回放延迟是四 个包。当检测到包丢失时，把检测信息发送到错误控制处理部分。 一般的反馈控制算法分析如下：定义五为返回的R T C P 包所包含丢包率，反映 的是接收端自上一个R T C P 包后的n 个包时间间隔内所检测的丢包情况，0 为发送 端初始速率，r m 。为最小速率，。为最大速率，口为线性增量因子，为
