时间：2022-11-06 19:18:51
引言：易发表网凭借丰富的文秘实践，为您精心挑选了九篇媒体技术范例。如需获取更多原创内容，可随时联系我们的客服老师。
1、流媒体的出现
长期以来，由于受到网路带宽的限制，互联网上的数据都是以文字、图片之类的静态内容为主，而那些音频、视频数据很难在网上，因为一般非压缩的广播级品质视频需要160Mbps的网络带宽；非压缩CD音质的音频则需要大约2.8Mbps的网络带宽。目前大部分网络用户的带宽还只是56Kbps，这与音频、视频的传播要求相差甚远。网络带宽很难在短期内得到迅速提升，因此要实现网上音频、视频传播就必须在传播文件本身下功夫，这样就出现了流媒体(Streaming media)。所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式，而流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。
流媒体技术的开发创意是从传统的TCP/IP协议对通过网络传送信息的控制方法中得到的。当我们通过TCP/IP协议下载文件时，服务器会按照一定的次序将文件分成若干个独立的数据包，然后依次发送出去。而客户端的程序会将这些数据包重新组装起来，最终形成和原来完全一样的完整的文件。这时候，我们就可以对这个文件进行任何可能的操作了。流技术则不然。流技术能够按照特定的顺序将文件发送出去，而播放程序则可以边接收数据边播放他们。
2、流媒体形式简介
目前，在Internet/Intranet上提供流媒体服务的软件中应用广泛、成熟的产品还不多。 根据媒体形式的不同，流媒体可分为如下五类：
1）、流式音频。网上流式音频主要有数字化声音、音乐和语音识别三种形式，如ToolVox,RealAudio,Crescendo MIDI等。
2）、流式视频。如VDO Net公司的VDO Live，CISCO公司的IP/TV， XING Technology公司的StreamWorks等。
3）、流式动画。如Macromedia公司的FLASH矢量动画。
4）、流式图象。新推出的RealPlayer G2支持RealPix流式图象文件格式。
5）、流式文本。新推出的RealPlayer G2支持RealText流式文本文件格式。
二、流媒体实现的关键技术---流式传输
流式传输的定义很广泛，现在主要指通过网络传送媒体（如视频、音频等）的技术总称。其特定含义为通过INTERNET将影视节目传送到PC机。
1、 流式传输的方式
实现流式传输有两种方法：顺序流式传输（progressive streaming）和实时流式传输（Realtime streaming）。
1)、顺序流式传输（progressive streaming）
顺序流式传输是顺序下载，在下载文件的同时用户可观看再线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的HTTP服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作HTTP流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。这意味着用户在观看前，必须经历延迟，对较慢的连接尤其如此。
顺序流式文件是放在标准HTTP 或 FTP服务器上，易于管理，基本上与防火墙无关。顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说与演示。它也不支持现场广播，严格说来，它是一种点播技术。
2）、实时流式传输（Realtime streaming）
实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际上，可能发生周期暂停。
实时流式传输必须配匹连接带宽，这意味着在以调制解调器速度连接时图象质量较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。如欲保证视频质量，顺序流式传输也许更好。实时流式传输需要特定服务器，如QuickTime Streaming Server、RealServer与Windows Media Server。这些服务器允许你对媒体发送进行更多级别的控制，因而系统设置、管理比标准HTTP服务器更复杂。实时流式传输还需要特殊网络协议，如：RTSP (Realtime Streaming Protocol)或MMS (Microsoft Media Server)。这些协议在有防火墙时有时会出现问题，导致用户不能看到一些地点的实时内容。
2、流式传输的原理
1）流式传输的实现途径与过程
首先，多媒体数据必须进行预处理才能适合流式传输，这是因为目前的网络带宽对多媒体巨大的数据流量来说还显得远远不够。预处理主要包括两方面：一是降低质量；二是采用先进高效的压缩算法。
其次，流式传输的实现需要缓存。这是因为Internet是以包传输为基础进行断续的异步传输。数据在传输中它们要被分解为许多包，由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因网络暂时拥塞使播放出现停顿。
再次，流式传输的实现需要合适的传输协议。WWW技术是以HTTP协议为基础的，而HTTP又建立在TCP协议基础之上。由于TCP需要较多的开销，故不太适合传输实时数据。在流式传输的实现方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时声音数据。 2） 、支持流媒体传输的网络协议
A、实时传输协议RTP与RTCP
RTP： 实时传输协议（Real－timeTransportProtocol）一种用于Internet上针对多媒体数据流的一种传输协议。
RPCP： 实时传输控制协议(Real－timeTransportControlProtocol)和RTP一起提供流量控制和拥塞控制服务。
RTP是用于Internet上针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但RTP也可以在TCP或ATM等其他协议之上工作。当应用程序开始一个RTP会话时将使用两个端口：一个给RTP，一个给RTCP。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。通常RTP算法并不作为一个独立的网络层来实现，而是作为应用程序代码的一部分。
实时传输控制协议RTCP和RTP一起提供流量控制和拥塞控制服务。在RTP会话期间，各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。 B、 时流协议RTSP
RTSP：实时流协议 (RealTimeStreamingProtocol) 定义了一对多的应用程序如何有效地通过IP网络传送多媒体数据。
实时流协议RTSP(RealTimeStreamingProtocol)是由RealNetworks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。HTTP与RTSP相比，HTTP传送HTML，而RTP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。
C、资源预订协议RSVP协议
RSVP：资源预订协议(ResourceReserveProtocol )正在开发的Internet上的资源预订协议。
由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高质量的音频、视频信息，除带宽要求之外，还需其他更多的条件。 使用RSVP预留一部分网络资源（即带宽），能在一定程度上为流媒体的传输提供方便
3） 、识别流媒体类型的途径--MIME
Web服务器和Web浏览器如何识别流媒体并进行相应的处理呢？答案是MIME。MIME是MultipurposeInternet MailExtensions（通用因特网邮件扩展）的缩略词。它不仅用于电子邮件，还能用来标记在Internet上传输的任何文件类型。Web服务器和Web浏览器都基于HTTP协议，而HTTP都内建有MIME。HTTP正是通过MIME标记Web上繁多的多媒体文件格式。
流式传输的过程一般是这样的：
1、 用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来
2、 然后客户机上的Web浏览器启动A/VHelper程序，使用HTTP从Web服务器检索相关参数对Helper程序初始化。这些参数可能包括目录信息、A/V数据的编码类型或与A/V检索相关的服务器地址。
3、 A/VHelper程序及A/V服务器运行实时流控制协议（RTSP），以交换A/V传输所需的控制信息。与CD播放机或VCRs所提供的功能相似，RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。
4、 A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序（一般可认为客户程序等同于Helper程序），一旦A/V数据抵达客户端，A/V客户程序即可播放输出。
需要说明的是，在流式传输中，使用RTP/UDP和RTSP/TCP两种不同的通信协议与A/V服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行A/VHelper程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和播放器，其基本原理如图一所示。
三、流媒体的播放方式
1、 单播
在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机,这种传送方式称为单播。每个用户必须分别对媒体服务器发送单独的查询,而媒体服务器必须向每个用户发送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚至停止播放；管理人员也被迫购买硬件和带宽来保证一定的服务质量。
2、 组播
IP组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上。采用组播方式，单台服务器能够对几十万台客户机同时发送连续数据流而无延时。媒体服务器只需要发送一个信息包，而不是多个；所有发出请求的客户只需连结到这个数据流而不是连结到视频服务器，从而降低带宽的使用。网络利用效率大大提高，成本大为下降。
3、 点播与广播
点播连接是客户端与服务器之间的主动的连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器，却会迅速用完网络带宽。
广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。例如，用户不能暂停、快进或后退该流。广播方式中数据包的单独一个拷贝将发送给网络上的所有用户，而不管用户是否需要。
使用单播发送和广播方式发送的方式会非常浪费网络带宽，组播吸收了上述两种发送方式的长处，克服了上述两种发送方式的弱点，组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要它的那些客户，保证了网络上多媒体应用占用网络的最小带宽。
四、流媒体的文件格式
1、 压缩媒体文件格式
压缩格式有时被称为压缩媒体格式，包含了描述一段声音和图象的同样信息，尽管它的文件大小被处理得更小。很明显，压缩过程改变了数据位的编排。在压缩媒体文件再次成为媒体格式前，其中数据需要解压缩。由于压缩过程自动进行，并内嵌在媒体文件格式中，通常我们在存储文件时没有注意到这点。该过程如图二所示。
2、 流式文件格式
流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到下载完整个文件才能播放。可以在网上以流的方式播放标准媒体文件，但效率不高。将压缩媒体文件编码成流式文件，必须假如一些附加信息，如计时、压缩和版权信息。编码过程如图三所示。表一列举了常用的流式文件类型。
3、媒体格式
媒体格式不是压缩格式，也不是传输协议，其本身并不描述视听数据，也不提供编码方法。媒体格式是视听数据安排的唯一途径，物理数据无关紧要，我们仅需要知道数据类型和安排方式。以特定方式安排数据有助于流式多媒体的发展，因为我们希望有一个开放媒体格式为所有商业流式产品应用，为应用不同压缩标准和媒体文件格式格式的媒体提供一个事实上的标准方法。我们也可从以相同格式同步不同类型流中获益。 总有一天，单个媒体格式能包含不同类型媒体的所有信息，如计时、多个流同步、版权和所有人信息。实际视听数据可位于多个文件中，而由媒体文件包含的信息控制流的播放。常用媒体格式如表二所示。
五、媒体服务器
1、媒体服务器的硬件平台
视频服务器的工作模式是当服务器响应客户的视频流后，从存储系统读入一部分视频数据到对应于这个视频流的特定的缓存中，然后此缓存中的内容送入网络接口发送到客户。当一个新的客户请求视频服务时，服务器根据系统资源的使用情况，决定是否响应此请求。系统的资源包括存储I/O的带宽、网络带宽、内存大小和CPU的使用率。
1) 、目前有三中类型的视频服务器结构：
A、通用主机方法
最早的通用视频服务器采用计算机主机来实现其功能，它运行在一个标准的操作系统上，如UNIX系统，硬件由一系列众多的的视频磁盘阵列组成。视频服务器的主要功能是存储、选择、传送大量的数据，却很少进行数据处理。因此，将主机作为视频服务器既不利于发挥主机的主要功能，有增加了系统的成本，因为必须提供大量的并非必须的硬件和软件。因此，有必要研究具有专门的功能、结构简单的视频服务器。
B、紧耦合多处理机
按照视频服务器功能要求，制作出大量完成某项指令或专门功能的硬件单元，然后将相关单元组合成相应的专用系统。这些系统有的擅长创建静止图象，有的是数据库管理器，还有的是网络设备和其它动态视频的数据库。最后将这些系统级联起来构成紧耦合多处理机实现的视频服务器。这种服务器费用低、性能高、功能强，具有解决专项问题的特征，但节目受到一定的限制，扩展性较差。
C、调谐视频服务器
调谐视频服务器的主板有一个有独特微码的嵌入式仿真器控制。磁盘控制器、ATM打包器和记帐计算机接口都利用这些极高速的仿真器来提供它们的功能和各功能块间的通讯。仿真器是通过特殊的寄存器总线和微码紧密耦合的。调谐视频服务器的结构是可扩展的。只要在主板中插入更多的服务通路，就可以达到扩容的目的。
2、 视频服务器的软件平台
网络视频平台包括媒体内容制作、发行与管理模块、用户管理模块、视频服务器。内容制作涉及视频采集、编码。发行模块负责将节目提交到网页，或将视频流地址邮寄给用户。内容管理主要完成视频存储、查询；节目不多时可使用文件系统，当节目量大，就必须编制数据库管理系统。用户管理可能包括用户的登记和授权。视频服务器将内容通过点播或直播的方式播放。对范围广、用户多的播放，可在不同区域的中心（如中国华东上海、华北北京、华中武汉等）建立相应的分发中心，协同完成播放。此外，对商业站点，还应包括计费系统等。网络视频播放的结构如图三所示。
1）任务服务(Session Service)
建立和维持客户和服务器之间的通信通道；为特定的客户设备管理一系列的服务器资源；每一个客户设备只分配一个任务。
2）内容服务(Content Service)
其操作过程如下：
⑴、 为当前的一个或多个视频主题查询内容；
⑵、 容服务返回一个与所需要的视频内容相关联的"assetcookie"；
⑶、 客户把"assetcookie"交给流服务,准备视频内容"流化"
⑷、 流服务用节目解析器解析出"assetcookie"；
⑸、 流服务定位MDS中所关联的节目内容；
⑹、 流服务指引"视频泵""流出"节目内容到客户端。
3）流服务（StreamService）
流服务指引"视频泵"（VideoPump）以实时流的形式分发数据（MPEG-1或MPEG-2传输流）到客户端；同"视频泵"一起执行VCR控制功能（暂停、继续、快进、快退）；客户端通过媒体网络（MediaNet）以流（MediaNetStream）的形式接收BLOB数据；
-BLOB（BinaryLargeOBject）二进制大对象，如bitmap（位图）、imagestills（静止画面）及客户需要下载供本地访问的一些存储在VS中的数据，以可靠方式传输（通过MN），而实时视频流的传输往往被认为是不可靠的（如图五）。
4）媒体数据存储服务（MediaDataStoreService-MDS）
进行文件管理（创建、存储、修改、删除）及目录管理功能；当"视 频泵"(videopump)要"播"一个视频文件时，它先给MDS目录服务器（MDSDirectoryServer）发一个消息打开文件，然后从该目录服务器得到这个文件的磁盘布局数据；由于影像文件都很大，视频服务器采用RAID（Redundant Arrays of Inexpensive Disks）存储影像文件；所有用来存储影像节目文件的磁盘称作一个卷（volume）,每个卷都有一个TOC（table of contents），存储卷里面的文件及它们在磁盘阵列的位置，TOC的大小决定了一个卷能存储文件的个数；AStripe是卷上所有磁盘同样大小的一块存储空间；Striping是把一个文件分散成片（块）存储在不同的磁盘上，可以减少单块盘的访问次数和时间，以利于并发流的处理；存储节目时，先存tableofcontents（如文件的大小、创建的时间、在磁盘阵列中的位置等），然后横跨磁盘连续地存储，每一块盘上存一个stripe，当写完第一个RAID后，继续下一个RAID，当写到最后一个RAID的最后一块硬盘时，又从第一个RAID写起。当最后一个stripe没写满时，会留下空的小块，下次写盘时，又从下一个RAID开始写盘；因为采用RAID存储机制，当硬盘出现故障，不影响视频服务器正常运行，数据不会丢失。视频服务器还支持"热插拔"（hot－swap）磁盘。
5）文件（节目）上传和下载（FTPService）
视频服务器提供远程访问MDS的能力，即mdsftp。远程客户计算机 运行FTP即可上传和下载视频服务器中的MDS文件（影像节目文件），如图六所示。
视频服务器还提供远程两台视频服务器之间上传和下载MDS文件（影 像节目文件）的能力，这特别适合分布式大规模VOD系统的实现。
6）RTSP服务
RTSP（RealTimeStreamingProtocol）服务处理客户与服务器之间的 通信任务；接收客户基于RTSP协议的请求；把请求映射为适当的基于媒体网络（MN）的视频服务器呼叫；执行呼叫到合适的视频服务器进程；转发视频服务器应答并返回给客户如图七。
六、未来属于流媒体
人们常说互联网是一场革命，实际上在流媒体全面发展之前，这场革命是不彻底的。没有流媒体的互联网无声无影,所谓"虚拟的世界"的说法名与实相去太远。流媒体技术全面应用后，人们在网上聊天就不必用文字表达自己的语言了，直接语音输入就行了。如果想彼此看见对方的容貌、表情，只要双方各有一个摄像头就可以了；电子商务的货品展示也不再限于图片的二维观看了，看到感兴趣的商品，点击后，就会有讲解员和商品的影像出现，可以达到与现实完全一致的展示效果，而且你可以与讲解员进行现场交流；网上新闻也不仅仅只能用文字和图片表达，更有真实感的影像新闻也会出现。非但如此，流媒体还将给互联网带来全新的内容，如网络电视、网络影院、网上教育等。
流媒体发端于美国，目前的流媒体技术都源于美国，而且美国的带宽比国内丰富得多，因此流媒体在美国的应用已经非常广泛。像如今在美国如火如荼的MP3.COM就是得益于流媒体技术. 网络电视,相对于传统电视，它的优势是：
第一，提升电视台的形象，在国内众多的电视台网站中，能够把电视台最大的优势资源－－视频节目在互联网上进行全面应用的电视台并不多，网络电视能够马上提升电视台的国内国际形象。
第二，网络电视是一个全互动的电视概念，它是双向的，对电视台和观众的沟通反馈起着非常大的作用，传统电视这方面是相当弱的，基本上，它是单向的。
第三，网络电视除了能在互联网上进行广播外，它还能让全世界的网民对电视节目进行点播，想看什么就看什么，想什么时候看就什么时候看。传统电视能做到这一点吗？不能。
关键词：流媒体；传输协议；系统结构
流媒体（Streaming Media）是指采用流式传输的方式在Internet播放的多媒体格式。在流媒体出现之前，人们在互联网上获取音视频信息的唯一方式就是将音视频文件下载到本地计算机进行观看。而流媒体技术把连续的影像和声音信息以数据流的方式实时，即边下边播的方式，使得用户无需等待下载或只需少量时间缓冲即可观看，大大提高了音视频信息的可观赏性，节约用户时间及系统资源。
自从1995年progressive Network公司（即RealNetwork公司）第一个流产品以来，流媒体得到巨大的发展，已经成为目前互联网上呈现音、视频信息的主要方式。
1. 流媒体传输的方法
流媒体传输技术分为两类：:顺序流传输(Progressive streaming )和实时流传输(Realtime streaming)。
顺序流方式又叫渐进式下载，其传输方式是顺序下载，在下载文件的同时用户可观看在线内容，用户只能观看已下载的部分，而不能跳到还未下载的部分。由于标准的HTTP服务器可发送顺序流式传输的文件，也不需要其他特殊协议，所以顺序流式传输经常被称作HTTP流式传输。
实时流方式：实时流式传输使媒体可被实时观看到，特别适合现场广播并提供VCR 功能，具备交互性，可以在播放的过程中响应用户的快进或后退等操作。实时流式传输必须匹配网络带宽，其出错的部分一般被忽略，传输质量特别时低带宽时的质量要比顺序传输的差。实时流传输需要专门的流媒体服务器和流传输协议。
2. 流媒体技术原理
流式传输方式是指通过特定算法将音频和视频等多媒体文件分解成多个小的数据包，由服务器向客户端连续传送，用户可播放已经接收到的数据包，而不需要将整个文件下载到客户端。由于TCP协议不太适合传输多媒体数据，故在实时流媒体方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时数据。
3. 流媒体技术的系统结构
目前不同公司的流媒体解决方案各不相同。但就其本质来说，一个完整的流媒体系统至少包括三个组件:编码工具、服务器及播放器。这三个组件间通过特定的通信协议相互联系，按特定的格式相互交换数据。
4. 传输协议
流媒体系统各组件通过传输协议相互通信。对于顺序流传输，可采用HTTP协议进行传输。但HTTP协议并不适合传输实时流数据。在流式传输的实现方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时多媒体数据。传输协议是流媒体技术的一个重要组成部分，也是基础组成部分。它包括"RSVP(资源预留协议)"、"RTP(实时传输协议)"、"R T C P (实时传输控制协议)" 和"RTSP(实时流协议)"，这四种协议构成了"rea1-time"服务的基础。
4.1 资源预留协议RSVP (Resource Reserve Protocol)
RSVP是Internet上的资源预订协议，使用RSVP可以让流数据的接收者主动请求流数据上的路由器，为该数据流预留一分网络资源（即带宽），在一定程度上为流媒体的传输提供服务质量。
4.2 实时传输协议RTP与RTCP
RTP是用于Internet/Intranet针对多媒体数据流的一种传输协议。RTP被定义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同步。RTP通常使用UDP来传送数据，但它本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。RTCP和RTP一起提供流量控制和拥塞控制服务。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，特别适合传送网上的实时数据。
4.3 实时流协议RTSP
RTSP是由Real Networks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。RTSP 是应用级协议，它以底层的RTP和RSVP为依托，控制实时数据的发送，它提供了可扩展框架，使实时数据的受控、点播成为可能。在客户端应用程序中对流式多媒体内容的播放、暂停等操作都是通过RTSP协议实现的。
4.4 MMS协议（Microsoft Media Server Protocol）
与QuickTime和Realsystem流媒体技术采用RTSP协议进行传输不同，微软采用专用协议MMS进行流式传输。
MMS协议是用来访问并且流式接收Windows Media服务器中流媒体文件（asf或 wmv）的一种协议。MMS协议是访问Windows Media点上的单播内容的默认方法。观众在 Windows Media Player 中必须使用 MMS 协议才能引用该流。
5. 主要的流媒体技术
5.1 四大流媒体技术
目前，互联网上流媒体主要流媒体技术方案有Real Networks公司的Real System方案，微软公司的Windows Media流式媒体解决方案，Apple公司的QuickTime流式媒体解决方案及Adobe公司的Flash流媒体解决方案。
5.1.1 Real System
Real Networks是Internet上流媒体传输的先驱者和领导者。其流媒体文件包括RealAudio，Real Video，Real Presentation和RealFlash4类文件。
5.1.2 Windows Media
Windows Media的前身是微软公司的Netshow产品，随着流媒体的广泛应用，微软推出了整套的流媒体制作、和播放产品。由于Windows Media的成本较低且简单易学，支持屏幕录制等功能，故在教育方面应用较广。其流媒体文件包括视频文件WMV/ASF，音频文件WMA等。
5.1.3 QuickTime流式媒体解决方案
Apple的QuickTime是一个跨平台的解决方法，同时支持苹果系统及Windows，其播放器支持多达40种的格式，交互性较强。由于大部分QuickTime编码器和服务器软件均运行在苹果操作系统中，故QuickTime流式媒体在PC机上应用较少。
5.2 新型流媒体技术
5.2.1 HTTP流式媒体
传统的顺序流传输(Progressive streaming )由于采用传统的HTTP协议传输，并不支持现场直播等实时流传输。而随着网络技术的发展，最新的流媒体技术已经支持采用HTTP协议传输流媒体文件和进行实时流传输。HTTP流式媒体的代表有Microsoft公司 IIS平滑流式媒体（IIS Smooth St reaming）、APPLE公司HTTP流媒体直播（HTTP Live streaming），Adobe公司最新的Flash Media Server 4.5也支持HTTP流式媒体传输。
5.2.2 P2P流媒体
P2P流媒体技术并不是一个崭新的流媒体技术。他是P2P技术同流媒体技术结合的产物。基于P2P 的流媒体服务系统并不改变现有的流媒体服务架构, 只是在现有系统的基础上, 改变传统模式下的服务方式和数据传输路径, 使请求同一媒体流的客户端组成一个P2P 网络, 使服务器只须向这个P2P 网络中的少数节点发送数据, 而这些节点可以把得到的数据共享给其余的节点。
6．总结
截至2011年6月，我国的网民人数已经达到4.85亿，其中中国家庭电脑宽带上网网民规模达到3.90亿人。如此巨大的网民数量，为流媒体的发展带来了前所未有的机遇发展机遇。随着互联网的飞速发展，人们对互联网内容多样化的需求也越来越强烈，流媒体业务的需求与只俱增。目前，流媒体已经广泛应用于网络电视，远程教育，移动设备，数字电视，安防监控，视频会议等多个领域。今后流媒体的发展趋势是：①随着流媒体技术的进步、网络带宽的增加及新型高质量编码方式的出现，流媒体的质量进一步提高，高清流媒体将成为主流。②流媒体技术的应用更加广泛。基于流媒体技术的数字电视将取代传统有线电视成为主流；同时随着3G网络基础设施的完善和移动终端功能的增强，融合语音、文字、图像等多种形态的移动实时流媒体业务，如手机流媒体直播、移动网络会议等，将使流媒体的应用达到一个新的高度。
参考文献：
[1]庄捷.流媒体原理与应用 [M].北京：中国广播电视出版社，2007：21-41.
[2]齐俊杰，胡洁，麻信洛.流媒体技术入门与提高[M].2.北京：国防工业出版社，2009:1-30.
关键词:流媒体;编码方式;传输协议
目前在中国的宽带网络市场上，基于不同压缩编码方式的mpeg－1，mpeg－2，real，wmt，quicktime等各种流媒体技术的产品成了宽带网络的宠儿，日益受到人们的关注。
一、流媒体的概念与特点
流媒体是指运用可变带宽技术，在数据网络上按时间先后次序传输和播放的连续音/视频数据的一种格式。流媒体在播放前只将部分内容缓存，并不下载整个文件，在数据流传送的同时，用户可在计算机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频等流式多媒体文件解压后进行播放，这样就节省了下载等待时间和存储空间，使时延大大减少，而多媒体文件的剩余部分将在后台的服务器内继续下载。
流媒体数据流具有连续性、实时性、时序性三大特点，具有严格的前后时序关系。
二、流媒体系统
流媒体系统包括音/视频源的编码/解码、存储、流媒体服务器、媒体流传输网络、用户端播放器5个部分（如图1所示），原始音/视频流经过编码和压缩后，形成媒体文件存储，媒体服务器根据用户的请求把媒体文件传递到用户端的媒体播放器。
三、流媒体关键技术
流媒体系统中，影响流媒体播放质量的3个最关键的因素是：编码和压缩的性能与效率、媒体服务器的性能、媒体流传输的质量控制。
（一）编码/压缩
流媒体系统中的编码用于创建、捕捉和编辑多媒体数据，形成流媒体格式。
影响音/视频流的编码性能的因素很多：首先是编码效率，要求在保证一定音/视频质量的前提下，媒体流的码流速率尽量低，以达到压缩流媒体文件的目的。其次是编码的冗余性和可靠性，与普通多媒体文件压缩/编码不同的是，流媒体文件需要在网络上实时传输，因此必须考虑传输中数据丢失对解码质量的影响。在internet环境下，最典型的方法是多描述编码(mdc)。mdc把原始的视频序列压缩成多位流，每个流对应一种描述，都可以提供可接受的视觉质量，多个描述结合起来提供更好的质量。最后需要考虑速率调节的能力，一种方法是采用可扩展的层次编码，生成多个子位流（substream），其中一个位流是基本位流，它可以独立解码，输出粗糙质量的视频序列，其他的子位流则起质量增强的作用，所有的子位流一起还原出最好质量的视频序列。当网络速率变化时，可以通过调节流输出的层次来控制码流的速率，从而适应网络速率的变化。
（二）媒体服务器
流媒体系统中的媒体服务器用于存放和控制流媒体的数据。
随着流媒体规模的扩大，流媒体服务器的性能成为制约流媒体服务扩展能力的重要因素。流媒体服务器性能的关键指标是流输出能力和能同时支持的并发请求数量。影响流媒体服务器性能的因素很多，包括cpu能力、i/o总线、存储带宽等。通常单个流媒体服务器的并发数都在几百以内，因此为了具有更好的性能，目前的高性能流媒体服务器都采用大规模并行处理的结构，例如采用超立方体的结构将各个流媒体服务单元连接起来。还有一种方法是采用简单的pc集群的方式，这种方式下多个pc流媒体服务器用局域网连接，前端采用内容交换/负载均衡器将流媒体服务的请求分布到各个pc媒体服务单元。后一种方式的性能不如前一种方式，但是成本低，容易实现。
（三）流媒体传输网络
流媒体在因特网上的传输必然涉及到网络传输协议，这是制约流媒体性能的最重要的因素。为了保证对网络拥塞、时延和抖动极其敏感的流媒体业务在面向无连接的ip网络中的服务质量，必须采用合适的协议，其中包括internet本身的多媒体传输协议，以及一些实时流式传输协议等。
①internet本身的多媒体传输协议
rsvp(resource reserve protocol)协议预留一部分网络带宽，能在一定程度上为流媒体的传输提供qos。在某些试验性的系统如网络视频会议工具vic中就集成了rsvp。该协议的两个重要概念是流与预定。流是从发送者到一个或多个接收者的连接特征，通过ip包中"流标记"来认证。发送一个流之前，发送者传输一个路径信息到目的接收方，这个信息包括源ip地址、目的ip地址和一个流规格。这个流规格是由流的速率和延迟组成的。接收者实现预定后，基于接收者的模式能够实现一种分布式解决方案。
②实时流式传输协议
目前几种支持流媒体传输的协议主要有用于 internet上针对多媒体数据流的实时传输协议rtp（real-time transport protocol）、与rtp一起提供流量控制和拥塞控制服务的实时传输控制协议rtcp（real-time transport control protocol）、定义了一对多的应用程序如何有效地通过ip网络传送多媒体数据的实时流协议rtsp（real-time streaming protocol）。
rtp
rtp被定义在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。rtp通常使用udp来传送数据，也可在tcp或atm等其他协议上工作。rtp本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠rtcp提供这些服务。
rtcp
在rtp会话期间，各参与者周期性地传送rtcp包。rtcp包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型，以适应网络的带宽。通常采用两个方法来调节：一是窗口法，通过逐渐增大传送的码率，当发现网络上出现了包的碰撞，也就是检测到了丢包时，再减小发送的码率；二是基于速率的方法，先估计网络的带宽资源，再调整编码的目标速率来适应网络的状态。基于窗口的解决方案会引入类似tcp的重传，所以经常采用基于速率的解决方案。rtp和rtcp配合使用，能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。
rtsp
rtsp在体系结构上位于rtp和rtcp之上，它使用tcp或rtp完成数据传输。http与rtsp相比，前者的请求由客户机发出，服务器作出响应；使用后者时，客户机和服务器都可以发出请求，即rtsp可以是双向的。rtsp是应用级协议，控制实时数据的发送，它提供了可扩展框架，使实时数据的受控、点播成为可能。该协议目的在于控制多个数据发送连接，为选择发送通道（如udp、组播udp与tcp）提供途径，并为选择基于rtp上发送机制提供方法。
四、结论
从技术的角度来说，对各种基于流媒体的应用影响最大的不是带宽，而是流媒体传输过程中的抖动和延时。网络的延迟和抖动影响数据包传输顺序的正确，使媒体数据不能连续输出，造成播放出现停顿。为了解决拥塞造成的抖动和延时问题，不但要求网络有足够的带宽,还要有较好的稳定性和可伸缩性。对等网络（peer to peer）以其各节点平权、资源共享的特点避免了传统的client/server模式中对server集中访问带来的网络拥塞，使网络有较好的稳定性。
关键词：多媒体技术 图形 图像
中图分类号：TP39 文献标识码：A 文章编号：1007-3973(2011)006-082-02
多媒体技集文字、声音、图像、视频、通信等多项技术于一体，采用计算机的数字记录和传输传送方式，对各种媒体进行处理，具有广泛的用途，甚至可代替目前的各种家用电器，集计算机、电视机、录音机、录像机、VCD机、DVD机、电话机、传真机等各种电器为一体，是一个涉及面极广的综合技术，是开放性的没有最后界限的技术，其产业涉及电子工业、计算机工业、广播电视、出版业和通讯业等。
1 多媒体技术应用的意义
多媒体技术发展到今天，已经对人类的现实生活产生了深远的意义和影响，具体表现在以下几个方面：一是使计算机可以处理人类生活中最直接、最普遍的信息，从而使得计算机应用领域及功能得到了极大的扩展。二是使计算机系统的人机交互界面更加友好方便，非专业人员可以方便地使用和操作计算机。这也使计算机的应用可以很快速的普及；三是多媒体技术使音像技术、计算机技术和通信技术三大信息处理技术紧密地结合起来，大大的促进了信息处理技术的发展，声音、视频、图像压缩方面的基础技术已逐步成熟，并形成了产品进入市场，形成一个巨大的产业链。
2 多媒体技术涉及的内容
多媒体技术涉及的内容包括多媒体数据压缩、多媒体处理、多媒体数据存储、多媒体开发工具等。下面加以简单介绍：
多媒体数据压缩涉及多模态转换、压缩编码；多媒体处理主要是音频信息处理，如音乐合成、语音识别、文字与语音相互转换；
多媒体数据存储主要涉及数据库技术，这里指多媒体数据库，如图像处理会产生大量数据，就要考虑数据库存储技术；
多媒体开发工具：第一种是基于时间的，它以可视的时间轴来决定事件的顺序和对象上演的时间。这种时间轴包括许多行道或频道，以使安排多种对象同时展现。比如Director和Action；第二种是基于图符或流线的，它把多媒体成分和交互队列(事件)按结构化框架或过程组织为对象。使项目的组织方式简化且多数情况下是显示沿各分支路径上各种活动的流程图。比如Authorware；第三种是基于卡片或页面的，它提供一种可以将对象连接于页面或卡片的工作环境，一页卡片便是数据结构中的一个节点，它类似于教科书中的一页或数据袋内的一张卡片，如HyperCard；第四种是以传统程序语言为基础的，需要用户编程量较大，而且重用性差、不便于组织和管理多媒体素材、调试困难，如VB、Delphi等。
3 主要多媒体技术的发展状况
多媒体技术的发展状况可以从以下几个方面分析：
(1)音频技术。音频技术主要包括四个方面：音频数字化、语音处理、语音合成及语音识别。
音频数字化目前是较为成熟的技术，多媒体声卡就是采用此技术而设计的，在这种技术的支持下，数字音响一改传统的模拟方式而达到了理想的音响效果。音频采样包括两个重要的参数即采样频率和采样数据位数。采样频率即对声音每秒钟采样的次数，采样频率越高音质越好，存贮数据量越大。采样数据位数即每个采样点的数据表示范围，目前常用的有8、12和16位三种。采样位数越高，存贮数据量越大，音质也越好。
语音处理主要集中在音频压缩上，目前最新的MPEG语音压缩算法可将声音压缩六倍。
语音合成又称文语转换(Textto Speech)技术，它能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。涉及声学、语言学、数字信号处理、计算机科学等多个学科技术。
语音识别在音频技术中难度最大最吸引人，就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。让计算机听懂人说话是发展人机语音通信和新一代智能计算机的主要目标。
(2)视频技术。视频技术包括视频数字化和视频编码技术两个方面。视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号，使得计算机可以显示和处理视频信号。视频数字化后色彩、清晰度及稳定性都有了明显的提高。视频编码技术是将数字化的视频信号经过编码成为电视信号，从而可以在电视上播放。
(3)图像压缩技术。图像压缩一直是技术热点，是计算机处理图像和视频以及网络传输的重要基础，目前有三个压缩标准即JPEG、MPEG和H.26。
JPEG是国际上彩色、灰度、静止图像的第一个国际标准，它不仅适于静态图像的压缩，电视图像序列的帧内图像的压缩编码，也常采用JPEG压缩标准。它包括两部分：一是基于DPCM(空间线性预测)技术的无失真编码，一是基于DCT(离散余弦变换)和哈夫曼编码的有失真算法。前者图像压缩无失真，但是压缩比很小，目前主要应用的是后一种算法，图像有损失但压缩比很大，压缩20倍左右时基本看不出失真。MPEG是针对运动图像的数据压缩技术。目前又分为MPEG-I、MPEG-II、MPEG-IV、MPEG-7和MPEG-21。它除了对单幅图像进行编码以外还利用图像序列中的相关原则，将帧间的冗余去掉，这样大大提高了图像的压缩比例。H.26是视频图像压缩编码国际标准，主要用于视频电话和电视会议，可以以较好的质量来传输更复杂的图像。
4 多媒体技术应用领域
多媒体技术的应用领域非常广泛，涉及农业生产、军事、旅游、互联网、家庭娱乐、电子地图、网络通信、办公自动化、航空航天、生产管理、教育教学、信息咨询、商业广告等等，下面从几个方面进行简单说明：
(1)教育和娱乐：它可能是多媒体技术应用最多的一个领域，一般的游戏都使用了动画，三维图形，视频播放，声音处理等技术，还有影视娱乐业中的电影特技、变形效果，电视／电影／卡通混编特技、MTV特技制作、仿真游戏。在教育方面，多媒体技术主要体现在形象教学、模拟展示上，比如电子教案、形象教学、模拟交互过程、网络多媒体教学、仿真工艺过程等，这使得教学过程具有很好的交互性，并可用逼真的形象表现所需的信息。
(2)商业广告：是另一种对多媒体技术需求较多的应用领域，主要体现在特技合成、大型演示中，象影视商业广告、公共招贴广告、大型显示屏广告、平面印刷广告等，这里要用到视频捕捉、图像压缩与解压缩、图像编辑与转换、音频同步，添加字幕等技术。
(3)虚拟现实技术和远程传输：它可以用来模拟复杂的动作和仿真，利用计算机和其它的相关设备将人们带入一个虚拟的世界。虚拟现实技术体现在人工智能模拟上，象生物形态模拟、生物智能模拟、人类行为智能模拟，比较典型的例子就是驾驶训练系统，它就使用了虚拟现实技术；多媒体技术在远程传输上的最成功表现就是多媒体在Intemet上的应用，它突破了Intemet只能传输字符的限制，从而展示给远处一个接近现实的画面，这在医疗上体现了具大的作用，象远程诊断、远程手术。
多媒体技术在上述应用领域发展的过程中，不仅促进了多媒体软件的发展，同时也促进了多媒体硬件的发展。对于软件来说，可以分成以下几类：
文字处理：记事本、写字板、Word、WPS
图形图像处理：PhotoShop、CorelDraw、Freehand等；
动画制作：AutoDesk、Animator Pro、3DS MAX、Maya、Flash等；
声音处理：Ulead Media Studio、Sound Forge、Audition(Cool Edit)、Wave Edit等；
视频处理：Ulead Media Studio、Adobe Premiere等；
对于硬件来说，不仅声频卡(Audio Card)、光盘(CD-ROM)、视频卡(Video Card)等这些基本产品得到了广泛的发展，其它的硬件设备如摄像机、扫描仪、触摸屏、打印机、影碟机、音响设备等也得到快速的发展和广泛的普及，这些产品已走进平常百姓家，给人们带来了很多生活乐趣。
参考文献：
关键词：多媒体；视频智能编辑；视频感兴趣区；图像视频场景分析
中图分类号：TP37 文献标识码：A文章编号：1007-9599(2012)01-0000-02
Multimedia Technology Study
Du Pengxiang,Huang Shanshi
(China Telecom Co.,Ltd.,Wenzhou Branch,Wenzhou325000,China)
Abstract:This article is from the macro summarizes the development and application point of the current image video of the underlying technology from the perspective of an image of video algorithms researchers talk about the understanding of this area.The field of image and video business applications, multimedia entertainment,the Internet, intelligent monitoring,industrial machine vision,OCR,biometrics, medical image processing,as well as military defense in several areas, multimedia areas is an important branch of a lot of image field of video the new algorithms and new theories are often the first application in the multimedia field.
Keywords:Multimedia;Video intelligent editing;Video interest region;Image video scene analysis
多媒体领域主要集中了MicroSoft、Adobe、MITSUBISHI、Cyberlink、Muvee、Autodesk、Corel、Sony、2D3、MotionDSP等一批公司，以及与之相关的PAMI、IJCV、CVPR、ICCV、ECCV、SIGRAPH等众多多高水平的学术期刊和学术会议。多媒体领域的研究方向比较杂，包括但不限于下面几类，视频智能编辑、视频感兴趣区、图像视频场景分析、图像视频修复及后处理、人脸系列技术、非真实感渲染（NPL）系列技术、3D系列技术、人机交互技术等。
主要包括视频镜头边界检测以及在此基础上的视频自动故事片生成、视频广告检测、视频废镜头检测等。视频镜头边界检测在经历了一段时间的发展之后，检测率也达到一定的程度，目前基本上不再有新的文章出现。视频自动故事片生成往往需要音视频技术的结合，并且由于缺乏有效的评级机制，最近几年已经不是研究的热点，但是相信各个视频编辑领域的公司仍在研究或者开发过程之中。视频中的广告检测作为其中的一个小的分支，可能因为没有很大的商业价值，研究的并不多，但想要真正实现高的检测率，仍然有很多值得研究的地方。视频废镜头检测其实是视频修复的一部分，包括检测视频中的抖动片段、模糊片段、过曝过暗片段等，从而达到视频修复的目的。
（一）视频感兴趣区的研究
最近是一个热点方向，感兴趣区提取和跟踪可以用来做视频智能缩放，可以用来指导视频编辑中的精彩视频片段选择，还可以在片源采集时就用来指导摄像机捕捉精彩片段。人脸、人物、车辆、小动物、房屋、花草树木等在特定的场景下等都可以作为感兴趣区，感兴趣区提取的方式方法也比较多，但除了人脸、人物检测技术上还比较成熟之外，其他目标的检测很难达到满意的准确度。人物检测基础上的精细分割抠像技术，也是图像领域的一个基础研究方向，准确的抠像，是换背景等智能化效果的基础。
（二）图像视频场景分析
主要用在视频管理和视频按场景选择和编辑。通过对不同的场景的特征进行分析设计分类器进行分类，对于视频管理这种不要求很高精度的应用点可以满足要求。照片和视频按场景内容管理，跟基于人脸识别技术的照片管理，是基于内容管理的两个方式，相信今后的多媒体编辑和管理软件都会逐步增加这个功能。
（三）图像视频的修复及后处理
主要包括视频抖动修复、图像视频去模糊、视频过曝过暗修复、视频去雾化、老电影旧照片修复、马赛克修复、视频图像超分辨率、视频图像智能变比例缩放、视频帧插值、图像视频去噪等。
视频抖动修复关键是摄像机轨迹的检测，确定了摄像机的移动轨迹，视频修复就有了基础的指导。通过寻找视频中的特征点，然后对特征点进行跟踪，通过分析每个特征点的轨迹，确定摄像机的整体轨迹。如果假定视频中的内容都是一个平面上，只考虑摄像机在2D平面的轨迹，事情要容易的多，但事实上摄像机的轨迹应该是3D的，这就变成了一个“Structure from Motion”的问题，处理起来就比较复杂，但如果想得到理想的稳像效果，得出摄像机3D轨迹是必须的。另外，摄像机3D轨迹的求取，也是其他基于3D的视频应用的基础，这个后面再讲。
图像视频去模糊，这个的关键是寻找模糊核，也就是拍摄的瞬间摄像机或相机的运动轨迹，在这个运动轨迹上反卷积，就可以恢复摄像机不动情况下拍摄的视频、图像，也就是不模糊的视频、图像了。所以，对视频的去模糊，比起对图像的去模糊，手段要多一些，因为视频去模糊可以通过视频序列的信息来得到摄像机的运动轨迹。而图像的去模糊，这个运动轨迹只能是通过对图像内部结构的分析进行估计。考虑到轨迹估计和反卷积的运算量，不管是图像去模糊还是视频去模糊，目前都不算很成熟，但是成熟的产品应该会在短期内出现。
视频过曝过暗修复，如果视频质量不是太差，直方图被挤压的不是太厉害，还可以通过直方图均衡化的方式进行简单修复，但是如果直方图被挤压的很严重，那就只能删除了。
视频、图像去雾化，简单点说，就是把被雾化的图像建模为一个正常的无雾的图像与纯雾的图像的合成，因为拍摄得到图像中雾的灰度值与景深有关，所以好的去雾算法，应该是以准确的景深估计为基础的，3D景深估计也是一个很热的方向。
老电影旧照片修复，大概包括色彩的修复和一些划痕修复，色彩修复，可以以类似去雾的建模方式，也可以简单的做色调调节，问题都不大。划痕修复就比较复杂，除了要把划痕检测到，还要用周围的像素来填充划痕的像素，比较典型的全变分方法可以用来处理这类问题。
马赛克修复，马赛克修复基本上还是要从产生的原因入手，如果是编解码层的问题，可以对编解码的数据尝试修复。如果到了解码后的图像数据，想要修复就是一个无中生有的问题了，只能是依靠边缘纹理来去掉马赛克的效果，但是想要恢复图像内容，除非后台有一个强大的针对特定目标的数据库来支持虚构类似的内容，否则毫无办法。
视频、图像超分辨率，超分辨率的方法，总体来说两种思路，一种是挖掘图像的边缘信息，在图像放大的时候，尽量保边缘，这类方法以NEDI方法为典型，缺点是速度比较慢。另一类是基于Patch的方法，首先建立一个低分辨率Patch对应高分辨率Patch的映射表，前期先把这个映射关系建立好，然后就只需要通过查找映射表来进行超分辨率操作了。如果建立的映射表足够大，那就可以得到比较理想的超分辨率结果，理论上讲不论速度还是质量都比前一种方法要好。
视频图像智能变比例缩放，是指通过分析图像视频中的内容，在图像、视频缩放的过程中，保留有内容的关键区域比例不变，而压缩、扩展不重要的区域，这样看起来缩放后的图像、视频主要内容不会变形。基于图像的智能缩放算法比较成熟，基于视频的由于要考虑视频序列的前后帧的连续性，必须加入时间轴的约束，因此效果不如图像理想，做的不好会引出视频的抖动问题。
视频帧插值，可以用来解决帧率变化的情况下，出现的视频抖动问题，主要是一个视频的全局运动，类似于视频抖动检测，应该说技术上不复杂，但是视频中的局部运动会干扰全局的运动估计，这样插值出来的帧就会存在一定的瑕疵。
图像视频去噪，方法很多，简单点通过滤波高频信号的方法如高斯滤波，或者简单的中值滤波都可以有一定的效果，但是目前看来，最理想的方法还是非局部均值（NLM）方法。其他的一些例如偏微分方程的方法也可以尝试。
五、人脸系列技术
包括人脸检测、跟踪，人脸特征点定位，人脸识别，人脸的表情识别，人的年龄、性别识别，人脸的美化，人脸卡通效果，人脸的变形效果，人脸的3D重建等以及与此相关的眼睛检测和红眼修复等。
六、非真实感渲染（NPL）系列技术
包括水墨画、水彩画、油画、漫画效果等人工画效果，风、雪、雨、烟、雾、火焰、海浪等一些自然环境的模拟效果。
人工画效果的实现主要是基于Stroke的方式，难点在于图像的解析，一个好的人工画效果，需要正确的将图像分解为不同的区域，并分析不同区域的结构特点来确定用笔方式、Stroke的精细度等参数。
对自然环境的模拟，主要是一些粒子的模拟，可以采用基于物理模型的方式研究粒子的受力及运动方式，流体力学的相关方法是这个领域的核心。
NPL技术，除了用于对图像、视频的特效上，另外像一些烟雾效果和水墨画效果用于艺术字的特效也是不错的选择。
七、3D系列技术
3D技术在视频中的应用点，可以看到的有3D稳像、3D对象嵌入等等，这里的关键是获取摄像机的3D轨迹与视频中的特征点的3D深度信息，通过视频序列分析摄像机的3D轨迹的技术叫“Structure from Motion”，大量的文章可以参考。有了摄像机的3D轨迹与视频中的特征点的3D深度信息，2维的图像信息就一定程度扩展到了3维。全景图的拼接技术，本质上也利用了基于双目视觉3维重构的一部分技术。得到了3D摄像头轨迹，可以利用这个信息进行3D插帧，借此虚拟重构双目视觉画面，通过3D眼镜，就可以看到比较理想的3D场景了。3D的应用，可以想象的空间比较大，多了一维信息，总可以做出一些新的东西。
八、人机交互技术
人机交互是指通过摄像头捕捉人的手势、身体的姿态、面部表情、眼睛的移动等信息，代替传统的鼠标键盘来指导计算机做出相应的处理。技术层面主要涉及目标的检测、跟踪以及姿态的识别。相比之前提到的多媒体的各种方向，人机交互应该是最有市场前景的方向，应用点也非常多。
关键词：多媒体；新媒体艺术；创意；设计人性化
中图分类号：J93 文献标识码：A 文章编号：2095-4115（2013）08-63-1
多媒体，是一个人们熟知的词语。换句话说，我们生活在多媒体时代。它作为一种传播形式，集文字、图像、视频、音乐、动画等艺术形式于一身。设计者根据不同年龄层次的受众的不同心理需求对各个艺术项目进行创意策划，最后加以整合，便形成了现在各种多媒体艺术作品――如实景加3D动画片、3D电影等、加油站滚动服务信息等。我们把这些集合多种艺术形式，并结合电脑、网络的多媒体技术的艺术作品，统称为“新媒体艺术”。
那么，我们首先要了解新媒体艺术的定义、内涵。
一 新媒体艺术的定义与内涵
新媒体艺术是什么？它是以光学媒介和电子媒介为基本语言的新艺术学科，其大量继承交流方式中的一种新方式，亦称为电子传媒，普遍具有交互性。它涉及计算机技术、艺术学、传播学、社会学、哲学、科学等诸多领域，是一个多学科交叉、融合的综合体。从这些文字中，我们不难发现，新媒体艺术既承载着艺术设计构思，又承载着多媒体技术的运用。
设计师们可以在其上自如地设计，并与外界增强沟通。换一种说法，即多媒体技术为设计师提供了广阔的、便捷的展示空间与表现环境。那么，“这张画纸”是如何吸引各年龄层次受众的呢？
二 多媒体技术的巧妙应用，使艺术新媒体化
笔者在此举一例：广西艺术学院于2012年1月15日在相思湖校区美术馆举行编导系毕业展――《面世》。这次毕业展吸引了社会各界人士的加盟参与，并在凤凰网、腾讯网、广西新闻网等多家大型新闻媒体大力报道、宣传，可见其反响之大。为什么这个毕业展能取得成功？全靠策展人的创意与多媒体技术的巧妙结合。《面世》既体现了2013届编导系毕业生在微电影、摄影构思、编排与操作技术上的创新，也体现了他们通过努力，将自己的学习成果展示于社会的自信，展现了编导系学生对于“面世”的欣喜之情，从侧面反映出他们的自信与朝气。从艺术造诣上说，就是在普通视觉传达上，运用多媒体技术修饰、整合，使整部作品、整个展会，变成了调动所有人体感官的互动性、交融性艺术品，其内涵更富人文气息，反映了当代设计师、策展人对作品内涵中“设计人性化”的追求。
三、多媒体技术的特征
综上所述，多媒体技术传达出的艺术特征有：（1）多媒体并置，多感官综合体验，这是传统传媒形式（即单一的视觉体验）无法达到的。在包括网络计算机和传感器、投影、音效等多种设备的共同作用下，多媒体技术下所产生的新媒体艺术，让受众在虚拟场景中将视觉、声音、氛围、触觉一并体验，新媒体艺术所呈现的形态就超越了传统媒介给受众带来的单一视觉体验。（2）结构交互。传统媒介作品很难在受众与受众间、媒介与受众间进行双向互动，进而产生共鸣。而多媒体技术下产生的新媒体艺术所具有的交互性，使其自身成为一种体验式游戏，手中可参与其中，直接构成作品的一部分，从而使作品得以真正完成。（3）跨学科资源共享、整合。这既是多媒体技术交互性的另一种表现，又是新媒体艺术连结、交互性质的另一种体现――新媒体艺术涵盖了诸多技术与学科，最大限度体现了艺术与科技的结合。作为艺术作品，它的交互性可以用来描述两种互不关联的特征。一方面，它表明艺术作品的观赏者可以控制自己采用何种顺序来进入某一个艺术作品；另一方面，这一概念也可以用来描述在艺术作品的生产者与消费者间日益增长的交互性关系。（4）虚拟现实。在电脑硬件和软件所控制、创造的幻真性虚拟情境，受众可以使用数据头盔、电子手套等工具，或直接用手指点触，让自己进入一个幻真世界。但是，这么丰富的特征展示，追根溯源，还得专注于创意以及内涵，凸显设计人性化 。
四、结语
总体而言，多媒体技术使艺术走向了新媒体化，艺术家创作有了新的突破，他们不再是独立创作，而是有观赏者（受众）一同参与创作，完成作品。观赏者参与创作的特点恰好迎合了大众的自娱心理。多媒体技术的出现，它改变了艺术的创作方式、欣赏方式和传播方式，甚至影响到了艺术创作的理想、观念，最终使新媒体艺术成为艺术创新势在必行的一个重要元素。
现代新型艺术之路必须形成的气候、景象。因为，新媒体艺术代表着当今艺术发展中最有力、最尖锐的探索力量，综合并融汇各种艺术形式，从而最大限度地展现其自身的复合性与多元性特征，并释放其自身魅力。久而久之，新媒体艺术将起着翻天覆地的变化，它将会作为一种强大的传播手段，塑造人们的情感与思想，改变人们的生活习惯，从而更好地服务于大众，促进社会的发展。
参考文献：
[1]徐伟雄，许星等.用新媒体再现艺术设计作品[J].华东理工大学学报，2005，（03）.
[2]马晓翔.新媒体艺术透视[M].南京：南京大学出版社， 2008：02.[3]孙晔，丛淼.新媒体艺术与视觉文化[J]. 大众文艺，2010，（18）.
Abstract： Combined with the development practice of new media platform， this paper fully clarifies the general outline of the new media platform technology， discusses the working principle and interfaces of various aspects in detail.
关键词： 门户；产品；流媒体；CDN
Key words： portal；product；streaming media；CDN
中图分类号：TN919 文献标识码：A 文章编号：1006-4311（2014）17-0208-02
0 引言
新媒体平台技术不仅是业务的重要支撑，更是业务的灵魂主体。由于新媒体的高度互联网化，平台技术在相当程度上决定了产品和服务，这是一般技术平台所不具备的重要特征。一个成熟的互联网或新媒体服务，应为用户提供端到端的服务。新媒体形态种类繁多，这里讨论限定为以视听体验为主的媒体形态。
1 总体架构
新媒体平台技术最简模型是：业务平台、传输通道和终端。业务平台实现三大功能：门户、产品和订购关系，形成客户购买服务的商业行为；传输通道由第三方运营商提供基础平台（互联网），服务商在此基础上构建内容分发网络（CDN）进行通道优化；最后通过客户端将业务平台的服务传递至最终用户。
2 业务平台
业务平台主要由门户、产品、订购关系组成。
2.1 门户 门户是用户使用服务的窗口，由展示层、门户管理和数据库三层架构支撑，载体是多种类型用户终端。展示层开发流程是：用户界面设计、视觉设计、Web前端开发。用户界面设计完成人机交互和操作逻辑；视觉设计完成平面渲染；Web前端开发基于标记语言（HTML、CSS）和脚本语言（JS）完成Web服务器前端代码的开发。
用户界面设计和视觉设计接口是：逻辑说明文档和线框图；视觉设计和Web前端开发的接口是PSD、JPEG文件；Web前端开发和门户管理的接口是API调用。
门户管理包括：门户内容管理、门户模板管理、门户展示管理、门户。门户内容管理负责门户内容的采集编辑；门户模板管理对可复用页进行分类整合；门户展示管理基于模板对展位布局进行调控；门户是门户页的物理节点，由服务器集群和均衡组成，也是分布式部署的根节点。由此有序下发到传输通道的门户CDN（也称Web CDN）；门户管理涵盖所有终端，同时支持用户终端的交互转换。门户的终端匹配是浏览器。垂直搜索和智能推荐是优化门户的重要手段。依据大数据可以实现门户的个性化分组。优秀的门户设计目标是：高效和简便，使用户感觉不到门户的存在。这需要大量技术支撑。
2.2 产品 视听体验的媒体产品核心是直播和点播。主要由产品管理系统、素材数据库、音视频编码、流媒体、编辑生产、存储系统、版权管理等系列核心技术组成。
①产品管理系统由用户界面、产品管理、产品数据库支撑。用户界面是人机交互界面，与对外门户不同，采用简约工具软件风格。产品管理包括：素材库导入、产品内容管理、直播管理、点播管理、分发管理、上线管理。产品数据库是素材数据库的下游。从素材库提取消息到产品库，经过整理分类，生成规定格式的文件，有序下发到传输通道的点播文件CDN。②素材数据库也称媒体资源库，将不同来源的消息进行标注和结构化处理。对消息遵照标著录规则进行统一录入，着重记录消息的内容属性（摘要、主题词）和层次属性（节目、片段、场景、静帧）；同时将非结构化、半结构化和结构化原始消息进行统一结构化处理。③音视频编码是信源压缩编码。由于数字化最高采样频率为定值，导致数字音视频必存在冗余。主导视频压缩编码格式是：MPEG.X和H.26X。由于面向对象编码方案仍存在技术障碍，而H.264网络友好协议的特征，使其成为目前主流视频编码格式，用以生成时移、回看、点播的音视频文件。④流媒体服务器和核心路由器组成直播流源。直播流利用组播协议发送至传输通道，减轻网络压力。流媒体技术是一个协议族，跨越、服务器和客户端。由于流文件随播即逝，起到了保护版权作用。⑤新媒体业务编辑生产要素是简捷和高效，日常大量任务是拆条、快编。MPEG.2是演播室友好的编码格式，而网络友好的H.264贯穿新媒体生产全业务流程，因此，应采用简化技术流程的H.264编码格式进行编辑生产。⑥传统存储系统按实体组成分为：硬盘接口、存储交换、存储体；按体系结构分为：DAS、NAS、SAN。硬盘接口有两大类：ATA接口、SCIS接口，包含串联和并联。由于并联互扰，串联效率高于并联。硬盘容错采用RAID技术（独立磁盘冗余阵列）。存储交换是将盘阵和主机网络化的交换协议，采用主流FC协议。存储体按成本由低到高分为：SATA硬盘、SAS硬盘、FC硬盘、固体硬盘等。在线存储一般采用成本高可靠性好的硬盘；近线和离线存储一般采用成本低容量大的硬盘。在存储体系结构中，DAS是原始硬盘的一种延伸，SAN是封闭的高成本存储网络，NAS是开放的廉价存储网络。云存储在传统存储系统的基础上做广泛延展，通过对所有计算、存储、网络的虚拟化，形成存储资源池，达到存储资源利用的最大化。新媒体存储方案总体原则是：核心高可靠、边缘低成本、逐步向云存储过渡。⑦音视频产品版权管理采用数字水印技术，在不影响产品使用价值前提下，提取隐藏在载体中的信息，达到产品版权保护目的。
2.3 订购关系 订购关系主要由业务运营支撑系统（BOSS）组成。业务运营支撑系统按主体分为客户和商家两部分。客户包括：计费、支付、预存、结算、鉴权、认证、客户服务等；商家包括：营业、账务、产品和业务管理、决策支持等。计费是用户有偿消费记录，结算是用户支付记录，认证是合法性确认，鉴权是访问权力限定；营业是商家的进、销、存记录，账务是商家间贸易记录。系统提供两种被访问方式：用户直接访问和第三方间接访问。业务运营支撑系统的技术平台采用三层架构，与Web开发可视化不同，BOSS业务逻辑繁杂，因此，逻辑清晰、可扩展性、大流量并发、稳定性是BOSS的重点。
3 传输通道
传输通道由直播流保障通道和基于运营商互联网的CDN共同组成。直播流保障通道是指：城域网和接入网扩容、路由组播协议、QoS保障等网络技术手段。由于数字视频码率较常规通信业务的大幅提高，城域网和接入网的节点和链路都要做相应扩容；路由组播协议部署在城域网的同时，在接入网中也尽可能的下沉，最大限度的接近用户终端，以减轻网络流量压力；QoS保障是在现实资源条件下用户与网络的约定，以期达到有限资源利用最大化。CDN分为门户CDN和点播CDN，两个CDN相互独立，门户CDN每户几十Kbps，点播CDN每户几Mbps。CDN节点的部署应根据区域用户实际活跃度有目标的逐步延伸。
4 终端
终端涉及平台、接入和切换。互联网终端平台是开放平台，如操作系统、浏览器、播放器等；接入主导趋势是：高质量同步产品接入优化通道的“私网”，可延时产品接入共享“公网”；利用无线局域网技术实现移动终端和固定终端之间自由切换。
5 安全
新媒体平台融于互联网技术体系，在开放的互联网环境中，安全保障难度极高。网络信息安全的热点长期集中在边界防护上。保密、保护和保障，在信息安全发展的不同阶段，思想和方法不断变化。目前主导方向是：依据可信计算的思想，防内为主，从主机加固开始，向外扩展直至边界。做真实系统的影子系统，按照等级保护的规范进行模拟测试，稳定后将安全策略移植到真实系统上。
参考文献：
[1]康彬.新媒体时代的受众研究――由麦奎尔的《受众分析》谈起[J].新闻知识，2011（01）.
多媒体技术的发展迅速，软件也在不断地更新，这就使舞台表现中计算机的应用越来越广泛，不仅如此，多媒体技术在舞美领域的应用，也为舞台的视觉和人们的审美观念都产生了很大的改变。由于多媒体技术的运用，舞美技术不断的突破了手工时代的封闭性和局限性，实现舞台的时间艺术与空间艺术的综合，不仅具有音乐与文学的听觉性和文学性，还有建筑与绘画的视觉性和空间性。另外，多媒体技术在舞美领域中运用的作用也是具有一定意义的，不仅能够将人们的视觉范围得到扩展，还在一定程度上促进人们思维能力的提升。在图形设计和舞美创作上，计算机起到了非常重要的主导作用，帮助我们开发新的思路，将计算机语言转换成舞台语言，从而激发出创意的火花。
二、多媒体技术在舞美中的运用
1、虚拟现实技术
计算机具有非常神奇的表现力，能够随心所欲地创造理想形态。计算机的三维技术，在仿真和创造上具有非常强的能力，可以在虚拟的空间里，创造出极其逼真的世界，还能够在想象力下创造出大自然的视野，在三维动画所表现的空间画面中，以超现实的表现力设计出动态的理想世界，而这些功能对于传统的材料工具和技法来说是很难实现和企及的。在传统的舞美设计中，首先要进行构思，做出初步的草图，在导演和相关部门协商之后，形成具体化的构思，然后做出效果图。而手绘图只能通过二维空间来表现三维空间，不能直观的显示出真实的场景。还有舞美中的灯光效果也不能仅仅通过手绘来显示，由于灯光变化很多，不能手绘出每一种灯光变化的效果图。另外在舞台上，所有的灯光、布景在安排设定完毕，一旦产生灯光和布景的问题是很难解决的，所以只有通过计算机三维技术来进行弥补。通过计算机灯光设计的相关软件，对于灯光的颜色、材质和影子以及相关的附加效果进行编辑和图像生成，从而真实地展现现场灯光效果。
2、新型影像设备
由于科学技术的发展，在舞台演出中也不断的应用种类更多、更加先进的影像设备，不仅提升了舞台效果，对于舞台演出艺术的进步和发展也有着一定的促进作用。LED电子显示屏作为一个先进的科技产品，具有非常强大的功能，在现代舞台中的应用也在日益的广泛。LED有着极其丰富的表现力，不仅能够模拟实景，将自然再现出来，还可以作为显示器显示一些效果图像和资料等。而传统布景与LED相比，灵活性和虚拟性远远不如LED，在灯光系统上也有着很大的差距，LED屏幕除了能够模拟出现实的空间造型，也能够很好地表现出灯光效果。而LED也在不断完善和发展，成为舞美中非常重要的组成部分。在演出过程中，大屏幕能够代替传统的布景，显示出搭配节目的画面，这种虚拟画面可以为我们提供想象的空间和真是的气氛。相对于实体布景来说，LED的制作成本更低，表现的效果更好。
3、视听特技
在视听技术中，应用于舞美领域中最为重要的就是舞台照明和舞台音响。舞台照明主要是在演出要求和整体构思下，通过灯光技术设备和相关手段与舞台人物和景物进行配合，使舞台表现出理想的视觉形象。传统的舞台灯光的工作是人工更换涤纶色纸，而这种手动操作的方式不仅程序繁琐，缺乏安全性，在演出过程中同一盏灯也不可以换色，不利于灯光设计的发展。在进行灯光设计时，必须紧扣舞台的主题，有针对性地对每一个节目进行灯光艺术创作，实现灯光表现形式与节目内容的高度统一。近年来我国文艺事业的发展对舞台灯光提出了更高的要求，必须逐步的实现舞台灯光的自动化、智能化以及科学化。舞台音响技术在舞台上也占有非常重要的地位，在当代传媒技术的影响下，音响技术也在不断的提升设计理念，使舞台表现更加完整。当前多维数字音响技术已经开始为人们所了解，并在不久的将来一定会得到创新和普及，这对于舞美来说无疑也是一个值得探究的领域。
三、结束语
1流媒体技术的应用现状
现在，流媒体已经逐渐发展成为一个朝阳产业。有专家预言，流媒体将成为未来因特网上应用的主流，实现沟通和传播的多向性，使传播不再受到时间和空间的限制。流媒体技术广泛用于新闻出版、证券、娱乐、电子商务、远程培训、视频会议、远程教育、远程医疗等互联网信息服务的方方面面，总结起来有三大应用。
1.1网络视频直播目前，流媒体技术作为第四代媒体技术中的一种，很多大型的新闻娱乐媒体，如中央电视台和一些地方电视台等，都在互联网上提供基于流媒体技术的节目，目前流媒体的视频直播应用突破了网络带宽的限制，实现了在低带宽的环境下的高质量影音传输，其中的智能流技术保证不同连接速率下的用户，使得用户可以随时随地应用流媒体技术在网络上观看多媒体信息。
1.2远程教育Internet的使用开创了远程教育的里程碑，它促进了远程教育中的教学传递日趋现代化，这种教育形式能跨越校界、区界甚至国界。流媒体技术应用突破传统的远程教育以文本为主、没有声音和视频，解决了教学模式单
一、交互性差的问题。教学模式多样化体现在教师的在线直播授课和授课视频观看，学员可以由针对性的选择想要学习的章节和内容，极大的提高了学习的效率节省时间。此外，流媒体技术也使远程教育的交互从单向通信的方式，如通过Email、在线聊天、BBS等。采用流媒体技术，把流式视频、音频加入答疑系统将提高它的完整性和交互能力。流媒体的VOD技术还可以进行交互式教学，达到因材施教的目的。像Flash、Shockwave等技术就经常应用到网络教学中。学生可以通过网络共享学习经验。大型企业可以利用基于流媒体技术的远程教育对员工进行培训。
1.3视频点播及电视电话会议视频会议系统指互联网上或者其它数据网络上开展的一种交互式多媒体通信业务。视频会议系统与流媒体技术应用相结合，利用流媒体技术的良好的可访问性、可扩展性和对带宽的有效利用性，实现视频会议内容的广播和录播，并且由于流媒体终端播放软件大多是免费的，因此利用流媒体机制：点对点(unicast)、多址广播(Multicast)和广播(Broadcast)可以很好地满足视频会议的如上需求：首先可以使大量的授权流媒体用户参加到视频会议中，扩大了会议的规模和覆盖面；而且利用流媒体技术的记录功能，视频会议在召开完以后可以实时存储，流媒体用户就可以通过点播的方式来访问会议的内容。
流媒体进行PHP的通信，最常见的就是可视电话。只要两端都有一台接入Internet的电脑和一个摄像头，在世界任何地点都可以进行音视频通信。此外，大型企业可以利用基于流媒体的视频会议系统来组织跨地区的会议和讨论。
2流媒体技术的研究现状
目前，流媒体技术主要表现在三个方面：分别是编码器（编码技术）、播放器（播放支持）和流服务器，三者缺一不可。在数据网络上传输流媒体，需要解决从音/视频源的编码/解码、存储，到网络端的媒体服务、媒体流传输，到用户端的播放一系列问题。
怎样使较好质量的流媒体实时播放，需要考虑媒体流传输的各个环节。其中，影响传输质量的三个最关键的因素是：编码和压缩的性能、媒体服务器的性能、媒体流传输的质量控制。
2.1编码及压缩：流媒体文件需要在网络上实时传输，因此必须考虑传输中数据丢失对解码质量的影响。针对这个问题，采用先进的编码技术，例如错误弹性编码(ErrorResilientEncoding)：在编码中通过适当的控制使得发生数据丢失后能够最大限度地减少对质量的影响。此外，媒体流的压缩/编码还需要考虑速率调节的能力，网络的拥塞状况是实时改变的，流媒体的编码应该最大限度适应网络速率的变化。
2.2服务器的性能提高：流媒体应用规模和范围的扩大，流媒体服务器的性能也成为制约流媒体服务扩展能力的重要因素。提高服务器的性能包括CPU能力提高，I/O总线带宽和传输速度，存储带宽扩展等。
2.3媒体流传输的质量控制：由于流媒体传输对网络带宽、延迟、丢失率等都有很高的要求，提高流媒体系统的整体扩展性和降低单个服务器性能要求是未来发展的趋势。
此外还有流媒体技术研究还有流媒体传输协议和流媒体文件格式的兼容和压缩的研究上，流媒体在网络上传输需要合适的协议，TCP需要较多的开销，故不太适合传输实时数据，流媒体一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时多媒体数据，流媒体中协议有三种：实时传输协议RTP与RTCP；实时流协议RTSP；资源预订协议RSVP。流媒体文件的格式主要有三类：RealSystem的RealMedia文件格式；微软高级流格式ASF简介；QuickTime电影(Movie)文件格式。针对流媒体传输协议的研究和文件格式的转换上也是当前研究的一个方向。
