欢迎来到易发表网!

关于我们 期刊咨询 科普杂志

网络流量分析的方法优选九篇

时间:2023-06-15 17:05:33

引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇网络流量分析的方法范例。如需获取更多原创内容,可随时联系我们的客服老师。

网络流量分析的方法

第1篇

【关键词】IP网络流量分析;互联网;技术的应用

网络流量分析是一个有助于网络管理者进行网络优化、网络监控、流量趋势分析等工作的工具,进而挖掘网络资源潜力,控制网络互联成本,并为网络规划、优化调整和业务发展提供基础依据,企业需要及时了解到网络中承载的业务,及时掌握网络流量特征,及时解决网络性能问题。从这些企业管理网络中所经常遇到的问题来看,需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形,使网络管理人员及时了解网络运行状况,及时清楚网内应用的执行情况。随着网络的发展,流量分析工作将在网络管理中起到越来越重要的作用。

1.网络流量分析方法

网络流量是单位时间内通过网络设备或传输介质的信息量。网络流量分析根据不同的方法可以从不同的侧面展开,目前,主要的分析方法有流量的统计分析和流量的粒度分析等。

1.1 网络流量的统计分析

(1)基于软件的流量统计

这种统计分析一般通过修改安装于主机上的操作系统的网络接口模块,使之具有捕获数据包的功能,以实现流量信息的收集和分析。基于硬件的流量统计效率很高,专用性强,但是价格昂贵对人员要求高,而基于软件的流量统计有价格便宜,实现灵活,扩展性强的优点,但其性能要低于基于硬件的统计技术。因此,流量统计方法有待进一步的提高,以适应网络快速发展的需求。

(2)基于硬件的流量统计

此类分析通常采用硬件测量设备,是一种为特定目的设计的用于收藏和分析流量数据的硬件设备。

1.2 网络流量的粒度分析

网络流量行为特征的分析还可以在不同测量粒度或者不同的层面上展开。

比特级(Bit-level)的流量分析,这种分析主要关注网络流量的数据特征,如网络线路的传输速率,吞吐量的变化等等。

分组级(Packet-level)的流量分析,此类分析主要关注的是IP分组的到达过程、延迟、抖动和丢包率等。

流级(Flow-level)的流量分析,Flow的划分主要依据地址和应用协议而展开的,它主要关注流的到达过程、到达间隔及其局部的特征。

上面流量的粒度由小到大递增,时间尺度也逐渐增大,不同时间尺度网络流量往往表现出不同的行为规律。通常,网络设备本身都提供基于IP分组头的分析功能,因此,Flow-level的流量分析成为发展趋势。

2.网络流量分析常用技术

随着计算机技术的发展,网络流量分析技术也与时俱进。既有传统的数据库的网络管理技术,也有面向开放式互联网的网络分析技术。目前,在网络流量分析中占据主流的常用分析技术主要有:

2.1 RMON技术

RMON(远程监控),是由IETF定义的一种远程监控标准,RMON是对SNMP标准的扩展,它定义了标准功能以及网管站和远程监控器之间的接口,实现对一个网段乃至整个网络的数据流量的监视功能。RMON监控器叮用两种方法收集数据:一种是通过专用的RMON探针(Probe),流量探针安装方便,但是流量探针价格昂贵,不适合大面积部署。另一种方法是将RMON直接植入网络设备(路由器、交换机、HUB等),但这种方式受网络设备资源限制,一般不能获取RMONMIB的所有数据,大多数只收集统计量、历史、告警、事件等四个组的信息。

2.2 SNMP技术

SNMP是用标准化方法定义的,通常一个标准的网管系统包括三个组成部分:SNMP协议,这包括理解SNMP操作、SNMP消息的格式以及如何在应用程序和设备之间交换信息;管理信息结构,它是用于指定一个设备维护的管理信息的规则集;管理信息库,它是设备所维护的全部被管理对象的结构集合。基于SNMP的流量分析就是通过SNMP协议访问设备获取MIB库中的端口流量信息,典型工具有MRTG,MRTG是一个使用的免费软件,通过SNMP协议从设备得到流量信息,将流量负载情况绘制成PNG格式图片,并以WEB形式显示给用户。由于M RTG使用起来很方便,能够直观显示端口流量负载,所以是各类网管人员常用的网络监视工具。但MRTG的功能比较单一,其收集到的流量信息仅是简单的端口出、入流量统计信息,不能深入分析包的类型、流向等信息。

2.3 s Flow技术

s Flow是由InMon﹑HP和Foundry Networks于2001年联合开发的一种网络监测技术,它采用数据流随机采样技术,可提供完整的第一层到第四层,甚至全网络范围内的流量信息,可以适应超大网络流量(如人于10Gbit/s)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。sFlow技术有很多优点:成本低廉;在不断发展升级当中,能在没有消耗额外资源的环境监测万兆网络,不会带来新的网络冲突;有自己的一套准确可靠的计量方式;数据信息量人。sFlow已经成为一项线速运行的“永远在线”技术,可以将sFlow技术嵌入到网络路由器和交换机ASIC芯片中。与使用镜像端口、探针和旁路监测技术的传统网络监视解决方案相比,sFlow能够明显地降低实施费用,同时可以使实现而向每一个端口的全企业网络监视解决方案成为可能。

3.网络流量分析技术的应用

网络流量分析起着一个衔接的作用,主要利用网络流量测量部分收集到的各种流量信息,通过运用不同的方法对其进行分析和建模,以发现流量的特性,对网络性能做出客观的评价,并以此作为对网络进行控制和优化的依据。网络流量分析技术的应用主要包括以下儿个方面:

3.1 实施安全预警

网络流量异常会严重影响网络性能,造成网络拥塞,严重的甚至会网络中断,使网络设备利用率达到100%无法响应进一步的指令。通过对网络内流量的实时分析,有助于及时发现网络中出现的异常流量,迅速分析出异常流量的具体属性,并向网络管理者进行告警,判断是否出现了入侵,并按照事先拟定的规则集进行处理,记录异常情况发生时的详细网络状况,使入侵得到及时发现和处理。

3.2 分析用户行为

根据分析结果,进行相应网络内容的建设!将用户感兴趣的热点信息内容放到内部网络,减轻互联链路的压力。

3.3 节省运营费用

通过对网络出口流量和流向的分析,可以统计出业务类型、服务等级、通信时间和时长、通信数据量等参数,可以详细了解网络内部用户对其他外部网络的访问情况,为基于IP的计费应用和SLA的校验服务提供数据依据,从而有效地选择与其他运营商的互联方式,节省费用。

3.4 优化网络结构

通过对网络中一些特定流量的长期监控,获得网络流量数据后对其进行统计和计算。从而得到网络及其主要成分的性能指标,定期形成性能报表,并维护网络流量数据库或日志存储网络及其主要成分的性能的历史数据,可供网管人员正确分析网络使用状况,对网络及其主要成分的性能进行性能管理。通过数据分析获得性能的变化趋势,分析制约网络性能的瓶颈问题。

3.5 评估网络价

通过对各个分支网络出入流量的监控,分析流量的大小﹑去向及内容组成,了解各分支网络占用带宽的情况。从而反映其占用的网络成本,也可以了解其业务开展情况,并作出价值评估。

3.6 确定重点客户

通过对重要应用和大客户的流量进行统计分析。掌握重要应用和大客户的流量状况,进行网络带宽的成本分析。有助于在网络服务质量和网络成本之间取得最佳平衡。

4.网络流量分析的重要性

相对于网络管理人员来说,理解用户的网络行为网络流量的内容是网络管理的重要内容,它为日常网络管理﹑容量规划与未来网络升级等提供重要依据,通过网络流量分析,可以提供大量详尽的数据,供网管人员从很多方面进行更好地维护﹑优化网络,并且提升网络的性能;同时还能为业务应用层面提供数据依据,为特定客户提供流量分析服务。比如网站流量统计分析等;也可作为网络安全的辅助手段,处理网络病毒等异常事件。在病毒分析时,网络管理员需要知道哪些端口发送的数据发生了较大变化,因此,对网络流量的分析可以为网络的运行和维护提供重要信息和深层次的管理功能,很好地发挥网络管理作用。对于网络性能分析﹑异常监测﹑链路状态监测﹑容量规划等发挥着重要作用。为网络发展和网络优化提供更优质﹑更有效的技术支撑和技术服务,可以预见,随着网络的发展,流量分析工作将在网络管理中起到越来越重要的作用。

参考文献

[1]李万鹏.网络流量控制及流量分析[D].北京邮电大学,2011.

第2篇

关键词:IP包 流量分析 解析

0 引言

随着社会的飞速发展和网络技术应用领域的扩展,使得网络通信问题日益成为人们关注的焦点。当前,人们对网络的需要也日益增多,人们对网络通信也有了越来越高的要求。通过Internet的迅速发展使社会经济结构和人们的生活方式发生了巨大的变化,网络服务越来越重要,而IP流量正是网络管理的重要数据基础,通过IP分析流量数据,可以帮助网络管理员发现各种恶意网络攻击,对攻击源进行追溯和定位,从而对网络中的计算机进行有效的保护尤其在中小网络中网络安全起着至关重要的作用。IP分析中数据的统计是不允许出现任何错误的。因为网管人员在做好防护的同时也要对IP包进行捕获和流量分析。网络上的信息流量是通过计算机的网卡转换把网上的信息展现出来的,通过对流经网卡的数据包的分析,如果发现有恶意连接或是异常流量的时候,网络管理员就可以及时的做出相应的措施来保护网络的通畅和安全,这也就是进行IP包流量分析的重要性。

1 IP包流量分析的研究

1.1 IP流量分析

每个网络都有自身的运行规律,对于每一个高级的网络管理员,要管理好网络上承载关键业务的网络系统,首先要对自己所管理的网络建立深入的了解,提高自身的网络管理技术水平,掌握有效的IP流量分析技术并能够在工作中灵活的运用。网络管理和网络的结构、应用特点等紧密相关,通过IP流量分析,能够帮助网络管理人员掌握网络系统运行的规律。网络上重要的应用在运行时,如每一次访问,每一个交易处理,数据都是通过网络来传输的,就是这些数据的传输导致了网络流量的产生。通过分析应用运行所产生的网络流量,能够清楚的了解应用运行时对网络通信的影响。通过IP流量分析程序可以获取到数据包的内容及其数量。在网络带宽一定的情况下,每个用户的网络行为都将相互影响,同时会对整个网络的运行产生影响。伴随着每个用户在网络中的行为都有网络流量的产生,通过对网络用户的IP流量进行分析,能够直观地了解网络用户的网络使用情况。IP流量分析可以为网络和应用问题的分析提供依据,特别是数据包级的分析,因为这些依据是真实的,有效的,它们是实实在在的在网络中传输的数据包,这也是流量分析能够大大提高网络和应用问题分析效率的原因。IP流量分析是有助于维护网络持续、高效和安全运行的一种手段,IP流量分析有助于网络管理员对网络运行管理、应用运行管理和网络应用问题分析。

IP包流量分析的主要方法是通过实时连续地采集网络数据并对其进行统计,计算得到主要成分性能指标,结合网络流量的原理,通过统计出的性能指数观察网络状态,分析出网络流量变化的趋势,找出影响网络性能的因素。

1.2 系统总体设计

通过研究与分析简单IP包流量分析程序的用户需求可以发现,用户需要系统实现对本机基本信息的获取,如IP地址,主机名,MAC地址和子网掩码等信息;需要实现对网络流量的监控,即对流入和流出网卡的数据包进行检测并对数据包的长度进行累加,从而得到流量数据,最后将网络输入流量,网络输出流量,网络总流量能在对话框对应的网格处显示;需要实现捕获流经本计算机网卡的所有数据包,对所获取到的数据包进行解析,从而得到相关信息,如源地址,源端口,目的地址,目的端口,数据包的协议类型,数据包大小,数据等信息。根据分析IP包流量分析系统可以具有三个主要功能部分:基本信息显示、网络流量监控、IP包解析。系统设计图如图1所示。

1.2.1 基本信息模块

对于一台计算机来说,一般只有一个计算机名称,但是可以有多个IP地址。例如当计算机通过拨号上网的时候,在验证完用户名和口令以后,就会动态分配一个IP地址,此时计算机就拥有了两个IP地址,一个是自己设定的局域网用的IP地址,另外一个就是拨号上网动态分配的IP地址了。

基本信息模块实现的主要功能是获取本机的主机名和本机IP地址,并以对话框的形式显示出来。此模块中所获取的IP地址是自己设定的局域网用的IP地址,而不是拨号上网时动态分配的随机IP地址。它设计的主要目的是为了方便网络管理人员快捷地了解本机的一些基本信息。

1.2.2 网络流量监控模块

网络管理人员一般会根据计算机在不同时段的网络流量变化情况来对计算机进行各项参数的优化,以及了解是否存在异常流量。而对于个人用户来说,实时了解本机网络流量情况是很重要的,尤其是对那些拨号上网的用户,对网络流量的了解可以有效的帮助他们节约上网费用。

网络流量监控程序的本质是对流入和流出网卡(Modern)的数据包进行测量,在单位时间内的流入量实际上就是在单位时间里流入网卡的数据包的字节数,在单位时间内的流出量实际上就是在单位时间内流出网卡的数据包的字节数。而总流量就是流入量和流出量之和。

1.2.3 IP包解析模块

因为要捕获经过网卡的所有数据包,需要将网卡设置为混杂模式。在实际编程的过程中,通过使用网络嗅探器可以把网卡设置于混杂模式,并可实现对网络上传输的数据包的捕获与分析。在网络安全方面,网络嗅探手段可以有效地探测在网络上传输的数据包信息,通过对这些信息的分析利用将有助于对网络安全进行维护。IP包解析模块就是通过使用网络嗅探器技术来实现完成的。

2 IP包解析模块的实现

IP包解析模块是系统实现的重要模块,在实现中主要实现函数见表1。

3 结束语

IP包流量分析系统是一个相对复杂的系统,通过研究需求设计了系统的主体框架,通过编写套接字、访问注册表等方法实现了系统部分主要功能,下一步准备完成详细指标分析等功能。

参考文献:

[1]杨延双,王全民.TCP/IP协议分析及应用[M].北京:机械工业出版社,2009.

第3篇

关键词:校园网 网络管理 流量分析 流量控制

中图分类号:TP393 文献标识码:A 文章编号:1007-9416(2012)02-0160-02

1、引言

随着信息化建设的高速发展,校园网作为数字信息的基本载体在数字校园的建设中具有非常重要的作用。但是,由于各种网络应用的不断涌现,消耗了大量网络带宽,导致网络拥堵、性能降低,干扰了教学科研等关键业务的正常运行。为了优化网络环境,保证数字校园的正常运行,我们有必要对网络流量进行深入的分析与研究,对占用大量网络带宽的流量、环节采取针对性的手段进行调整与控制,保障数字校园高效稳定安全的运行。

2、流量分析的常用方法

网络流量分析指通过捕获网络流量数据对其进行深入量测和分析,来掌握网络的流量特性,例如某种协议、应用服务的使用情况或者某些用户的行为特征等,为精细化流量控制提供数据依据。目前采用的网络流量分析方法按照分析的对象有:

2.1 基于地理位置的分析

基于地理位置的分析是通过获取已知位置、用户群的相关网络设备的运行情况来进行分析。常见的是使用简单网络管理协议(SNMP)来实现信息获取,这种方法优点在于需要的设备及人员较少,能够获得流量的相互关系。

2.2 基于数据包的分析

对数据包的分析一般可以分为:基于地址、端口的分析,基于特征码的分析以及深度数据包检测。

基于地址、端口的分析是通过识别IP、URL地址或者应用服务的特定端口来检测分类的方法。但是随着网络技术的发展,越来越多的应用不再基于固定的地址、端口,使得这种方法的使用范围不断缩小。

基于特征码的分析是通过检测OSI模型中四层以下的内容中是否含有某些应用服务的特殊标示或使用的特定协议来对数据包进行分类的方法,是一种使用较多的分析方法。

深度数据包检测(DPI)是一种对数据包深入到应用层协议检测分析的方法。它通过逐包分析、模式匹配,并且使用行为模式识别等技术,可以对流量中的具体应用服务实现较为准确的识别,例如鉴别P2P数据应用,虽然它的分析速度较慢而且需要不断的根据新的协议和新的应用来升级后台应用数据库,但仍不失为一种使用较为广泛的方法。

2.3 基于流量行为的分析

目前较为常见的是深度流行为检测(DFI),这是通过对数据流的数据包长度、数据流持续时间、链接状态、网络层传输层信息等参数来对其进行统计分析的检测方法,速度快于深度数据包检测方法,可以分析加密数据流,但仅能对数据进行模糊分类,例如将满足P2P流量模型的应用统一识别为P2P流量,因为一般新型应用都是由某些旧应用发展而来,其流量特征变化较小,所以不需要频繁升级流量模型数据库就可以较为准确的分辨类别。

3、流量控制的常用方法

在对网络流量进行深入分析了解数据构成后,就可以针对性的使用适当的方法来控制网络流量,常用方法有“限”、“封”、“分级”:

(1)限:指对带宽、连接数等设置门限,是流量控制中最常用的方法,一般有基于用户的带宽限制、基于服务的带宽限制、基于时间段的带宽限制以及基于并发连接数的限制等。

(2)封:也就是通过封堵特定应用、行为的IP地址、端口号的连接,来禁止使用的目的。但是随着技术的发展,很多软件可以自动协商通讯端口甚至可以使用80端口,所以在单独使用时效果并不理想。

(3)分级:也就是划分应用服务等级,让关键应用获得最高级优先权,让重要应用获得较高优先权,从而使网络流量有序化。

4、校园网流量控制策略的实施

4.1 流控设备的部署

笔者所在学校是在外网防火墙和骨干网交换机之间部署锐捷ACE2000来实现内网至外网主干线路的流量控制。

ACE2000是锐捷专门针对国内市场定制和优化的流控设备,可以对网络流量、用户上网行为进行深入分析,为用户提供网络应用和流量趋势报表,还运用深度包检测(DPI)和深度流检测(DFI)技术,能够全面识别和控制各种应用,从而有效的检测和防止某些应用对带宽资源的非正常消耗,保证关键应用带宽,保障整体网络应用的服务质量。

4.2 流量分析

通过ACE2000对校园网出口流量监控分析发现在我校校园网内主要是P2P数据流泛滥,导致关键网络应用延时较大、丢包较多。在工作时间以及晚上繁忙时段,P2P下载、P2P应用占据了超过80%的网络带宽,流出流量超过流入流量,在线会话数远大于在线IP数,某些用户数据流量异常。

4.3 管理策略

考虑到校园网需要满足全校师生在日常办公学习、实验教学、网络视频教学以及业余时间休闲娱乐等方面的需求,根据长期流量分析数据,从以下四个方面制定控制策略:

(1)按IP段划分:我校为办公用户、教学用户、学生用户、家属用户,分配了不同的IP段,根据各用户群不同的功能定位来分配带宽。

(2)按时间划分:按节假日、工作日以及每天的高低峰时段分配带宽。

(3)按应用设置优先级别:设定应用服务等级,优先保障关键应用、关键区域的网络资源。

(4)智能分配带宽:在各个参数允许范围内,灵活分配最大带宽,提高网络带宽利用率。

4.4 应用策略后的效果

在出口部署的锐捷ACE2000上应用策略后,出入口的流量下降近一半(如图1),P2P下载、应用等也减少近半(如图2),在线会话数减为原来的0.65%,基于校园网的办公、教学、远程等应用可以流畅使用。(如图1图2)

5、结语

通过对网络流量的分析,结合各个方面的需求,制定了具有针对性的网络策略,初步获得了显著的效果。但是还有不足之处,主要是各类型用户带宽限制值、并发连接数的合适点不容易找,智能带宽分配的各个参数的合适值不容易找。因此需要我们对网络流量进行长期研究、深入分析,不断调整网络管理策略,合理利用网络带宽,满足各种用户、应用的需求,确保网络的通畅,营造一个良好的数字校园。

参考文献

[1]林维锵.中小型校园网流量的控制方法,武汉工程大学学报,2011(4):97-99.

[2]杨祥.流量控制系统原理分析,电子商务,2010(12):50-51.

第4篇

1网络流量监测的必要性及意义

网络管理中非常重要且非常基础的一个环节就是网络流量监测,网络流量监测即是通过对网络数据的连续采集,以此来监测网络的流量。网络及其重要成分的性能指标也是对网络流量数据的统计和计算得到的。网络管理员根据当前的和历史的存储网络及其重要成分的性能的数据数据,就可对网络及其主要成分的性能进行性能管理,通过数据分析获得性能的变化趋势。分析制约网络性能的瓶颈问题。在网络流量监测的基础上,管理员可对感兴趣的网络管理对象设置阈值范围以配置网络阈值对象,阈值对象监控实时轮询网络获取定义对象的当前值。若超出阀值的上限和下限则报警,帮助管理员发现网络瓶颈,这样即可实现一定程度上的故障管理,而网络流量监测本身也涉及到安全管理方面的内容。所以,研究网络流量监测是非常有意义的。

2网络流量的特性

2.1数据流是双向的,但通常是非对称的。互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。

2.2大部分TCP会话是短期的。超过90%的TCP会话交换的数据量小于10K字节,会话持续时间不超过几秒。虽然文件传输和远程登陆这些TCP对话都不是短期的,但是由于80%的WWW文档传输都小于10K字节,WWW的巨大增长使其在这方面产生了决定性的影响。1.3包的到达过程不是泊松过程大部分传统的排队理论和通信网络设计都假设包的到达过程是泊松过程,即包到达的间断时间的分布是独立的指数分布。然而近年来对互联网络通信量的测量显示包到达的过程不是泊松过程。包到达的间断时间不仅不服从指数分布,而且不是独立分布的。大部分时候是多个包连续到达,即包的到达是有突发性的。很明显,泊松过程不足以精确地描述包的到达过程。造成这种非泊松结构的部分原因是数据传输所使用的协议。非泊松过程的现象迫使人们怀疑使用简单的泊松模型研究网络的可靠性,从而促进了网络通信量模型的研究。

2.3网络通信量具有局域性。互联网流量的局域性包括时间局域性和空间局域性。用户在应用层对互联网的访问反映在包的时间和源及目的地址上,从而显示出基于时间的相关(时间局域性)和基于空间的相关(空间局域性)。

3网络流量的监测技术与方法

3.1网络流量的监测技术种类

(1)基于流量镜像协议分析。流量镜像(在线TAP)协议分析方式是把网络设备的某个端口(链路)流量镜像给协议分析仪,通过7层协议解码对网络流量进行监测。与其他3种方式相比,协议分析是网络测试的最基本手段,特别适合网络故障分析。缺点是流量镜像(在线TAP)协议分析方式只针对单条链路,不适合全网监测。

(2)基于硬件探针的监测技术。硬件探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息。一个硬件探针监视一个子网(通常是一条链路)的流量信息。对于全网流量的监测需要采用分布式方案,在每条链路部署一个探针,再通过后台服务器和数据库,收集所有探针的数据,做全网的流量分析和长期报告。与其他的3种方式相比,基于硬件探针的最大特点是能够提供丰富的从物理层到应用层的详细信息。但是硬件探针的监测方式受限于探针的接口速率,一般只针对1000M以下的速率。而且探针方式重点是单条链路的流量分析,Netflow更偏重全网流量的分析。

(3)基于SNMP的流量监测技术。基于SNMP的流量信息采集,实质上是测试仪表通过提取网络设备Agent提供的MIB(管理对象信息库)中收集一些具体设备及流量信息有关的变量。相似的方式还包括RMON。与其他的方式相比,基于SNMP的流量监测技术受到设备厂家的广泛支持,使用方便,缺点是信息不够丰富和准确,分析集中在网络的2、3层的信息和设备的消息。SNMP方式经常集成在其他的3种方案中,如果单纯采用SNMP做长期的、大型的网络流量监控,在测试仪表的基础上,需要使用后台数据库。

(4)基于Netflow的流量监测技术。Netflow流量信息采集是基于网络设备(Cisco)提供的Netflow机制实现的网络流量信息采集。Netflow为Cisco之专属协议,已经标准化,并且Juniper、extreme、华为等厂家也逐渐支持,Netflow由路由器、交换机自身对网络流量进行统计,并且把结果发送到第3方流量报告生成器和长期数据库。一旦收集到路由器、交换机上的详细流量数据后,便可为网络流量统计、网络使用量计价、网络规划、病毒流量分析,网络监测等应用提供计数根据。Netflow方式是网络流量统计方式的发展趋势。在综合比较四种技术之后,不难得出以下结论:基于SNMP的流量监测技术能够满足网络流量分析的需要,且信息采集效率高,适合在各类网络中应用。

3.2网络流量的监测方法

流量监测包括测量工具/系统的部署、流量数据的采集(包括数据包捕获、归并和采样处理等)、数据包的解析和处理、测量实体量化数值的获得与统计分析、流量特征化描述、流量存储和查询表示、流量建模等多个环节,具有相对复杂的处理和分析过程。目前存在有众多种流量测量的实现方法,他们可适用不同的测量环境、满足不同的测量要求,并且有着不同的实现方式。基于硬件的测量通常需要设计和应用特定的硬件设备来对流量数据进行采集和分析。被测量的流量并非由普通的商用计算机直接获得,而是需要从服务器、交换机、路由器等特定的网络设备上经过一定处理后导出,然后再由普通的商用计算机完成后续的流量处理和统计分析等工作。不同形式的数据,对应要求在普通的商用计算机上通过不同的程序或软件实现相应的流量处理和统计分析功能。

第5篇

关键词: 流量分析;重要端口号;算法思想

中图分类号:TP311 文献标识码:A 文章编号:1671-7597(2012)1210095-01

1 两种不同网络类型的数据流量

在C/S(客户机/服务器)结构中,客户机发送一些请求,服务器为每个请求做出回复。在客户机间不直接传递信息,客户机必须通过服务器把信息发送给其它客户机。这种数据是定向流动的,几乎都是从服务器到客户机。然而在P2P网络结构中每台主机同时担任服务器和客户机角色,对等主机之间可以直接进行数据交换。

2 P2P网络应用的类型

在P2P网络应用程序中,可以分为两类:一是即时通信应用,如MSN和雅虎信使。实时通信程序的主要功能是信息传递,实现1对1或者1对多式用户交流和文件转存。二是文件共享应用,如Napster。文件共享程序的主要功能是查询和文件转存。然而P2P应用程序的联系分两种:一种是中心仲裁式,另一种是纯分布式。大多数实时通信应用程序系统使用中心仲裁,在这种联系方式中,一个或多个核心服务器存在,这些服务器包含所有主机的信息并且把信息发送给请求的主机。在纯分布式中没有中心服务器,在搜索效率和文件传输上都不是很好。实际在P2P网络应用程序使用中存在这两个不同类型的混合通信。

3 P2P网络数据流量分析算法的主要思想

传统的数据流量分析主要是以端口号为基础的分析和对有效载荷的检测分析,而在P2P网络中,这种方法不太适用。比如网络流量中,HTTP通常使用的端口号是80或8080,HTTPS使用端口号443,在P2P网络数据流量中,端口号检测不是那么简单,因为它们使用的端口号超过1024,通常是动态生成的端口号。

因此设想,如果所有的P2P数据流量可以在整个流量中分离出来,然后根据其应用程序的名称分组,那么就可以对P2P网络数据流量进行高精度地分析。基于此,我们提出了一种新的数据流量分析算法。

该算法不检查每个数据包的有效载荷,只使用每个数据包的头信息。主要包括四个过程,分别是应用端口表、重要端口号选择、流量关系图和数据流量分组。算法思想首先是构建应用端口表。它是通过离线穷举搜索方法和数据包分析工具对每个对等网应用程序进行检测与分析,包含应用程序的名称、其经常使用的端口号和协议。其次是重要端口号的选择。从捕获的数据包中分析信息:源地址、目的地址、源端口、目的端口号、协议号。因为源端口和目的端口号通常超过1024,从随机生成的端口号中区分对于P2P应用程序重要的端口号。

第三步是生成流量关系图。大多数P2P应用程序具有多个支持的功能,在相同P2P流量中有可能发现它们之间的关系。对前三个过程的结果进行分析,按照对等网应用程序的名称与关系确定流量分组。分组信息用于P2P应用程序决策,从而提高分析的精确度。

4 P2P数据流量分析系统的设计

根据以上算法,我们设想了P2P网络流量分析系统,用于实时流量的监控和分析。该系统主要包括三个模块,分别是应用端口表模块、重要端口选择模块和流量关系图模块。其中,重要端口选择模块由一个数据包捕获器、一个数据流发生器和一个同步分组表组成。数据包捕获器从一个网络链接接收原始数据包,并生成数据包的头信息,分组头信息被发送到数据流发生器里。如果一个数据包是同步数据包或准同步数据包则被存储在同步分组表中。数据流发生器查找同步分组表,并从每个数据流中选择一个重要端口号。重要端口选择模块依靠网络连接环境在一个单一的系统或多重系统中实现选择。假如数据包在一个单一系统中被捕获,重要端口选择器可以在一个单一的系统中实现;如果有多个捕获器被使用,那么重要端口选择器模块应分为高、低级两层次。最后,流量关系图模块对数据进行分析,并生成流量关系图。

5 总结

本文说明了P2P网络流量的特点和现有的分析机制不适于当前网络流量分析的原因,并提出了算法思想,其与过去相比复杂而精确。利用该算法设计了一个分析系统,使用该系统可以分析大量的未知的无法用传统分析方法进行监控的数据流量。另外,该算法还可以进一步改进,特别是数据流量关系中的算法。该算法还可以应用于其他网络类型中数据流量的监控与分析,比如网络游戏和网络流媒体等数据处理业务中。

参考文献:

[1]刘芳,网络流量监测与控制,北京邮电大学出版社,2009年9月.

[2]高彦刚,实用网络流量分析技术,电子工业出版社,2009年7月.

第6篇

【关键词】 流量分析 netflow/sflow 网络 视频监控

一、现状和问题

油田公司提出“百兆到作业区,十兆到井站”的网络架构,但现在很多井站都实现了百兆接入,同时计算机主干网页实现了广域网双2.5G,核心万兆互联,带宽的快速增加加快了业务数据传送的速度,从公司管理角度出发很多很多应用从井站直接到公司管理部门的核心网络,业务的可靠传输是对网络运维部门提出的新的要求。公司主干网流量组成,对于各个方向的网络流量大小,公司应用系统如视频会议、生产指挥、应急预警、财务系统、OA办公系统、A1A2系统,集团公司的应用系统的流量情况,需要对业务进行深入分析,获取相关流量。二级单位从井站到单位核心,数字化应用系统占有大量的网络链路流量,但管理者不能掌握,具体各类应用系统流量的大小、流向以及各类网络接口流量组成,需要采集网络中各个节点的网络流量,进而对应用系统进行详细的分析,将流量与应用系统进行有效结合,达到应用系统流量的深度分析。

二、流量分析技术应用

2.1流量分析技术

2.1.1基于SNMP

该方法仅能对网络设备端口的整体流量进行分析,可以获得设备端口的实时或者历史的流入/流出带宽、丢包、误包等性能指标,但无法分析具体的用户流量和协议组成。因其具有实现简单、标准统一、接口开放的特点,被业界广泛采用。

2.1.2基于网络探针

该方法的数据抓包、分析和统计等功能一般都在网络“探针”上以硬件方式实现,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。

2.1.3基于网络流

相对于会话(Session)而言,流(Flow)具备更细致的标识特征,在传统的 TCP/IP 五元组的基础上增加了一些新的域值,至少包括以下几个字段:源IP地址、目的IP地址、源端口、目的端口、IP层协议类型、ToS服务类型、输入物理端口。以上七个字段可以唯一地确定任意一个数据包属于哪个特定的流,换言之任何一个字段出现了差异都意味着一个新的流产生。sFlow是基于端口的流量分析:按照一定的采样比从特定端口上采集报文,由Agent设备对报文进行分析(包括报文内容、报文转发规则信息等等),并将分析结果以及原始报文通告给Collector进行统一分析(Flow采样);并且支持周期性统计端口的流量计数以及设备CPU、内存等信息(Counter采样)。sFlow关注的是接口的流量情况、转况以及设备整体运行状况,因此适合于网络异常监控以及网络异常定位,通过Collector可以以报表的方式将情况反应出来,极大的方便了网络管理人员日常巡检维护,保证企业网络的正常稳定运行。

2.2部署方式

利用公司网络监控平台系统,结合交换机及路由器的FLOW流量采集功能,对油田主干网及试点二级单位的网络流量进行采集,其中计算机主干网,主要采集核心交换机8905和核心路由器t1200设备的流量情况,试点二级单位通过核心交换机软件升级,及试点作业区井站的设备替换,采集内网的流量情况。

2.3流量分析

2.3.1主干网流量分析

通过对流量采集和分析技术进行研究搭建流量分析系统,实现对主要生产办公业务流量分析,重要应用性能追踪。并开展油田计算机终端应用的自动化监控。具体研究内容主要包括一下几点:

通过s-flow、netflow等技术搭建流量分析系统,对区域中心出口、生产指挥中心、应急预警中心、公司视频会议系统及苏里格大厦数信部等重要业务和部门实现业务流量集中统计分析;

通过定制业务模型对主要生产办公流量进行全面分析,包括:视频会议,办公OA系统,生产网中的三端二系统等网络业务;

平均流入速率:450~465Mbps,平均流出速率:30~40Mbps,应用构成为:上网占77%,未知应用占13%,HTTP应用占2%。

2.3.2生产指挥流量分析

公司生产指挥系统流量很小,基本没有流入流量,只有流出流量,平均流出速率为1.08Mbps,平均流出速率波动较大,HTTP应用为主包含codasrv和raventbs等生产系统流量。

三、总结

系统采用Netflow及Sflow方式提取流量,系统旁路部署,对网络无影响,被采集系统只需要支持标准FLOW协议即可,流量采集设备只需与流量分析系统路由可达,即可实现所需网络流量数据的采集,采集颗粒度可自由选择,系统支持多台设备流量数据的同时采集,可以实现流量数据的灵活组合

第7篇

关键词:流量监测;winpcap;网络数据流量分析

1 引言

随着互联网络的迅速发展,网络数据流量特征的研究近年来引起了人们广泛关注。网络数据流量分析系统的定位重点在对网络流量的流量、流向、协议的细节监视和分析,网络安全监视。在容量规划、入侵检测和路由优化时,网络管理员需要知道网络的数据流量情况和尽量多的测量信息。

2 关键技术

⑴数据流。数据流是指输入数据a1,a2,..按顺序到达。这些数据描述了一个信号A。A是一个一维函数A:[1...N]R2。模型取决于ai如何描述A。本文把数据流技术和传统的网络管理技术相结合, 取得了较好的应用效果。

⑵流量监测原理。网络流量监测有主动监测和被动监测两种不同的实现方法。主动测量方法是向被测网络中注入附加的“探测流量”并进行返回数据的采集来实现监测的方法,该如果处理不当,也会给网络增加额外的负荷,影响测量结果的客观性,甚至使测量结果不准确,产生Heisenburg效应。而被动测量方法是在网络的某点采集、记录并且分析网络的流量信息来实现测量的方法。被动测量可以完全消除附加的“探测流量”和Heisenbutg 效应,这是被动测量的优点,但存在可能会涉及隐私和安全问题的不足。由于Internet上大多数数据传输是不加密的,鉴于被动监测的优点,本系统采用基于数据包捕获的被动监测技术。

⑶winpcap。在网络管理与安全防护中,对网络数据流量进行分析,是非常重要的一个任务,从防火墙到攻击检测系统,都会用到类似功能。开发此类软件过程相当复杂。而winpcap (indows packet capture)是windows平台下一个免费公共的网络访问系统。它提供了以下的各项功能:

1>捕获原始数据报;2>按照自定义的规则将某些特殊的数据报过滤掉;3>在网络上发送原始的数据报;4>收集网络通信过程中的统计信息。

3 系统架构

无论是基于网络安全,还是基于网络计费系统的改进,网络数据流量分析无疑是必要的,人们对网络依赖很强。网络数据流量系统的架构包括三层:数据层(浏览统计、数据库管理)、访问应用层、展现层(在线统计器、流量统计器、网络速度监视器)。

4 系统设计

⑴网络监视器。网络监视器是监视网络通信的,其主要工作有三项:winpcap捕捉包、包分析、记录。

1)winpcap捕捉包。在网络包捕获系统的实现中,采用的是WINPCAP包捕获应用系统框架。网络监听模块将网络接口设置为混乱模式,将网络上传输的数据包截取下来,供协议分析模块使用。由于效率的需要,有时要根据设置过滤网络上的一些数据包,如特定IP,特定MAC地址、特定协议的数据包等。网络监听模块的过滤功能的效率是该网络监听的关键,因为对于网络上的每一数据包都会使用该模块过滤,判断是否符合过滤条件。

为提高效率,数据包过滤应该在系统内核里来实现。获得数据包之后,如果在捕获过程结束后创建了两个线程实现对捕获数据的实时性处理。

2)包分析。包分析指将捕捉来的数据报进行分析。由于要进行流量统计需要很多必要的信息,作为统计依据,如IP地址、协议类型等。其中,数据长度可由函数调用返回的内容得到而且此时得到的是实际在网上的包长度。

3)记录。通过包的分析后,将有用的信息记录到文件中去。其中包括目的IP、源IP,数据长度、协议类型、以及为了统计方便需要的时间信息。

⑵流量统计器。流量统计器,是对流量监视器的记录结果进行统计,将网络监视器的记录文件内容读出,并根据网址分割标准及源和目的地分别统计出流向网外的国内和国外流量,并将结果按照日期分别存储在数据中。

5 系统实现

⑴捕捉包的实现。包捕捉作为一个独立的应用程序运行,它从网上截获包,并以文件形式将有用信息记录下来,为流量统计准备统计的原始依据。

⑵在线统计的实现。ping利用了原始套接口技术发送ICMP回射请求,并接收工CMP回射应答。Socket是CP/IP编程的底层API(网络编程接口)。在实现ping后可以将其作为一个函数调用,就很容易实现在线统计。

⑶图形界面的实现。采用Visual C++.NET实现流量图形化界面,主要是使用GDI函数画图,首先要得到一个设备描述句柄或一个可用的CDC设备描述表对象,WIN32API提供了BeginPaint()和GetDC两个函数,用于获得指定窗口的设备描述句柄。MFC的窗口类CWnd类也提供了两个当前窗口的CDC对象的函数BeginPin()和GETDC();也可以在窗口处理函数中直接用CDC的派生类,最终实现流量图形化。

第8篇

【关键词】 电力通信 负载均衡 拓扑优化 流量分析

一、电力通信业务流量特征

电力通信网络在我国电网系统中占据重要位置,其在电力生产、运行和管理等各方面的业务中发挥重要支撑作用,大量的电力信息需要电力通信网络来完成收集、传输与存储。随着我国电力系统建设的不断深入,以及电力业务的不断扩大,网络流量呈几何级数增长,业务类型也日趋复杂,这给电力通信网络的安全、可靠、实时运行提出了更大的挑战。在这种背景下,建立有效的流量分析和预测方法,可以为网络规划、协议设计、路由精确控制提供决策依据,对电力通信网络性能的分析和优化具有积极的意义。

通常来说,智能电网中的电力通信网络可划分为三类子网,即电力通信综合业务数据网、电力通信调度数据网、变电站站内通信网。对各类子网的承载业务进行分析可知,当前我国电力通信网络业务可归纳为三种类型,即视频类业务、数据类业务、语音类业务。电力通信网络的流量具有重要的特征,比如自相似性和长相关性、多重分形性、周期性等。此外,基于我国电力通信系统的基本情况,对视频业务、语音业务和数据业务的速率、丢包率、抖动幅度、时延、频率飘移要求等方面进行相关的规定。

二、I务流量分析和预测

电力系统的日趋庞大使得电力通信网络流量呈现几何级增长的趋势,而且业务类型也日趋复杂,以网络为载体传输的电力信息的传输形式也更加多样化,这给电力通信网络的安全、可靠、实时运行提出了新的的要求。在对当前电力通信网络情况下,对网络流量进行分析和预测是电力通信研究的关键核心问题,对电力通信网络、电力网络的安全可靠运行具有积极的意义。对于电力通信网络的相关研究而言,常用的网络流量模型有:ARIMA模型、重尾分布的ON/OFF模型、马尔可夫/半马尔可夫模型、泊松模型、离散小波模型等。但结合当前我国电力通信系统的实际要求对各种模型进行分析可知,传统的泊松模型、马儿可夫模型只具有短相关性,难以描述流量的突发性和自相似特性,而ARIMA模型则相对较为高效。

三、基于ARIMA的建模分析

3.1 ARIMA建模分析

3.2残差检验和预测

在建立电力通信业务流量分析与预测模型之后,还需要结合电力通信系统的实际情况对其适应性进行检验。模型的适应性是指模型已经完全或基本上反应了系统的动态性,从而模型中的残差εt是白噪声序列,即完成了εt的独立性检验。目前残差检验法主要有两种,即判断残差的自相关和偏自相关函数图、Ljung-Box检验法。计算LB(Ljung-Box)统计量为:

经过残差检验的ARIMA模型就可以用来对电力通信网络业务流量进行预测,从优化网络性能,提高网络服务质量。

3.3基于ARIMA模型的电力通信业务流量分析与预测

在电力通信网络系统中,传输的信息类型主要包括视频、语音与数据类,其中语音类业务在逐步萎缩,其数据量较小,而数据业务与视频业务的数据量大,传输质量要求高,因此需对视频类与数据类业务流量进行建模分析。

对于生产数据承载业务流量而言,主要包含运行信息类业务与运行控制类业务,对这类业务数据的采集需要24小时时段数据,在采集到相关数据之后,利用自相关函数和偏自相关函数图分析可知其不是稳定的序列,那么需要对其进行周期性和趋势性设计,进而得到平稳的时间序列。获得平稳的时间序列之后建立模型,需确定p、d、q、P、D、Q参数,并利用SPSS软件建立ARIMA(p,d,q)(P,D,Q)模型,之后进行残差检验和预测,最终得到符合要求的模型。对于视频类业务流量的建模分析流程与数据类业务流量建模流程相似,其具体流程为:数据承载业务分析数据采集与预处理模型参数确立建立模型残差检验和预测。

参 考 文 献

第9篇

【关键词】网络流量监控;C#;SNMP协议;网络数据

0.引言

空管信息网络承担着包括OA系统、共享服务以及相关业务系统在内的重要网络业务,提供信息化的同时,给技术保障维护人员带来一定的保障压力。根据相关工作经验及实际实验数据,网络设备端口流量异常是导致故障发生的重要原因,因此,对于网络流量的监控显得更加重要。随着空管信息化要求的逐日提高,网络规模也日益变大,对于网络流量监控的工作也更加繁重。本文从空管网络流量监控的实际情况出发,提出一种基于C#的网络流量监控,能够实现对网络数据进行获取、流量记录与分析。系统在实际运行中效果良好,可以为相关网络监控设计提供一种可行的借鉴。

1.总体设计

SNMP即网络管理协议(Simple Network Management),在TCP/IP协议族中可以对网络进行管理,这种管理既可以是本地的也可以是远程的。而基于SNMP网络协议的本系统,可以实现对网络数据的获取与实时监控的功能,实现上具有通用、实时、多线程、维护性强及扩展性强的特点。实现在数据链路层和网络层上任意节点的数据获取。加之记录功能的辅助,系统能实现在应用层的数据回放,以满足空管安全事件调查以及系统维护对历史工作状况的评估。

SNMP协议中,一个网管基站可以实现对所有支持SNMP协议的网络设备的监控(随着网络技术的发展,目前绝大部分网络设备是可支持的),包括监视网络状态、修改网络配置、接收网络事件告警等等网络监控功能。在实现上主要包括远程文件访问、流量数据记录、流量监视以及系统的IP定位。其中流量监视是系统实现的核心,将在下一部分进行介绍。另外,系统还提供了日志文件记录实现对系统操作、监控数据以及告警信息的记录。

2.C#的实现

对于系统的C#实现,主要采用的C/S模式,因此在系统的实现上尽量简单、快捷、高效为主。因此自定义相关函数与类,在记录数据和日志方面采用文本文件记录。

2.1网络监控类与网络适配类的设计

为了提高系统的模块化程度及软件的封装性,系统在实现过程中定义了两个主要的类。分别是用于网络监控的NetWorkMonitorClass以及网络适配类NetWorkMatch,网络监控类主要实现系统的网络监控功能,而网络适配类则提供了一个安装在计算机上的网络适配器,该类可用于获取网络中的流量。两者功能及结构如下:

在实际工作中网络监控类NetWorkMonitorClass通过定义一个Timer计时器进行计时器时间执行,以每隔2S刷新适配器,并与此同时刷新上传下载速度。与此同时通过ArryList列表定义了所监控设备的适配器以及当前控制的适配器。在构造函数NetWorkMonitorClass()中则通过,定义两个ArrayList(),其中一个(adapterlist)来保存获取到的计算机的适配器列表,一个(monitoradapters)代表有效的运行的适配器列表。

NetAdapterShow ();

Timer = new System.Timers.Timer(2000);

Timer.Elapsed += new ElapsedEventHandler(timer_ElapsedClick);

其中,NetAdapterShow ()为列举出安装在该计算机上面的适配器,具体实现可以通过C#的foreach()语句进行编写如下:

PerformanceCounterCategoryPCCCategory=new PerformanceCounterCategory("Network Interface");

foreach (string InstanceName in PCCCategory.GetInstanceNames())

{

if (InstanceName == "MS TCP Loopback interface")

continue;

// 创建一个实例Net workAdapter类别,并创建性能计数器它

MyNetWorkMatchClassmyMNWMadapter=new MyNetWorkMatch

Class(InstanceName);myMNWMadapter.m_Performance_Down=new PerformanceCounter("Network Interface", "Bytes Received/sec", InstanceName);

myMNWMadapter.m_Performance_Up=newPerformanceCounter("Network Interface", "Bytes Sent/sec", InstanceName);

m_AdaptersList.Add(myMNWMadapter);

}

当然,在类中也定义了StartWorking以及StopWorking等控制函数对类的工作状态进行控制。另外timer事件也通过构造函数进行加入,如上所述。

网络适配类NetWorkMatch则主要计算网络的各种数据,如计算上传速度、下载速度、控制适配器等函数的封装,减少网络监控类的功能耦合度。

2.2具体实现

在窗体加载函数中,系统首先做自我初始化如下:首先定义上述设计的网络监控类,并实例化monitor = new NetWorkMonitorClass();与此同时通过类函数遍历获取所有计算机适配列表,m_MNWMadapters = monitor.Adapters; ,Adapters()为网络监控类封装好的函数。并将函数返回结果通过Items.AddRange()函数将其显示在listbox控件中,以实现友好的人机交互界面。其次,在timer定时器中对选中监控的适配器进行独立监控。至此,系统实现了独立监控与全面监控的所有设计。

3.结语

本文提出一种基于SNMP协议分析的网络监控系统,该系统应用于空管信息网络。在实现过程,主要采用C#进行开发,通过编写自我的网络监控类和网络适配类进行网络数据的流量监控,可以推广应用于信息网络维护工作较为繁重的行业,提供一种智能网络流量监控手段。

【参考文献】

[1]宫婧,孙知信,陈二运.一种基于流量行为分析的P2P流媒体识别方法[J].计算机技术与发展,2009(09).

[2]王珊,陈松,周明天.网络流量分析系统的设计与实现[J].计算机工程与应用,2009(10).

相关文章
相关期刊