时间:2023-02-27 11:15:41
引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇神经网络算法范例。如需获取更多原创内容,可随时联系我们的客服老师。
1、BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
2、BP神经网络算法是在BP神经网络现有算法的基础上提出的,是通过任意选定一组权值,将给定的目标输出直接作为线性方程的代数和来建立线性方程组,解得待求权,不存在传统方法的局部极小及收敛速度慢的问题,且更易理解。
(来源:文章屋网 )
【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN
1 绪论
随着电子信息技术的快速发展,芯片的设计与生产进入了纳米时代,计算机的计算能力与计算速度得到了空前的提高,但是人们的需求是无限的,要求计算机能更加任性化的服务于我们的生活,这也就要求计算机本身能像人一样识别与感知周围的环境,并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的,最容易获取的信息,要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移,旋转,扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升,使得计算机更加智能。卷积神经网络拥有强大的特征提取能力,使得其在图像分类识别,目标跟踪等领域有着强大的运用。
1.1 国内外研究现状
1986年,Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法,神经网络能够从大量训练数据中的学习到相关统计信息,学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。
自2006年以来,Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法,也影响着我们对人类感知的理解,迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破,使得深度学习在图像分类,语音识别,自然语言处理等领域有广泛的运用。
2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下,百度陆续推出一系列人工智能产品,无人驾驶技术,DuerOS语音交互计算平台,人脸识别技术,美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构,VGG,Fast-R-CNN,SPP-net等等,可以说人工智能技术在近几年得到了空前的发展。
2 深度学习概述
深度学习是机器学习的一个新方向,通过学习样本数据内在规律和深层特征深度,深度学习神经网络能够像人一样有分析和学的能力,尤其在文字处理,图像识别,语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。
深度学习不同于以往的浅层学习,浅层学习模型值包含一个隐藏层,或者不存在隐藏层,深度学习则是由很多隐藏层组成的,上一层的输出作为下一层的输入,实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架,如图1、2、3所示。
3 卷积神经网络
卷积神经网络的结构层次比传统的神经网络复杂,卷积神经网络包含大量的隐藏层,相邻的卷积核或者下采样核采用局部感受野全链接,神经元权值共享的规则,因此卷积神经网络训练参数的数量远比传统神经网络少,卷积神经网络在训练和前向测试的复杂度大幅度降低,同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分,分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算,提取图像特征,下采样核则是对上层的数据进行将为处理,减少神经网络的复杂度。
卷积神经网络中每一个神经元的输入与前一层的局部感受野相连,提取局部感受野的特征,比如图像的轮廓,颜色等特征,而这些特征不仅包括传统人类能理解的特征,也包括神经网络自身能够识别的特征,卷积核全职共享,因此这些特征提取与图像的位置无关。
图4是经典的LeNet5卷积神经网络架构,LeNet5架构中卷积核和下采样核交替出现,下采样核及时的将卷积核生成的特征向量进行降维,减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出,在识别手写数字mnist中有极高的准确率。
4 R-CNN、Fast-R-CNN对比分析
卷积神经网络在对图像进行识别具有平移,旋转,扭曲不变的优良特性,并且能够实现高准确率识别图像,但是在现实生活运用中往往需要神经网络标记出目标的相对位置,这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进,产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN,Fast-R-CNN等改良算法。
4.1 R-CNN
R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理,其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法,代替了传统的非监督式预训练和监督式微调。
在CNN中,全连接层输入是固定大小的,因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后,要将这些候选区图片进行变换,生成固定大小的候选图片,在训练提取特征时一般采用经过预训练的模型参数进行finetuning,榱嗽黾友盗费本,模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类,在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中,得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算,保存所有后选取图片的特征值,要求计算硬件有大量的存储空间,同时处理每一张图片的时间也会增加。由于训练集庞大,本文采用hard negative mining method方法提高存储的利用率。
R-CNN的体现出了极大的优势,其中MAP也可以大幅度提高,但是正如本文上述,R-CNN计算的时间成本很大,达不到实时的计算效果,R-CNN在对候选区进行处理时会使得图像失真,部分信息丢失。
4.2 Fast-R-CNN
Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN,Fast-R-CNN从单输入变为双输入,在全连接层后有了两个输出,引入了Rol层。
Fast-R-CNN在运行的时候同样会生成大量的候选区,同时将原始的图片用卷积神经网络进行特征提取,将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式,SoftMax LOSS用于计算K+1分类的损失,K为第K个目标,1为背景;Regression LOSS计算候选区的四个角的坐标。
Fast-R-CNN在MAP上有了大幅度的提升,速度也得到了提升,但是在计算候选区是仍存在瓶颈,这也是限制Fast-R-CNN速度的因素。
5 实验测试
对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN,Fast-R-CNN,在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练,采用显卡K620进行实验。
训练模型初始化参数在是服从高斯随机分布,R-CNN采用的网络结构如图7所示,Fast-R-CNN的网络结构如图8所示。
本次实现的训练样本为录制实验室视频数据,将视频数据转换成帧图片,对每张图片数据进行裁剪,裁剪后图像大小在256*256,共有500张,再将裁剪后的图片进行旋转,平移,扭曲,镜像,加噪声等处理,最后生成144万张样本图片,其中136.8万张图片作为训练样本,7.2万张作为测试样本。
6 总结
在目标识别定位领域,卷积神经网络具有强大的图像处理能力,对图像的识别定位具有很高度平移,旋转,扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂,对一张图片需要进行1000-2000次的卷积运算,特征重复提取。因此在训练和前向测试时,R-CNN用的时间长,不能很好的适用于处理实时图片数据,尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存,降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知,Fast-R-CNN性能优于R-CNN。
参考文献
[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学,2015.
[2]郑胤,陈权崎,章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报,2014(02):175-184.
[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州:浙江工商大学,2006(04):603-617.
[4]李彦冬,郝宗波,雷航等.卷积神经网络研究综述[J].计算机应用,2016.
[5]Gibson.J J.The perception of the Visual World[J].Cambridge,England,1950.
[6]HORN B,SCHUNCK P.Determining optical flow[J].Artificial Intelligence, 1981,17:185-203.
[7]R.Girshick,J.Donahue,T. Darrell,and J.Malik,“Rich feature hierarchies for accurate object detection and semantic segmentation,”in CVPR,2014
[8]Ross Girshick,Wicrosoft Research. Fast R-CNN,.
[9]R.Girshick.Fast R-CNN. arXiv:1504.08083,2015.
关键词:期货经纪公司 综合实力 主成分分析 聚类分析
人工神经网络(ANN)是大脑及其活动的一个理论化的数学模型,由大量的处理单元(神经元)互连而成的,是神经元联结形式的数学抽象,是一个大规模的非线性自适应模型。人工神经网络具有高速的运算能力,很强的自学习能力、自适应能力和非线性映射能力以及良好的容错性,因而它在模式识别、图像处理、信号及信息处理、系统优化和智能控制等许多领域得到了广泛的应用。
人工神经网络的学习算法可以分为:局部搜索算法,包括误差反传(BP)算法、牛顿法和共轭梯度法等;线性化算法;随机优化算法,包括遗传算法(GA)、演化算法(EA)、模拟退火算法(SA)等。
蚁群算法是一种基于模拟蚂蚁群行为的随机搜索优化算法。虽然单个蚂蚁的能力非常有限,但多个蚂蚁构成的群体具有找到蚁穴与食物之间最短路径的能力,这种能力是靠其在所经过的路径上留下的一种挥发性分泌物(pheromone)来实现的。蚂蚁个体间通过这种信息的交流寻求通向食物的最短路径。已有相关计算实例表明该算法具有良好的收敛速度,且在得到的最优解更接近理论的最优解。
本文尝试将蚁群算法引入到前向神经网络的优化训练中来,建立了基于该算法的前向神经网络训练模型,编制了基于C++语言的优化计算程序,并针对多个实例与多个算法进行了比较分析。
前向神经网络模型
前向人工神经网络具有数层相连的处理单元,连接可从一层中的每个神经元到下一层的所有神经元,且网络中不存在反馈环,是常用的一种人工神经网络模型。在本文中只考虑三层前向网络,且输出层为线性层,隐层神经元的非线性作用函数(激活函数)为双曲线正切函数:
其中输入层神经元把输入网络的数据不做任何处理直接作为该神经元的输出。设输入层神经元的输出为(x1,x2,Λ,xn),隐层神经元的输入为(s1,s2,Λ,sh),隐层神经元的输出为(z1,z2,Λ,zh),输出层神经元的输出为(y1,y2,Λ,ym),则网络的输入-输出为:
其中{wij}为输入层-隐层的连接权值,{wi0}隐层神经元的阈值,{vki}为隐层-输出层的连接权值,{vk0}为输出层神经元的阈值。网络的输入-输出映射也可简写为:
1≤k≤m (5)
前向神经网络的训练样本集为
A={Xi,Tii=1,2,A,n)}
(其中Xi∈Rn,为第i组训练数据的输入,Ti∈Rm为与第i组训练数据的输入对应的期望输出,Tki为输出层第k个神经元的期望输出),设第i组训练数据的输入的实际输出为Yi∈Rm,Yki为输出层第k个神经元的实际输出,则基于该训练样本集的误差函数为
该函数是一个具有多个极小点的非线性函数,则对该前向神经网络的训练过程为调整各个神经元之间的连接权值和阀值{wij},{wi0},{vki},{vk0},直至误差函数E达到最小。
误差反向传播算法(BP算法)是一种梯度下降算法,具有概念清楚、计算简单的特点,但是它收敛缓慢,且极易陷入局部极小,且对于较大的搜索空间,多峰值和不可微函数也不能搜索到全局极小。为此人们提出了很多改进的学习算法,其中最简单且容易实现的是加入动量项的变学习率BP算法,这种算法一般都比较有效,但是收敛速度还是比较慢,仍是局部搜索算法,从本质上仍然摆脱不了陷入局部极小的可能。为了摆脱局部极小,人们已经尝试将可用于非线性优化的遗传算法、演化算法以及模拟退火算法等进行前向人工神经网络的训练。
蚁群算法
蚁群算法简介
蚂蚁在路径上前进时会根据前边走过的蚂蚁所留下的分泌物选择其要走的路径。其选择一条路径的概率与该路径上分泌物的强度成正比。因此,由大量蚂蚁组成的群体的集体行为实际上构成一种学习信息的正反馈现象:某一条路径走过的蚂蚁越多,后面的蚂蚁选择该路径的可能性就越大。蚂蚁的个体间通过这种信息的交流寻求通向食物的最短路径。蚁群算法就是根据这一特点,通过模仿蚂蚁的行为,从而实现寻优。这种优化过程的本质在于:
选择机制:分泌物越多的路径,被选择的概率越大。
更新机制:路径上面的分泌物会随蚂蚁的经过而增长,而且同时也随时间的推移逐渐挥发消失。
协调机制:蚂蚁间实际上是通过分泌物来互相通信、协同工作的。
蚁群算法正是充分利用了选择、更新和协调的优化机制,即通过个体之间的信息交流与相互协作最终找到最优解,使它具有很强的发现较优解的能力。
蚁群算法具体实现
蚁群算法求解连续空间上的优化问题 以求解非线形规划问题为例。考虑如下的非线性规划问题:minF(x1,x2,Λ,xn),使得,ai1x1+ai2x2+Λ+ainxn≥bi,i=1,2,Λ,r。这里F为任一非线形函数,约束条件构成Rn上的一个凸包。可以使用不等式变换的方法求得包含这个凸包的最小的n维立方体。设该立方体为
设系统中有m只蚂蚁,我们将解的n个分量看成n个顶点,第i个顶点代表第i个分量,在第i个顶点到第i+1个顶点之间有ki条连线,代表第i个分量的取值可能在ki个不同的子区间。我们记其中第j条连线上在t时刻的信息量为τij(t)。每只蚂蚁要从第1个顶点出发,按照一定的策略选择某一条连线到达第2个顶点,再从第2个顶点出发,…,在到达第n个顶点后,在kn条连线中选取某一条连线到达终点。每个蚂蚁所走过的路径代表一个解的初始方案,它指出解的每一个分量所在的子区间。用pijk(t)表示在t时刻蚂蚁k由城市i转移到城市j的概率,则(式(7))
为了确定解的具体值,可在各个子区间已有的取值中保存若干个适应度较好的解的相应分量作为候选组,为了加快收敛速度,参考具有变异特征的蚁群算法提出的具有变异特征的蚁群算法,使用遗传操作在候选组中确定新解的相应分量的值。首先可随机在候选组中选择两个值,然后对他们实行交叉变换、变异变换,以得到新值作为解的相应分量。该候选组中的值在动态的更新,一旦有一个更好的解的分量在该子区间中,就用这个值替换其中的较差者。
在m只蚂蚁得到m个解后,要对它们进行评估,本人使用Lagrange函数作为评估解的优劣的适应度函数,否则要对每个解进行合法性检查并去除其中的不合法解。然后要根据适应度函数值更新各条边上的信息量。要根据下式对各路径上的信息量作更新:
Δτijk表示蚂蚁k在本次循环中在城市i和j之间留下的信息量。
重复这样的迭代过程,直至满足停止条件。
候选组里的遗传操作 若候选组里的候选值的个数gi=0,即候选组里没有候选值,此时则产生一个[li+(j-1)×length,min(ui,li+j×length]间的随即数作为解分量的值wij,vij,跳过选择、交叉、变异等遗传操作。
若gi=1,即候选组里只有一个候选值wik,vik,则跳过交叉、选择等操作,直接对这个候选值wik,vik进行变异操作。
若gi=2,即候选组里有两个候选值,则跳过选择操作,直接对这两个候选值进行交叉、变异等操作。
否则,选择两个分量后进行交叉、变异操作。
在选择操作中,根据候选组里各候选值的适应度的大小,用“赌轮”的方法选取两个值。设第j个值所在解的适应度为fj,则它被选中的概率为
在交叉操作中,设所选择的两个值为wij(1),vij(1)和wij(2),vij(2),其适应度分别为f1,f2,且f1>f2,我们以概率Pcross进行交叉操作。随机产生p∈[0,1],若p>Pcross,则进行交叉操作。取随机数r∈[0,1],交叉结果值
在所有蚂蚁都得到解以后,修改边条上的信息量按式(8)和式(9)相应地更新各子区间上的信息量。但对Δτijk的更新应按下式进行:
其中W为一个常数,fk为蚂蚁k的解的适应度。
前向神经网络的训练过程
基于上述的定义,用蚁群算法训练具有三层前向神经网络,可按以下步骤进行:
输入相关参数:输入最大迭代次数number,每次迭代选取的适应度最好的解的个数num,每个分量的ki个子区间中信息量最大的子区间被选种的概率q0(其余子区间被选中概率为(1-q0))。
初始化:通过神经网络在控制变量可行域内随机产成m只蚂蚁,即产生m组{wij},{wi0},{vki},{vk0},且各个分量均为[-1,1]区间内的随机数。
迭代过程:对于n个分量,分别对m个蚂蚁进行循环更新相应的信息量τij(t),对候选组中的分量进行遗传操作,计算新解的适应度,对各边的信息量进行修改,根据适应度的优劣增删候选组中的值。判断是否满足结束条件,若不满足则继续迭代。
第(3)步的具体算法如下:
while not结束条件(如最大迭代次数) do
{for i=1 to n do (对n个分量循环)
{for k=1 to m do (对m个蚂蚁循环)
{根据q0和概率pijk(t)确定第i个分量的值在第j个子区间;
局部更新第j个子区间的信息量τij(t);
在第j个子区间候选组里通过遗传操作生成第i个分量值;}
计算新解的适应度函数值;}
修改个条边上的信息量;
取适应度最好的num个解将其各分量直接插入相应的子区间的候选组中,并淘汰候选组中的较差者。}
上述过程中根据下列公式选取第i个分量的值所在的子区间号j:
由于算法中以q0的概率选择ki个子区间中信息量最大的子区间,因此信息量最大的那个子区间常常被选中,这就使得新一代解的该分量值集中在这个子区间,容易发生停滞现象。为了避免这种现象,在上述过程中对所选的子区间的信息量进行局部更新,对被选中的子区间立即适当地减少其信息量,使其他蚂蚁选中该子区间的概率降低。设第k个个体的第i个分量选中第j个子区间,则按下式局部更新子区间j的信息量:
这样,更新后的信息量是原来的信息量和有关第i个分量各子区间的最小信息量的凸组合。当信息量最大的子区间被多次选中之后,信息量减少到ki个子区间的信息量的平均水平,从而蚂蚁选择其他子区间的概率增加,增加了所建立解的多样性,同时也有效减少了停滞现象的发生。
实验结果
为了评价蚁群算法的性能,笔者做了大量的计算机模拟试验,在此给出了两个函数COS(X)和SIN(X)函数的实验结果,选择蚂蚁群规模m=20;每次迭代选取的适应度最好的解的个数num=10;每个分量的ki个子区间中信息量最大的子区间被选中的概率q0=0.8;前向神经网络的输入层有1个神经元,隐层有10个神经元,输出层有1个神经元,多个方法SIN(X)函数的试验结果列于表1,多个方法COS(X)函数的试验结果列于表2。
结论
本文给出了基于蚁群算法的三层前向神经网络的训练模型,并建立了一种新的网络训练算法。从试验结果分析,与演化算法、模拟退火算法、加动量项的BP算法相比,蚁群算法具有较快的收敛速度,能够达到较小的均方误差值,因此,此方法收敛过程有比较明显的优势和稳定性。
网络训练算法。从试验结果分析,与演化算法、模拟退火算法、加动量项的BP算法相比,蚁群算法具有较快的收敛速度,能够达到较小的均方误差值,因此,此方法收敛过程有比较明显的优势。
参考文献:
1.褚蕾蕾,周梦等.计算智能的数学基础[Z].科学出版社,2002
2.吕岗,陈小平,赵鹤鸣.一种优化多层前向网络的IA-BP混合算法[J].计算机工程与应用,2003.27
3.王建群,卢志华.三层前向人工神经网络全局最优逼近[J].数学的实践与认识,2003.7
4.陈陵,沈洁,秦玲.蚁群算法求解连续空间优化问题的一种方法.软件学报,2002
5.Dorigo, M., Luca, M. A study of some properties of Ant-Q. Technical Report, TR/IRIDIA/1996-4, IRIDIA, University Libre de Bruxelles,1996
6.Gambardella, L.M., Dorigo, M. Ant-Q: a reinforcement learning approach to the traveling salesman problem. In: Prieditis, A., Russell, S., eds. Proceedings of the 12th International Conference on Machine Learning. Tahoe, CA: Morgan Kaufmann, 1995
7.Sheng, Jie, Chen, Ling. A new approach to solving nonlinear programming. Journal of System Science and System Engineering, 2002
8.Wu, Qing-hong, Zhang, Ji-hui, Xu, Xin-he, An ant colony algorithm with mutation features. Jurnal of Computer Research & Development, 1999
作者简介:
王晶(1980-),女,河北保定人,硕士研究生,主要研究领域为人工智能与数据处理。
张国立(1959-),男,吉林榆树人,教授,主要研究领域为智能计算理论、方法及其在电力市场中的应用。
计算机网络拓扑结构主要是指计算机连接网络之后,其自身设备与传输媒介所共同组成的一种物理构成模式,其网络拓扑结构的形式主要是由通信子网来决定的,其结构的主要功能是实现数据信息的网络共享、处理及交换,并要在一定程度上提升网络数据信息运行的可靠性,站在网络拓扑的结构来讲,计算机网络结构的主要部分是链路与结点,计算机网络实质上是由一组结点以及多条链路所共同组成的一种模拟结构。计算机网络通常表示为:G=<V,E>,其中V表示的是网络结点集,E表示的是链路集,如果应用Va来表示结构中增加的结点集,Eb来表示增加的连接集,那么就能够得到其拓扑扩展的计算机网络结构为G’=<V’,E’>。
2基于计算机网络连接优化中的神经网络算法
本次研究中分析的均场神经网络算法实际上是一种神经网络算法与均场退火技术相结合的算法,应用这种方法能够有效的增强计算机的网络连接,并且达到更优化、更快的连接效果,这其实是一种利润最大化的网络优化算法,其能够最大限度的提高计算机网络的性价比。
2.1神经网络算法
人工神经网络属于非线性动力学系统,其能够对信息进行分布式的存储及协同处理,其在人工神经网络之上的人工神经网络系统的基础之上,应用网络算法及网络模型进行各种信号的处理,或者是对某种运行模式进行识别,从而建立其一个独立的专家系统,或者是构成机器人,当前在多个领域中,人工神经网络系统都得到了广泛的应用,在该基础上所发展起来的人工神经网络算法是一种监督性的学习算法,人们对于其重视程度逐渐增加,但是在实际的应用中,其存在收敛速度较慢的缺陷,难以保证将收敛程度压制到全局的最小点,容易导致计算机网络学习及记忆不稳定性增强的问题,这会对计算机网络的连接效果造成直接的影响,做好其网络连接的优化非常的必要。
2.2均场神经网络算法
在基于计算机网络连接增强优化下的均场神经网络算法的研究中,对其网络效果进行判断,需要建立起一个完整的场均神经网络模型,在模型的构建过程中,应该做好函数法构造过程中的目标函数的构建问题,具体的构建方式表现为:应用Si来表示Hopfield计算网络中的一个神经元状态,并且规定当Si=1时,表示的含义是网络选中了连接i,可以实现正常的连接,当Si=0时,表示的含义是:网络中没有选中连接i,网络无法实现正常连接,再应用罚函数法就结构来进行网络模型的创建。
2.3实例分析
根据上文中分析的计算方法,在得到计算结果之后,能够对均场网络算法的可行性及有效性进行判定,我们分别采用模拟退火算法、遗传算法、均场神经网络算法进行比较,结果显示模拟退火算法需要计算99次,这样才能保证计算出规定的连接集,并从中获取一定的利润值,在遗传算法中需要进行96次的计算,在均场神经网络算法中,需要实施88次的计算,均场神经网络算法在获得网路连接效果等方面,更快、更加有效,更适宜应用于计算机网络连接的增强优化以及网络结构拓扑的扩展工作中。
3结束语
关键词:计算机网络模型;神经网络算法;分析
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2016)35-0212-02
计算机网络是人们多年研究科技进步最重要的成果,其被广泛运用到教育、工作、科学等方面,也具有良好的成就。目前,基于服务器的集线式网络具有实现网络互连的功能,但也成为了网络进一步发展的阻碍。虽然大量的信息能够丰富网络中的内容,但是其中的多媒体技术发展却使网络运行力不从心,比如图像、声音等,全面优化计算机网络整体性能是其发展的必要途径。将神经网络算法与计算机网络相结合,能够有效解决大规模复杂性的问题。
1浅析神经网络算法
1.1神经网络算法内涵
思维界认为,人类大脑思维包括灵感思维、逻辑思维、形象思维三种方式,神经网络模拟的就是人类思维的形象思维,是一种非线性动力学系统。神经网络算法指的是逻辑性思维根据逻辑规则推理的过程。神经网络的内容目前被广泛研究,包括建立理论模型、生物原型研究、建立网络模型与算法研究、人工神经网络应用系统等。
优化网络的神经网络主要是Hopfield神经网络,是1982年由美国物理学家提出的,它能够模拟神经网络的记忆机理,是全连接的神经网络。Hopfield神经网络中的每个神经元都能够信号输出,还能够将信号通过其他神经元为自己反馈,那么其也称之为反馈性神经网络。
1.2神经网络优化的基础
Hopfield神经网络其实是一个分线性动力系统演变的过程,通过能量函数分析系统的稳定性,将能量函数看做需要优化的问题目标函数。将能量函数的初始状态转变为稳定点这一过程,就成为求解优化问题过程,这个过程也可以称为在计算机联想记忆基础上解决优化问题的过程。
1.3神经网络优化模型的算法
反馈网络的联想记忆和优化是相对的,通过优化计算得知W,其目的就是为了找出E的最小稳定状态;联想记忆的稳定状态是特定的,要通过一些过程才能够找到适合的W。这个过程中的关键就是将问题的目标函数通过二次型能量函数进行表达。如下式所述:
Hopfield神经网络比较常见的类型有DHNN(离散型)和CHNN(连续性)两种,他们的动态方程分e为:
DHNN(离散型)动态方程:ui=fi(v1,v2,...,vN)
Vi=g(ui),vi∈{0,1},i=1,2,...,N
式子中的gi表示为阶跃函数,vi=g(ui)[(1, ui>0)(0, ui
CHNN(连续性)动态方程:dui/dt=fi(v1,v2,...,vN)
Vi=gi(ui),i=1,2,...,N
式子中的gi表示为常用函数sigmoid,vi=gi(ui)=1/2[1+tanh(ui/u0)],u0表示的为可控函数的斜率,当u0=0的时候,gi就为阶跃函数。【1】
1.4神经网络算法的优化步骤
其一,通过合适的问题将方法表述出来,使神经网络的输出和这一问题的解相互对应;
其二,创建有效的能量函数,要求问题的最优解能够对应最小值;
其三,使用有利条件和能量函数创建网络参数;
其四,创建对应的动态方程和神经网络;
其五,使用有效的初值,要求网络根据动态方程进行验算,直到收敛。
2基于神经网络算法的网络流优化模型
网络流优化模型的关键就是最小切割、图的划分和最大流问题,下面一一描述:
最小切割:最小切割是指寻找使隔集容量达到最小的切割。图的切割是指划分一个N―n1Un2,一个隔集为一组弧(i,j),i∈n1,j∈n2,隔集弧的权值总和为它的容量。使N=(W,T)是T=0的网络,要求能量最小为N图的最小切割。
图的划分:图的划分指的是将图划分为K个部分,要求每个部分中的节点数都相等。
最大流问题。要求有向图G(v,e)中的开始点为S,结束点为Z,边容量为Cij。如果每条边都有非负数fij,并且每条边为fij≤Cij且除了S和Z之外具有∑fij=∑fki。当S和Z有∑fsi=∑fiz=W的时候,W的最大值≤任何切割的容量。【2】
3基于神经网络算法的动态路由选择模型
通信网中的物理网络的连接一般是点到点,其可以用无向图G=(v,e)来表示,将交换节点表示为顶点,通路表示为边,每一边都有最大容量,为了能够满足网络中点和点能够相互通信,还E能够根据网络业务的量和用户呼叫为基础进行路由安排。现在一般使用的都是静态方式,能够提供给动态路由一些可能性,其的优化模型是:
如果网络图是G=(v,e),而且对网络中的边进行编号,路径经过的边表示为1,路径不经过的边表示为0,L*M神经元表示为L需要这多个路由,将备选的路由数量表示为M,如果通信网中具有N个节点,那么目标函数就是E=E1+E2+E3。【3】
4结束语
基于神经网络算法的优化网络模型有着简单、稳定、快速、规范的优势,其与其他算法相结合,能够较大程度的提高计算机网络模型的整体性能。但是Hopfield神经网络算法中的优化网络模型并不严格,它有着核心策略下降的缺点,那么在使用过程中会出现网络收敛的最优解呈局面状态、网络收敛解不可行、网络参数的不正当选择会导致偏差等,所以在今后就要深入研究计算机网络模型中的神经网络算法,使其更加完善。
参考文献:
[1]丁建立.基于神经网络算法的计算机网络优化模型研究[J].洛阳师范学院学报,2003, 22(2):59-62.
关键词:ART2神经网络;模式漂移;标幺值;距离
中图分类号:TP183文献标识码:A
文章编号:1001-9081(2007)04-0945-03
0引言
基于自适应共振理论的ART2神经网络,采用竞争学习和自稳机制原理来实现稳定的分类,在语音、视觉、嗅觉和字符识别等领域得到广泛应用。在注意子系统对输入模式通过向量归一化和非线性变换预处理过程中,易将重要但幅度较小的分量作为基底噪音而滤除,这样在分类过程中就丢失了重要的信息;同时,在学习过程中还存在因权值修正问题而造成的模式漂移现象。针对模式漂移等不足,国内外提出了许多解决办法,主要是结合遗传算法或小波等算法进行互补[1,2]。本文分析了造成这些不足的原因,提出了标幺值和基于类内样本与类中心的距离不同而对类中心偏移产生不同影响的思想,提出了改进算法,仿真实验证明改进算法能有效地改善模式漂移现象。
1传统ART2神经网络简介[3,4]
一种典型的ART2神经网络结构如图1所示:图中只画出了维数为q的样本X的第j个分量Xj
的处理结构图。
整个系统分为注意子系统和定向子系统两部分。注意子系统完成由底向上矢量的竞争选择及矢量间相似程度的比较,定向子系统检查相似度能否达到检测标准,并做出相应的动作,共振或者重置。
在注意子系统F1层特征表示场对输入模式X通过向量归一化和非线性变换进行预处理,以达到抑制噪声增强对比的作用,得到自稳后的输入模式U。
否则,当前激活节点I被重置并被屏蔽,在剩余节点中继续搜寻最匹配的。如果所有节点均不能通过警戒测试则开辟新的输出节点,即创建一个新类。并对新类所对应的内星及外星连接权矢量进行初始化:
2网络的分析和学习算法的改进
注意子系统F1层特征表示场要对输入模式X通过向量归一化和非线性变换进行预处理,在很多应用场合,由于输入模式X的分量的单位各不相同,会出现一些重要但幅值较小的分量,例如输入X=(70,2,85),三个分量代表不同的特征而单位不同,如果分量x2是一个很重要的量,经F1层特征表示场对输入模式X通过向量归一化,按照式(1)进行计算得:
被当作基底噪声而滤除,影响了分类的正确性。造成这种现象的主要原因是因为各分量的度量标准不同,如果输入分量变成无单位的值,将极大改善这种状况。工程计算中,往往不用各物理量的实际值,而是用实际值和相同单位的某一选定的基值的比值(标幺值)来进行计算。标幺值=实际值/基值,它是个相对值,没有单位。因此,在输入前应该对输入向量进行无单位化预处理。具体算法如下:
在聚类中,样本之间的距离常作为它们是否属于同一类一个判别标准,因此,将输入模式与现有的模板中心的距离引入了匹配度检验阶段及权值修改中,这将有效地改善模式漂移现象,具体改进算法如下:
3)权值的修正,根据输入样本与模板中心的距离来调整,基于如下的思想:对于同一个类的样本,当新增加一个样本,距离模板中心越远的样本对模板中心的迁移影响越大。这样得到的模板中心就会尽可能的接近真正的聚类中心,将改善模式漂移现象。权值的修正采用如下的修正公式:
3实例分析
为分析方便,文章采用文献[6]的实例,该组模式共有89个,其幅角分别为1°,2°,…,89°,其幅角作为序编号对各模式进行了标记。因为样本是二维数据,虽然幅值都为1,如果仅用幅角表征,相当于将其转化成一维的样本,显然仅将幅角作为输入是不合理的。表征平面上的坐标有极坐标和直角坐标,由于极坐标的两个分量幅值和幅角的单位量纲不同,而直角坐标的两个分量单位却是相同的,基于前面的分析,最好采用相同的单位,因此采用直角坐标来表征这组模式,分别为(cos1°,sin1°),(cos2°,sin2°),…,(cos89°,sin89°)。对于这组数据,分别采用顺序,逆序和随机输入的方式输入到传统ART2神经网络和本文的改进ART2神经网络。
3.1顺序输入方式
对于顺序输入比较结果见表1。其中参数如下:
传统的ART2神经网络参数为:a=10,b=10,d=0.8,e=0,θ=0.1,c=0.2,ρ=0.99,ww=0.01。
改进的ART2神经网络参数为:a=10,b=10,d=0.8,e=0,θ=0.1,c=0.2,ρ=0.9,ξ=0.97,ww=0.01。
可以看出,改进的ART2神经网络克服了传统ART2不能识别模式渐变过程的弱点,无超大类和样本混叠现象,良好地实现了分类。
对于逆序输入模式数据的分类结果基本类同于顺序输入方式下得到的结果。
3.2随机输入方式
将以上89个模式以随机输入的方式输入到传统ART2神经网络和本文的改进网络,共做10次实现,观察结果,表2列出具有代表性的一次分类结果。
两种ART2神经网络均将所有模式分为三类,其中传统的ART2神经网络的第一类模式序号均小于31,其规模仅有13个模式,属于超小类,缺少量为17个。第二类序号小于30的模式有18个,序号大于60的模式有6个,其规模为53个,属超大类,超出量为23个。第三类序号小于61的模式有3个,其规模为25个模式,缺少量为4个。第一类和第二类出现交混量,比例为0∶16,即本属于第一类的16个数据被错分到第二类,第一类与第三类交混量的比例为0∶1,第二类与第三类的交混量的比例为7∶2。
可以看出改进的ART2神经网络没有出现超大或超小类,同时交混量的数量也很少,说明改进的ART2神经网络分类性能显著提高。同时对其他几组结果进行分析,可知传统的ART2网络分类结果受模式输入顺序的影响较大,而改进的ART2网络的分类结果较为一致,说明改进后的ART2网络具有一定的鲁棒性。
4结语
关键词:车牌定位;脉冲神经网络(SNN);边缘检测;车牌定位;字符分割;字符识别 文献标识码:A
中图分类号:TP391 文章编号:1009-2374(2016)32-0013-02 DOI:10.13535/ki.11-4406/n.2016.32.006
现在车牌定位已经提出了很多方法,其中经常用到的是基于黑白图像定位、基于颜色特征算法和基于车牌边缘检测算法。大多数算法都是基于单一特征来进行车牌定位提取,这样的定位方法在确定车牌区域上存在着明显的局限性,受到特定条件的限制。车牌区域主要有以下特征:颜色特征、几何特征、位置特征、纹理特征、灰度跳变特征、投影特征和频谱特征等。车牌和字符的颜色共有五种组合分别为:蓝底白字、黄底黑字、白底黑字、黑底白字以及白底红字,其中一些小型和大型车辆的牌照底色会跟着省份的变化而略有不同。本文综合分析车牌的特征,提出了基于脉冲神经网络颜色特征提取的车牌粗定位和基于脉冲神经网络的边缘检测的精确定位。
1 算法描述及流程
首先输入拍摄的彩色车牌图像,利用SNN对车牌图像进行颜色特征提取,接着经过一系列处理实现车牌的粗定位,然后运用灰度化、边缘检测、形态学处理和二值化等技术对粗定位车牌进行处理,再采用行列扫描投影法进行精确定位,最终提取出正确的车牌区域,其中的边缘检测也是基于SNN。基于SNN的车牌定位流程如图1所示:
2 车牌的粗定位
以蓝色为例,上述算法的具体步骤如下:(1)输入彩色车牌图像;(2)将三幅成分图、和中的每个像素转换为脉冲序列;(3)计算其脉冲序列的放电频数,分别用维数为的数组、和来存储;(4)将三个像素阈值、、转换为脉冲序列,并计算其放电频数,分别用、和来存储;(5)判断是否满足、、,如果满足的话,令,否则令。
如果,则在坐标处的像素为蓝色。其他颜色原理相同。
3 车牌的精确定位
本文主要基于感受野和脉冲神经元来检测车牌图像的边缘,其网络的结构如图3所示。该网络有三层:第一层为光感输入层;第二层为中间层,四个并行神经元矩阵、、、对应四种不同的感受野,为了简化只画出了每个矩阵中的一个神经元。在突触连接中的“X”代表兴奋性突触,“”代表抑制性突触,中间层通过不同的权重矩阵连接光感输入层,分别执行上、下、左、右边缘的检测,这些权重矩阵能改变图像中不同尺寸感受野的大小;第三层为输出层,其中每一个神经元累加来自第二层对应四个并行神经元矩阵的输出。通过绘制输出层的脉冲频率图,能得到对应于输入图像的边缘图。本文主要介绍神经元通过权重矩阵连接到光感输入层的感受野,其响应了感受野的右边缘。此脉冲神经网络检测右边缘的原理如下:
如果一个灰度均匀图像位于该感受野中时,产生一个均匀的脉冲的输出,膜电势不会变化,不会有脉冲序列产生;如果一个边缘明确的图像位于感受野中,感受野的左半部分产生一个较强的信号,右半部分产生一个符号相反的较弱的信号,由于左半部分兴奋信号没有被右半部抑制信号抵消,因此膜电势上升得很快,最终产生响应右边缘的脉冲序列。突触权重矩阵相当于在感受野内检测边缘的一个滤波器,其他三个边缘原理相同。输出层神经元累积来自中间层的四个神经元矩阵的输出,然后响应位于感受野任意方向的边缘。
如图4所示,通过与canny边缘检测和sobel边缘检测对比,可知sobel边缘检测结果缺失了部分边缘,canny边缘检测能力很强,但是提取了很多无用的边缘,然而SNN边缘检测结果最好,弥补了两者的缺点。
4 实验结果及分析
使用Visual C++ 2012开发工具搭建此算法的软件实验平台,共收集了样本400张(全国各个省份的车牌),并且针对各种底色车牌逐一进行提取,有366张可以成功定位,定位率达到91.5%。从以上实验结果可知该算法能达到很好的定位效果。
5 结语
本文主要介绍了基于脉冲神经网络的车牌定位算法,分别从车牌粗定位和精确定位两方面进行了系统的分析,综合运用了图像处理中的灰度化处理、边缘检测、二值化等技术对车牌图像进行分析和处理,充分利用车牌颜色和纹理等特征对车牌进行提取。由于客观条件和时间的限制,本文的研究还存在很多不足,有很多方面需要进一步提高。
参考文献
[1] 孙杰.车牌定位分割技术的研究与实现[D].东北电力大学,2007.
[2] 张燕,任安虎.多特征与BP神经网络车牌识别系统研究[J].科学技术与工程,2012,(22).
[3] 陈丽娟.基于脉冲神经网络的车牌识别系统的设计与实现[D].福建师范大学,2015.
[4] QingXiang Wu,Martin McGinnity,Liam Maguire,Ammar Belatreche,Brendan Glackin.Edge Detection Based on Spiking Neural Network Model[J].Third International Conference on Intelligent Computing,ICIC 2007.
[5] 陈浩.基于脉冲神经网络模型的车辆车型识别研究[D].福建师范大学,2011.
关键词: 网络流量检测; 群智能算法; RBF神经网络; 网络安全
中图分类号: TN926?34; TP393 文献标识码: A 文章编号: 1004?373X(2016)20?0012?03
Abstract: The application of swarm intelligence optimizing neural network in network security and a network traffic detection model based on neural network algorithm are studied in this paper. QAPSO algorithm is used to optimize the basis function center and base function width of RBF neural network, and the connection weights of the output layer and the hidden layer as well. The detection model studied in this paper is analyzed by means of an example. The collected data is used to train the network traffic identification system and test its performance. The method researched in this paper is compared with the algorithms based on the conventional PSO and HPSO. The results show that the detection method has a faster recognition speed and better recognition accuracy, and can avoid the occurrence of local optimal solutions.
Keywords: network traffic detection; swarm intelligence algorithm; RBF neural network; network security
0 引 言
随着互联网技术不断发展和普及,互联网络中的应用和服务类型不断增加,为了提高网络安全,保护网民、公司企业以及政府部门等的财产与利益,需要对网络流量进行高效的监测[1?2]。
RBF神经网络具有强大的非线性拟合能力,即非线性映射能力,以及自学能力,同时便于计算机实现,因而在网络流量检测等网络安全领域得到了广泛应用。但是RBF神经网络的性能特别依赖网络参数选取的好坏,而传统RBF神经网络参数通常由人为按经验或随机选取,因此网络的性能具有较强的随机性[3?4]。
近年来,群智能优化算法逐渐发展并得到较为广泛的应用,其中粒子群优化算法是一种能够全局优化,具有建模速度快、收敛效率高的群智能优化算法,然而使用常规PSO算法优化神经网络仍然存在收敛速度和全局优化能力不能够达到平衡等问题[5?7]。因此本文研究一种基于量子自适应粒子群优化算法(QAPSO),对RBF神经网络的基函数中心[Ci]、基函数的宽度[σi]以及输出层与隐含层的连接权值[wi]进行优化。
1 基于群智能优化的神经网络算法
本文研究的QAPSO优化算法主要分为4部分,分别为初始化种群、估计进化状态、控制参数自适应以及处理变异[8]。
1.1 初始化种群
2 实例分析
为验证本文建立基于QAPSO优化RBF神经网络的网络流量检测模型的性能,使用基于Libsvm软件包的C#程序并结合数值计算软件Matlab R2014对网络流量进行采集、计算以及分类。网络流量检测类型如表2所示。
表2 网络流量检测类型
使用常规PSO优化算法及HPSO优化算法对RBF神经网络进行优化,并建立同样的网络流量检测模型,使用同样的训练数据样本进行训练,使用同样的测试数据样本进行性能测试。常规PSO优化算法的参数为空间维度[D=24],粒子数量[N=30],最大迭代次数[tmax=200],连接权值[w=0.9~0.4],加速系数[c1]和[c2]均为2。HPSO优化算法的参数为空间维度[D=24],粒子数量[N=30],最大迭代次数[tmax=200],连接权值[w=0.8~0.2],加速系数[c1]和[c2]均为2.5,[Vmaxd=0.5×Range]。QAPSO算法的参数为空间维度[D=24],粒子数量[N=30],最大迭代次数[tmax=200],连接权值[w=0.8~0.2],加速系数[c1]和[c2]为1.5~2.5,[Vmaxd=Range],[r1d]和[r2d]为0~1之间的随机数。
从图1可以看出,常规PSO优化算法使得适应度函数收敛到稳定值时的迭代次数为171次,HPSO优化算法使用了112次,而本文研究的QAPSO优化算法只使用了76次。同时,本文研究的QAPSO优化算法的收敛值更低,适应度函数的值即为RBF神经网络的训练误差,因此适应度函数越小,RBF神经网络的训练误差越小,性能越好。因此,本文研究的QAPSO优化算法相比另外两种PSO优化算法具有更快的收敛速度和更高的收敛精度,极大地提高了RBF神经网络的泛化能力。使用本文研究的QAPSO?RBF检测模型及常规PSO和HPSO优化RBF算法的检测模型对实验数据进行识别。表3为三种检测模型的检测准确率与反馈率对比。图2为三种模型的平均检测率和反馈率对比。
通过表3的数据可以看出,本文研究的QAPSO?RBF检测模型对12种类型网络服务与应用均有较好的识别准确率和反馈率,平均识别准确率达到了92.81%,比HPSO?RBF算法的平均识别准确率高出3.49%,比PSO?RBF算法的平均识别准确率高出6.99%。QAPSO?RBF识别算法的平均识别反馈率达到了94.81%,比HPSO?RBF算法的平均识别反馈率高出3.51%,比PSO?RBF算法的平均识别反馈率高出7.28%。可表明相比其他粒子群优化算法,本文研究的QAPSO优化算法在进行多次迭代后仍然具有较好的活跃性,跳出局部最优解,对最佳值的全局搜索能力具有非常显著的提高,加快了算法收敛速率,提高了识别准确率。
3 结 论
本文研究一种群智能优化神经网络算法的网络流量检测模型。通过实际测试验证,相比其他粒子群优化算法,本文研究的QAPSO优化算法在进行多次迭代后仍然具有较好的活跃性,跳出局部最优解,对最佳值的全局搜索能力具有非常显著的提高,加快了算法收敛速率,提高了识别准确率。
参考文献
[1] 卢金娜.基于优化算法的径向基神经网络模型的改进及应用[D].太原:中北大学,2015.
[2] 钟建坤,周永福.群智能算法优化神经网络在网络安全的应用研究[J].激光杂志,2015,36(4):143?146.
[3] 李博.粒子群优化算法及其在神经网络中的应用[D].大连:大连理工大学,2005.
[4] 蒋林利.改进的PSO算法优化神经网络模型及其应用研究[D].厦门:厦门大学,2014.
[5] 陈伟.基于群体智能算法的人工神经网络优化及其应用[D].无锡:江南大学,2007.
[6] 刘晓刚.群体智能算法在RBF神经网络中的应用[D].青岛:青岛大学,2008.
[7] 马汝辉.基于网络流量异常检测的网络安全技术研究[D].无锡:江南大学,2008.
[关键词]无线传感器,路由,BP神经网络
中图分类号:TN929.5 文献标识码:A 文章编号:1009-914X(2015)41-0243-01
1.概述
近年来,微电子机械系统、无线通讯和数字化电子领域快速发展,使得开发出用于短距离通信的低能耗、低成本、多功能传感器节点成为可能。这些节点能感知环境,数据处理和通讯[1]。基于传感器节点协作的传感器网络提升了应用领域与能量,传感器网络是传统传感器研究的重大改进。
传感器网络有广泛的应用领域,可以用于监控和收集分布式区域中的各种目标和信息。图1展示了一个经典的WSNs,该领域主要是设计一个有效的路由算法,增进通讯连通能力,目标是减少能量消耗、延长传感器网络的生命周期。与能量消耗相关的论文研究成功近年来不断涌现。
2.无线传感器路由问题建模
一个大的传感器网络由很多簇组成。传感器节点并不直接发送数据,而是在一个簇中由一个中心节点(Sink)完成数据收集工作。但是,由于发射信号限制,一个传感器节点只能和它发射半径之内的其它节点相连,本文的内容就是针对一个簇之内的信息收集工作展开的。
S是所有传感器节点的集合,E是一个节点的连接集合。是簇中的一个节点,代表着在节点u和v之间传输 1k的数据需要消耗的能量,本文使用如下无线通讯模型:接收1KB的数据包消耗传感器节点 1k的电能,发送放大器的能量消耗与距离相关,节点(u, v)之间用C(u, v)代表[2]。信息收集路径从sink节点开始,完成信息收集之后返回到同一节点,代表着一个完整的路径,so是sink节点。路由的能量消耗按如下公式定义:
D 代表传输数据的大小,是一个动态值。
3.基于BP神经网络的数据融合模型
反向传播网络(BP网络)是前向神经网络中最重要的一种,该网络的监督学习算法采用误差反向传播算法。该算法[3]的学习过程主要有两个:信号的正向传播与误差的反向传播。主要是通过修正各层神经元的权值,使得总的误差信号最小。近几年,,研究人员开展了很多基于神经网络的无线传感器网络数据融合方面的研究工作。实验结果表明,把BP神经网络应用传感器数据融合中,可以大大降低传送数据的特征维数,提高无线网络的数据融合效率。
3.1 BP神经网络
BP网络是利用BP算法的前向型神经网络,其是在多层感知器的基础上增加了反向传播信号,可以较好地处理非线性的数据信息,具有较好的泛化能力,广泛地应用在系统模型辨识、预测或控制。
BP神经网络中的神经元模型中的激发函数通常选用非线性的Sigmoid函数:
只有当系统特性在正负区间变化时,激发函数选择对称的Sigmoid函数,又称为双曲函数:
BP神经网络的网络结构由输入层、输出层和隐层组成,其中隐层可以有多层,不过最常用还是单隐层的三层BP网络。
3.2 BP神经网络权值调整规则
BP网络的学习过程是就将误差反向传播并修正网络权值直到网络的总误差最小。定义BP神经网络的输入输出模型对应的系统误差函数为:
利用梯度最速下降法解析如何调整连接权值使误差函数E最小。
BP神经网络训练过程[4]:当确定网络结构后,始对BP神经网络进行训练。BP神经网络的学习是由信号的正向传播与误差的反向传播两个过程组成的,在正向传播时,输入样本信号从输入层进入网络,通过隐层处理最后传送给输出层,如果输出结果与期望值不符,则把误差进行反向传播,根据上面的权值调整系数调整权值的变化,直到网络输出层的输出结果满足要求为止。
4.基于BP神经网络的 路由仿真实验
无线传感器网络与神经网络在有些地方很类似,比如无线传感器网络中的传感器节点具有感知数据处理信息的能力,相当于神经网络中的神经元;无线传感器网络节点之间通过一定的规则传递信息,则相当于连接神经元的突触。神经网络算法与无线传感器网络中应用的数据融合技术有相同的功能,即通过一定的规则对大量的数据进行运算处理,从而得到反映这些数据特征的结果。因此,可以把神经网络算法应用到无线传感器网络中实现数据的融合。
实验中,设置传感器节点数目为 100,200,300,400 和 500。传感器网络环境是一个 200m*200m 的空间[5-6]。令传输数据的大小为 1KB,发射半径分别为 20m 和 30m。实验结果是 50 次运行的平均值。图2 和图 3现实了算法在不同数据集上最有解的变化趋势,从中可以看出能量的逐步变化,并且,图 3 的能量消耗更小,因为发射半径较大。
5.结论
本文利用BP神经网络模型解决无线传感器网络路由问题,实验中,采用了不同规模的网络实验数据,并同该领域其它经典算法进行比较,验证了本文所提方法在该领域的有效性。下一步的可针对模型在大规模数据集上表现没有中小规模优秀的问题方面展开。
参考文献
[1]张重毅,适用于无线传感器网络的移动路由算法[D]. 吉林: 吉林大学计算机科学与技术学院, 2007.
[2] 李凤保,李凌.无线传感器网络技术综述[J]. 仪器仪表学报, 2005,26(3):559-561.
[3] Shih E, Cho S, Ickes N, Min R, Sinha A, Wang A, Chandrakasan A. Physical layer driven protocol and algorithm design forenergy-efficient wireless sensor networks[C]. Proceedings of the ACM MobiCom 2001, Rome: ACM Press, 2001, 272-286.
[4] 唐勇,周明天,张欣.无线传感器网络路由协议研究进展[J]. 软件学报,2006,17(3):410-421.