时间:2023-07-23 09:17:20
引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇神经网络研究现状范例。如需获取更多原创内容,可随时联系我们的客服老师。
【关键词】模糊系统;神经网络;结合;现状
中图分类号:Q189文献标识码: A 文章编号:
一、前言
随着我国经济的快速发展,我国的各项事业都取得了巨大的成就。其中模糊系统与神经网络的结合就是重要的体现,模糊系统与神经网络的结合在很多方面都得到了应用,同时也引起了更多学者研究其的愿望。相信模糊系统与神经网络的结合在未来会发展的更好。
二、模糊系统与神经网络概述
1、模糊系统与神经网络的概念
(1)、模糊系统概念
模糊系统(Fuzzy System, 简称 FS)是仿效人的模糊逻辑思维方法设计的系统, 方法本身明确地说明了系统在工作过程中允许数值量的不精确性存在。
(2)、神经网络概念
神经网络( Neural Network, 简称 NN) 是由众多简单的神经元连接而成的网络。尽管每个神经元结构、功能都不复杂, 但网络的整体动态行为极为复杂, 可组成高度非线性动力学系统, 从而可表达许多复杂的物理系统。神经网络的研究从上世纪40年代初开始, 目前, 在世界范围已形成了研究神经网络前所未有的热潮。它已在控制、模式识别、图像和视频信号处理、金融证券、人工智能、军事、计算机视觉、优化计算、自适应滤波和A/D变换等方面获得了应用。
2、模糊系统与神经网络的异同
(1)映射集及映度
神经网络是用点到点的映射得到输入与输出的关系, 它的训练是确定量, 因而它的映射关系也是一一对应的; 模糊系统的输入、输出都是经过模糊化的量, 不是用明确的数来表示的, 其输入输出已模糊为一个隶属度的值,因此它是区域与区域间的映射, 可像神经网络一样映射一个非线性函数。
(2)知识存储方式
神经网络的基本单元是神经元, 对映射所用的多层网络间是用权连接的, 因此学习的知识是分布在存储的权中间的, 而模糊系统则以规则的方式来存储知识, 因此在隶属函数形式上, 区域的划分大小和规则的制定上人为因素较多。
(3)联结方式
神经网络的联结, 以前馈式网络为例, 一旦输出的隐层确定了, 则联结结构就定了, 通过学习后, 几乎每一个神经元与前一层神经元都有联系, 因此, 在控制迭代中, 每迭代一次,各权都要学习。而在模糊系统中, 每次输入可能只与几条规则有关, 因此联结不固定, 每次输入输出联系的规则都在变动, 而每次联结的规则少, 运算简单方便。
(4)计算量的比较
人工神经网络的计算方法需要乘法、累加和指数运算, 而模糊系统的计算只需两个量的比较和累加, 又由于每次迭代的规则不多, 因此在实时处理时, 模糊系统的速度比神经网络快。但是当模糊输入与输出变量很多的时候,模糊规则仅靠一张表已不能描述多变量间的关系, 且规则的控制存在一定困难, 此时人为的先验指数变得较少, 那么隶属函数、规则本身都要通过学习得到, 因此它的计算量也会增加。
三、模糊和神经网络的结合形式
目前,模糊和神经网络技术从简单结合到完全融合主要体现在四个方面(见图1)。由于模糊系统和神经网络的结合方式目前还处于不断发展的进程中,所以,还没有更科学的分类方法,下述结合方式是从不同应用中综合分析的结果。
1、模糊系统和神经网络系统的简单结合(见图1(a))
模糊系统和神经网络系统各自以其独立的方式存在,并起着一定的作用。¹松散型结合 在一系统中,对于可用“if-then”规则来表示的部分,用模糊系统描述;而对很难用“if-then”规则表示的部分,则用神经网络,两者之间没有直接联系。
(1)并联型结合 模糊系统和神经网络在系统中按并联方式连接,即享用共同的输入。按照两系统所起作用的轻重程度,还可分为等同型和补助型。
(2)串联型结合 模糊系统和神经网络在系统中按串联方式连接,即一方的输出成为另一方的输入。
图表 1模糊系统与神经网络结合形式分类
2、用模糊逻辑增强的神经网络。这种结合的主要目的是用模糊神经系统作为辅助工具,增强神经网络的学习能力,克服传统神经网络容易陷入局部极小值的弱点。
3、用神经网络增强的模糊逻辑
这种类型的模糊神经网络是用神经网络作为辅助工具,更好地设计模糊系统。
(1)网络学习型的结合 模糊系统设计的关键是知识的获取,传统方法难于有效地获取规则和调整隶属度函数,而神经网络的学习能力能够克服这些问题,故用神经网络增强的模糊系统。
(2)基于知识扩展型的结合 神经网络和模糊系统的结合是为了扩展知识库和不费时地对知识库进行修正,增强系统的自学习能力,这种自学习能力是靠神经网络和模糊系统之间进行双向。
4、模糊系统与神经网络的等价
(1)函数通近
模糊系统与神经网络除了都是无模型系统外,它们都是函数的全局逼近器.模糊系统以其插值机理来逼近任意的连续函数。不但传统的模糊系统模型是任意连续函数的全局逼近器,而且神经网络与模糊系统的不同结合能逼近不同的函数,如模糊神经网络可以逼近模糊函数,神经网络也是任意连续函数的全局逼近器。设任意连续函数h(x),对于紧空间X和任意小的正数,总能找到一个三层的前向神经网络N(x)满足:
在前向神经网络家族中,RBF神经网络是最优的函数逼近器,即对于任意的神经网络N(x)总存在一个RBF神经网络N‘(x),满足:
(2)神经网络与模糊系统的等价性
模糊系统和神经网络的等价性主要有两个方面:模型的等价性和Madani模型的等价性。对于TS模型.首先Jang〔,5〕给出了标准的Gauss,anRBF神经网络等价于限制的Ts一型模糊系统。Hunt指出推广的GaussianRBF神经网络等价于TS一型模糊系统。Benitez证明了若一个三层的神经网络,隐含单元的激发函数为对数函数(loglst1C),输出层的激发函数为单元函数.设N(x),则存在一个模糊系统的输出也为N(x)。
四、模糊系统与神经网络结合的现状
目前, FS和NN的结合主要有模糊神经网络和神经模糊系统。神经模糊系统是以NN为主, 结合模糊集理论。它将NN作为实现FS 模型的工具, 即在NN的框架下实现FS或其一部分功能。神经模糊系统虽具有一些自己所具有而NN不具备的特性, 但它没有跳出NN 的框架。神经模糊系统从结构上来看, 一般是四层或五层的前向神经网络。模糊神经网络是神经网络的模糊化。即以模糊集、模糊逻辑为主, 结合 NN 方法, 利用NN的自组织性, 达到柔性信息处理的目的。目前,FS理论和NN结合主要应用于商业及经济估算、自动检测和监视、机器人及自动控制、计算机视觉、专家系统、语音处理、优化问题、医疗应用等方面, 并可推广到工程、科技、信息技术和经济等领域。
五、模糊神经网络的发展方向及存在问题
然模糊神经网络得到了突飞猛进的发展,但目前还存在很多问题:(1)多变量、复杂控制系统中,很难确定网络的结构和规则点的组合“爆炸”问题;(2)传统的Bp学习方法昜陷入局部极小值,并切学习速度较慢。
发展方向主要集中于:(1)模糊逻辑和神经网络的对应关系,将模糊控制器的调整转化为等价的神经元网络学习,利用等价的模糊逻辑来初始化神经元网络;(2)寻找一般模糊集的模糊神经网络的学习算法
七、结束语
近年来随着信息技术的发展,模糊理论和人工神经网络近年来取得了引人注目的进展, 模糊理论和人工神经网络的各个方面都取得了越来越多的成果。 通过不断的努力,我们一定可以进一步的推进模糊理论和神经网络将会在发展新理论, 完善各自体系。相信在未来的研究中,模糊和神经网络的结合
将会为研究更高智能系统开创一条成功之路,造福人类。
参考文献
[1]刘增良.模糊技术与应用选篇[J].京航空航天大学出版社,1997.
[2]庄镇泉,章劲松.神经网络与智能信息处理[J].中国科学技术大学,2000.
人工神经网络属于一种对人脑结构及功能进行反映的数学抽象模型,对人的思维以及存储知识等功能进行模拟,从而完成某项工作。对于岩土工程来说,主要包括岩体和土体两项内容,且这两项内容均具备很高的复杂性。在岩土工程研究过程中,有必要借助人工神经网络,从而使岩土工程的研究得到有效进步发展。本文在分析人工神经网络的基础上,进一步对人工神经网络在岩土工程中的应用进行分析,以期为岩土工程研究的进展提供一些具有价值的参考建议。
关键词:
人工神经网络;岩土工程;应用
岩土工程的研究对象分为两大类:其一为岩体;其二为土体。岩土工程涉及的介质存在两大特性,即模糊性和随机性,这两大特性又统称为不确定性。近年来,不少学者在岩土工程研究过程中,提出了人工神经网络这一概念,即利用人工神经网络,将其应用到岩土工程研究领域当中,从而为深入了解岩土工程的某些介质特征奠定有效基础[1]。从岩土工程研究的优化及完善角度考虑,本文对“人工神经网络在岩土工程中的应用”进行分析意义重大。
1人工神经网络分析
1.1人工神经网络概念
对于人工神经网络来说,是一种对人脑结构与功能进行反映的数学抽象模型;主要通过数理策略,经信息处理,进一步对人脑神经网络构建某种简化模型,进一步采取大量神经元节点互连,从而形成复杂网络,最终完成人类思维及储存知识的能力的模拟。神经网络无需构建反映系统物理规律的数学模型,与别的方法比较,在噪声容忍度方面更强[2]。与此同时,还拥有很强的非线性映射功能,对于大量非结构性以及非精准性规律存在自适应能力,具备超强的计算能力,可完成信息的记忆以及相关知识的推理,且其自身还具备自主学习能力;与常规算法相比,优势、特点突出。
1.2BP网络简述
从研究现状来看,基于实际应用过程中,人工神经网络模型大多数采取BP网络。BP网络即指的是多层前馈网络,因多层前馈网络的训练通常使用误差反向传播算法,所以将BP网络称之为属于一类误差反向传播的多层前馈网络。对于其网络而言,具备输入节点和输出节点,同时还具备一层隐层节点与多层隐层节点,基于同层节点当中不存在耦合状态。其中的输入信号从输出层节点依次传过各个隐层节点,进一步传输至输出节点,每一层节点的输出只对下一层的节点输出产生影响。
2人工神经网络在岩土工程中的应用分析
在上述分析过程中,对人工神经网络的概念有一定的了解,由于其模型算法的优越性,可将其应用到岩土工程研究领域当中,从而为解决岩土工程问题提供有效凭据。从现状来看,人工神经网络在岩土工程中的应用主要体现在以下几大方面。
2.1在岩石力学工程中的应用
岩石力学工程是岩土工程中尤为重要的一部分,将神经网络应用到岩石力学工程当中,主要对岩石非线性系统加以识别,同时还能够为工程岩体分类提供有效帮助,此外在爆破效应预测方面也具备一定的应用价值。对于人工神经网络来说,存在从有限数据中获取系统近似关系的优良特性,而岩石当中的各项参数之间又存在很复杂的关系,并且难以获取完整的参数集。在这样的情况下,使用人工神经网络技术,便能够使岩石非线性系统识别问题得到有效解决[3]。此外,有研究者将岩石抗压强度、抗拉强度以及弹性能量指数等作为岩爆预测的评判指标,进一步对岩爆预测的神经网络模型进行构建,然后预测了岩爆的发生与烈度。通过计算得出结论:采取人工神经网络方法进行岩爆预测行之有效,值得采纳借鉴。
2.2在边坡工程中的应用
对于岩土工程中的边坡工程来说,边坡失稳状况突出,且是由多因素造成的,比如边坡失稳的地质形成条件、诱发因素的复杂性以及随机性等。与此同时,由于边坡动态监测技术从目前来看尚且不够成熟,因此边坡失稳在岩土工程研究领域一直视为是一项难以解决的工程项目。而对于神经网络方法来说,因其具备非常好的预测功能,因此相关岩土工程研究工作者通常会采取人工神经网络对岩土工程中的边坡工程问题进行求解。并且,从现有研究成果来看,将人工神经网络应用于岩土工程的成果突出。有学者对影响岩质边坡的稳定性的相关因素进行了分析,包括地形因素、岩体因素以及外部环境因素等,并构建了边坡稳定性分析的BP网络模型[4]。此外,还有学者将大量水电边坡工程的稳定状况作为学习训练样本及预测样本,对以人工神经网络技术的边坡岩体的稳定性进行了研究,结果显示,采取人工神经网络对边坡岩体的稳定状况进行预测可行性高。
2.3在基坑工程中的应用
采取人工神经网络对基坑变形进行预测主要分为两种情况:其一,对会影响基坑变形的各大因素及位移的神经网络模型加以构建;其二,把变形监测数据作为一个时间序列,以历史数据为依据,将系统演变规律查找出来,进一步完成系统未来发展趋势的分析及预测。有学者针对基坑变形利用了人工神经网络方法进行预测,结果表明:对前期实测结果加以应用,使用此方法能够对后续阶段的基坑变形实时预测出来,并且预测结果和实测结果保持一致性。此外,还有学者根据具体工程项目,采取人工神经网络,对深基坑施工中地下连续墙的位移进行了深入分析及预测,结果显示:使用人工神经网络方法进行分析及预测,在精准度上非常高,值得在深基坑工程相关预测项目中使用[5]。
2.4在地铁隧道工程中的应用
在地铁隧道施工过程中,存在地表变形和隧道围岩变形等状况,为了深入了解这些状况,可将人工神经网络应用其中。有学者在对地层的影响因素进行分析过程中,列出了可能的影响因素:盾构施工参数、盾构物理参数以及地质环境条件,进一步利用人工神经网络,构建了人工神经网络模型,进一步针对盾构施工期间的地层移动进行实时动态预测,最终得到了不错的预测成果。此外,还有学者对BP网络算法进行改进,然后对某地铁工程中隧道上方的地表变形进行了未来趋势预测,结果表明:和其他地表变形预测方法相比,人工神经网络预测方法的应用价值更为显著。
3结语
通过本文的探究,认识到基于人工神经网络模型的算法具备很高的优越性,由于岩土工程地质条件复杂,为了深入研究岩土工程,可将人工神经网络应用其中。结合现状研究成果可知,人工神经网络在岩石力学工程、边坡工程、基坑工程以及地铁隧道工程中均具备显著应用价值。例如:将人工神经网络应用于岩石力学工程当中,能够预测岩爆的发生与烈度;应用于边坡工程当中,能够边坡工程的稳定性进行精准预测;应用于基坑工程当中,实现对基坑工程变形的实时动态监测;应用于地铁隧道工程当中,能够进一步了解地铁工程中隧道上方的地表变形情况。
总而言之,人工神经网络在岩土工程中的应用价值高,值得相关工作者采纳应用。
作者:张洪飞 单位:山东正元建设工程有限责任公司
参考文献
[1]郑惠娜.章超桦.秦小明.肖秀春,等.人工神经网络在食品生物工程中的应用[J].食品工程,2012(01):16-19.
[2]邹义怀.江成玉.李春辉,等.人工神经网络在边坡稳定性预测中的应用[J].矿冶,2011(04):38-41.
[3]曹建智.张健.人工神经网络在白洋淀水质评价中的应用[J].电子技术与软件工程,2016(08):261-262.
【关键词】极限学习机 故障诊断 神经网络
引言
随着设备复杂化程度的提高,对故障诊断的快速性和准确性提出了更高的要求。将神经网络应用于故障诊断中已成为一个非常活跃的研究领域。利用神经网络强大的分类能力,进行故障模式的分类与学习,诊断出故障。
Huang在前人研究的基础上提出了一种称为极限学习机(Extreme Learning Machine,ELM)的学习方法,在保留计算精度的同时可以大幅度的缩减训练的时间。将ELM运用到设备故障诊断中,极大提高了诊断的快速性和准确性。
一、极限学习机研究现状
ELM自2004年提出就一直受到学者的极大兴趣。我们从ELM的理论和应用两方面进行阐述。
1.1 ELM的理论
对于传统ELM算法,网络结构、激活函数类型以及隐层神经元的选择对其泛化性能都有重要的影响。为了提高计算效率,使得ELM适用于更多应用领域,研究者提出了许多ELM扩展算法。
1.2 ELM的应用
研究人员已尝试利用ELM方法解决现实中各种模式分类问题。随着ELM自身理论的进一步发展和完善,在人脸识别、文本分类、医疗诊断等领域中应用广泛。
二、故障诊断技术研究现状
故障诊断技术是由于建立监控系统的需要而发展起来的。其发展至今经历了3个阶段。新的诊断技术带来了领域内算法的革新,设备精密程度的提高也对诊断实时性提出了更高的要求。如何保证故障的快速准确诊断成了诊断技术发展重要内容。
基于神经网络的故障诊断运用广泛,然而传统的神经网络学习方法存在许多问题。与传统的神经网络相比,极限学习机方法通过随机选取输入权值及隐层单元的偏置值,可以产生唯一的最优解,并具有参数易于选择以及泛化能力好等特点,在众多领域有着广泛应用。
三、基于极限学习机的故障诊断方法研究
3.1基于ELM的故障诊断流程
(1)数据预处理。按照选取的特征向量和故障类型对故障样本进行预处理,并将处理后的样本按比例分为训练样本集和测试样本集。
(2)ELM的学习算法主要有以下3个步骤:确定隐含层神经元个数;随机设定输入层与隐含层间的连接权值和隐含层神经元的偏置;选择隐含层神经元激活函数,进而计算隐含层输出矩阵计算输出层权值。
(3)用训练好的ELM模型对测试样本集进行分类,并输出分类结果。
3.2基于改进ELM的故障诊断
针对极限学习机神经网络初始权阈值对算法性能的影响问题,提出融合遗传算法(GA)与粒子群算法(PSO)的GA-PSO算法,用于优化ELM神经网络初始权阈值。该算法将群组一分为二,分别采用GA和PSO算法,再将优秀个体进行合并,改善了PSO算法全局搜索能力,同时增强GA算法的局部搜索效能。
[关键词]遗传算法 灰色系统 专家系统 模糊控制 小波分析
一、前言
神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的,他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段:1947~1969年为初期,在这期间科学家们提出了许多神经元模型和学习规则, 如MP模型、HEBB学习规则和感知器等;1970~1986年为过渡期,这个期间神经网络研究经过了一个低潮,继续发展。在此期间,科学家们做了大量的工作,如Hopfield教授对网络引入能量函数的概念,给出了网络的稳定性判据,提出了用于联想记忆和优化计算的途径。1984年,Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络,简称BP网络。目前,BP网络已成为广泛使用的网络;1987年至今为发展期,在此期间,神经网络受到国际重视,各个国家都展开研究,形成神经网络发展的另一个。神经网络具有以下优点:
(1) 具有很强的鲁棒性和容错性,因为信息是分布贮于网络内的神经元中。
(2) 并行处理方法,使得计算快速。
(3) 自学习、自组织、自适应性,使得网络可以处理不确定或不知道的系统。
(4) 可以充分逼近任意复杂的非线性关系。
(5) 具有很强的信息综合能力,能同时处理定量和定性的信息,能很好地协调多种输入信息关系,适用于多信息融合和多媒体技术。
二、神经网络应用现状
神经网络以其独特的结构和处理信息的方法,在许多实际应用领域中取得了显著的成效,主要应用如下:
(1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
(2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类;可用于海底声纳信号的检测与分类,在反潜、扫雷等方面得到应用。
(3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别,还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。
(4) 机器人控制。对机器人眼手系统位置进行协调控制,用于机械手的故障诊断及排除、智能自适应移动机器人的导航。
(5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。
(6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究,部分成果已得到应用。
(7) 经济。能对商品价格、股票价格和企业的可信度等进行短期预测。
(8) 另外,在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。
三、神经网络发展趋势及研究热点
1.神经网络研究动向
神经网络虽已在许多领域应用中取得了广泛的成功,但其发展还不十分成熟,还有一些问题需进一步研究。
(1) 神经计算的基础理论框架以及生理层面的研究仍需深入。这方面的工作虽然很困难,但为了神经计算的进一步发展却是非做不可的。
(2) 除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外,一些新的模型和结构很值得关注,例如最近兴起的脉冲神经网络(spiking neural network)和支持向量机(support vector machine)。
(3) 神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统,正成为一大研究热点。
(4) 增强神经网络的可理解性是神经网络界需要解决的一个重要问题。这方面的工作在今后若干年中仍然会是神经计算和机器学习界的一个研究热点。
(5) 神经网络的应用领域将不断扩大,在未来的几年中有望在一些领域取得更大的成功,特别是多媒体技术、医疗、金融、电力系统等领域。
2.研究热点
(1)神经网络与遗传算法的结合。遗传算法与神经网络的结合主要体现在以下几个方面:网络连接权重的进化训练;网络结构的进化计算;网络结构和连接权重的同时进化;训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用,如模式识别、机器人控制、财政等,并取得了较传统神经网络更好的性能和结果。但从总体上看,这方面研究还处于初期阶段,理论方法有待于完善规范,应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。
(2)神经网络与灰色系统的结合。灰色系统理论是一门极有生命力的系统科学理论,自1982年华中理工大学的邓聚龙教授提出灰色系统后迅速发展,以初步形成以灰色关联空间为基础的分析体系,以灰色模型为主体的模型体系,以灰色过程及其生存空间为基础与内的方法体系,以系统分析、建模、预测、决策、控制、评估为纲的技术体系。目前,国内外对灰色系统的理论和应用研究已经广泛开展,受到学者的普遍关注。灰色系统理论在在处理不确定性问题上有其独到之处,并能以系统的离散时序建立连续的时间模型,适合于解决无法用传统数字精确描述的复杂系统问题。
神经网络与灰色系统的结合方式有:(1) 神经网络与灰色系统简单结合;(2) 串联型结合;(3) 用神经网络增强灰色系统;(4) 用灰色网络辅助构造神经网络;(5) 神经网络与灰色系统的完全融合。
(3)神经网络与专家系统的结合。基于神经网络与专家系统的混合系统的基本出发点立足于将复杂系统分解成各种功能子系统模块,各功能子系统模块分别由神经网络或专家系统实现。其研究的主要问题包括:混合专家系统的结构框架和选择实现功能子系统方式的准则两方面。由于该混合系统从根本上抛开了神经网络和专家系统的技术限制,是当前研究的热点。把粗集神经网络专家系统用于医学诊断,表明其相对于传统方法的优越性。
(4)神经网络与模糊逻辑的结合
模糊逻辑是一种处理不确定性、非线性问题的有力工具。它比较适合于表达那些模糊或定性的知识,其推理方式比较类似于人的思维方式,这都是模糊逻辑的优点。但它缺乏有效的自学习和自适应能力。
而将模糊逻辑与神经网络结合,则网络中的各个结点及所有参数均有明显的物理意义,因此这些参数的初值可以根据系统的模糊或定性的知识来加以确定,然后利用学习算法可以很快收敛到要求的输入输出关系,这是模糊神经网络比单纯的神经网络的优点所在。同时,由于它具有神经网络的结构,因而参数的学习和调整比较容易,这是它比单纯的模糊逻辑系统的优点所在。模糊神经网络控制已成为一种趋势,它能够提供更加有效的智能行为、学习能力、自适应特点、并行机制和高度灵活性,使其能够更成功地处理各种不确定的、复杂的、不精确的和近似的控制问题。
模糊神经控制的未来研究应集中于以下几个方面:
(1) 研究模糊逻辑与神经网络的对应关系,将对模糊
控制器的调整转化为等价的神经网络的学习过程,用等价的模糊逻辑来初始化神经网络;
(2) 完善模糊神经控制的学习算法,以提高控制算法的速度与性能,可引入遗传算法、BC算法中的模拟退火算法等,以提高控制性能;
(3) 模糊控制规则的在线优化,可提高控制器的实时性与动态性能;
(4) 需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。
关于神经网络与模糊逻辑相结合的研究已有很多,比如,用于氩弧焊、机器人控制等。
(5)神经网络与小波分析的结合
小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质,而且对低频信号在频域和对高频信号在时域里都有很好的分辨率,从而可以聚集到对象的任意细节。
利用小波变换的思想初始化小波网络,并对学习参数加以有效约束,采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验,并与神经网络、小波分解的建模做了比较,说明了小波网络在非线性系统黑箱建模中的优越性。小波神经网络用于机器人的控制,表明其具有更快的收敛速度和更好的非线性逼近能力。
四、结论
经过半个多世纪的发展,神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功,但其理论分析方法和设计方法还有待于进一步发展。相信随着神经网络的进一步发展,其将在工程应用中发挥越来越大的作用。
参考文献:
[1]张曾科.模糊数学在自动化技术中的应用[M].清华大学出版社,1997.
[2]李士勇.模糊控制・神经控制和智能控制论[M].哈尔滨工业大学出版,1996.250-387.
[3]谢联峻.模糊控制在列车自动驾驶中的应用[J].自动化与仪器仪表,1999,(4).
[4]Collier W C,Weiland,R J Smart Carts,Smart Highways[J].IEEE Spec-trum,1994,31(4):27-33.
[5]Hatwal H,Mikulcik E C.some Inverse Solutions to an Automobile Path Tracking Problem with Input Control of Steeringand Breaks,Ve-hicle system Dynamics,1986,(15):61-71.
[6]Kosuge K,Fukuda T,Asada H.Acquisition if Human Skills for Robotic System[C].In:Proc IEEE Int Symp On Intelligen Control,1991.469-489.
[7]王小平,曹立明.遗传算法―理论、应用与软件实现.西安交通大学出版社,2002.
[8]Maniezzo V.Genetic evolution of the topologh and weight distribution
of neural network[J].IEEE Trans on Neural Network,1994,5(1)35-67.
[9]Harrald P G,Kamstra M.Evolving artificial neural networks to combine financial forecase[J].IEEE Trans on Evol Computer ,1997,1(1):39-54.
[10]邓聚龙.灰色系统理论教程.华中理工大学出版社,1990.
[11]吕宏辉,钟珞,夏红霞.灰色系统与神经网络融合技术探索.微机发展,2000,23(4):67-109.
本文建立相应的BP神经网络模型,根据民生银行信贷信用评级指标体系,选取BP神经网络模型的训练样本和检验样本。将训练样本输入BP神经网络进行训练,BP神经网络模型完成训练后,用检验样本对本文建立的BP神经网络模型进行检验。完成训练的BP神经网络模型将根据企业的信用评级信息计算出企业信用得分的预测值,从而使商业银行规避信贷过程中的信用风险,起到风险预警功能。
关键词:
BP神经网络;信贷信用;风险预警
我国一直没有建立起符合市场规范的信用体系,信用风险是商业银行面临的最传统最基本的风险形式,也是最难于控制和管理的风险形式。本文建立相应的BP神经网络模型,根据民生银行信贷信用评级指标体系,选取20个企业的信用评级信息作为BP神经网络模型的训练样本,选取10个企业的信用评级信息作为BP神经网络模型的检验样本。将训练样本输入BP神经网络,让BP神经网络根据信贷企业信用得分的输出值与真实值之间的误差不断调节各个神经元之间的权值与阀值,当误差满足要求时,BP神经网络模型完成训练。BP神经网络模型完成训练后,对本文建立的BP神经网络模型进行检验[1]。完成训练的BP神经网络模型将根据企业的信用评级信息计算出企业信用得分的预测值,为商业银行信贷过程中的信用风险进行预测评价,从而使商业银行规避信贷过程中的信用风险,起到风险预警功能。
一、BP神经网络理论
BP神经网络理论是学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传人,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程是周而复始地进行的[2]。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。
(一)BP网络模型
采用BP算法的多层感知器是至今为止应用最广泛的神经网络,在多层感知器的应用中,单隐层网络的应用最为普遍。一般习惯将单隐层感知器称为三层感知器,所谓三层包括了输入层、隐层和输出层。三层感知器中,输入向量为()T12,,...,,...,inX=xxxx;隐层输出向量为()T12,,...,,...,jmY=yyyy;输出层输出向量为()T12,,...,,...,klO=oooo;期望输出向量为()T12,,...,,...,kld=dddd。输入层到隐层之间的权值矩阵用V表示,()T12,,...,,...,jmV=VVVV,其中列向量jV为隐层第j个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示,()T12,,...,,...,kiW=WWWW,其中列向量kW为输出层第k个神经元对应的权向量[3]。下面分析各层信号之间的数学关系。对于输出层,有:(net)kko=fk=1,2,...,l(1)0netmkjkjjwy==∑k=1,2,...,l(2)对于隐层,有:(net)jjy=fj=1,2,...,m(3)0netnjijiivx==∑j=1,2,...,m(4)以上两式中,转移函数f(x)均为单极性Sigmoid函数:1()1xfxe−=+(5)f(x)具有连续、可导的特点,且有:f′(x)=f(x)[1−f(x)](6)根据应用需要,也可以采用双极性Sigmoid函数(或称双曲线正切函数):1()1xxefxe−−−=+(7)式(1)~式(7)共同构成了三层感知器的数学模型。
(二)网络训练与检验
网络设计完成后,要应用训练样本进行训练。训练时对所有样本正向运行一轮并反向修改权值一次称为一次训练。在训练过程中要反复使用样本集数据,但每一轮最好不要按固定的顺序取数据,通常训练一个网络需要很多次。网络的性能好坏主要看其是否具有很好的泛化能力,而对泛化能力的测试不能用训练集的数据进行,要用训练集以外的测试数据来进行检验[4]。一般的做法是,将收集到的可用样本随机地分为两部分,一部分作为训练样本,另一部分作为检验样本。
二、基于BP神经网络的民生银行信用风险评价研究
(一)建立保险公司投资风险评价指标体系
贷款信用评级财务指标包括贷款企业经营管理能力、贷款企业债务偿还能力和贷款企业持续发展能力。贷款企业经营管理能力包括五个指标,分别是资产报酬率、流动资产周转率、应收账款周转率、主营收入现金含量、成本费用利润率;贷款企业债务偿还能力包括五个指标,分别是流动比率、利息保障倍数、资产负债率、现金流与流动负债比、净资产与贷款余额比;贷款企业持续发展能力包括三个指标,分别是净资产增长率、主营利润增长率、工资福利增长率。贷款信用评级非财务指标包括五个指标,分别财务报表质量评价、企业员工能力、企业经营者履历、企业经营者信誉、行业现状及前景。
(二)BP神经网络模型训练
选取20个企业的信用评级信息作为BP神经网络模型的训练样本。根据民生银行信贷信用评级指标体系,训练样本的输入向量X由18个指标组成,分别是资产报酬率1x、流动资产周转率2x、应收账款周转率3x、主营收入现金含量4x、成本费用利润率5x、流动比率6x、利息保障倍数7x、资产负债率8x、现金流与流动负债比9x、净资产与贷款余额比10x、净资产增长率11x、主营利润增长率12x、工资福利增长率13x、财务报表质量评价14x、企业员工能力15x、企业经营者履历16x、企业经营者信誉17x、行业现状及前景18x。训练样本的输入向量T121718X=(x,x,,x,x)。训练样本的输出向量为Y,代表企业的信用得分。输入BP神经网络模型的训练样本如表1所示。建立的BP神经网络模型为三层网络,拓扑结构为18-5-1。将20个训练样本输入BP神经网络进行训练,让BP神经网络根据信贷企业信用得分的输出值与真实值之间的误差不断调节各个神经元之间的权值与阀值[5]。采用MATLAB7.0神经网络工具箱进行运算,当误差平方和小于10-5时,训练终止。训练样本中各个信贷企业的真实信用得分和BP神经网络模型输出值。
(三)BP神经网络模型检验
由表1可以看出BP神经网络模型输出值与信贷企业真实信用得分的误差很小,下面对本文设计的BP神经网络模型进行检验。BP神经网络模型采用10个企业的信用评级信息作为检验样本。对本文建立的BP神经网络模型进行检验,将10个企业的信用评级信息作为检验样本输入完成训练的BP神经网络模型,完成训练的BP神经网络模型将根据10个企业的信用评级信息计算出企业信用得分的预测值。检验样本中各个信贷企业的真实信用得分和BP神经网络模型预测值如表2所示。根据表2的数据,得到信贷企业的真实信用得分和BP神经网络模型预测值之间误差曲线。检验样本中信贷企业的真实信用得分和BP神经网络模型预测值的拟合度较高,部分样本真实值与预测值基本重合。检验样本中信贷企业的真实信用得分和BP神经网络模型预测值误差值整体较小,最大误差11.7%,最小误差0.27%。假设以绝对误差小于5%为容忍度,那么本文建立的BP神经网络模型的准确率为70%。假设以绝对误差小于10%为容忍度,那么本文建立的BP神经网络模型的准确率为90%。
三、结论
1、检验样本中信贷企业的真实信用得分和BP神经网络模型预测值的拟合度较高,样本21、26、28的真实值与预测值基本重合,样本24、25的真实值与预测值偏差较大。
2、检验样本中信贷企业的真实信用得分和BP神经网络模型预测值误差值整体较小,最大误差11.7%,最小误差0.27%。
3、假设以绝对误差小于5%为容忍度,那么本文建立的BP神经网络模型的准确率为70%。假设以绝对误差小于10%为容忍度,那么本文建立的BP神经网络模型的准确率为90%。计算结果表明本文建立的BP神经网络模型准确率较高,可以为商业银行信贷过程中的信用风险进行预测评价,从而使商业银行规避信贷过程中的信用风险,起到风险预警功能。
参考文献:
[1]许美玲,齐晓娜,李倩等.基于BP神经网络的村镇银行信用风险预警模型的构建[J].河南科技,2014(22).
[2]黄梦宇.基于BP神经网络的手机银行风险预警模型研究[J].时代金融(下旬),2014(4).
[3]迟国泰,陈国斌,迟枫等.基于神经网络的中国商业银行效率综合评价[J].哈尔滨工业大学学报,2006,38(4).
[4]于彤,李海东.基于BP神经网络的客户信用风险评价[J].现代电子技术,2014(10).
随着计算机网络、信息技术、自动化技术的进步,极大的改变了我们的生活。人工神经网络技术是一种全新的控制技术,通过互联网进行动态模拟,从而建立一种新的控制互联网的系统。经过十几年的发展,人工神经网络技术研究取得了巨大的进步,已经广泛应用在社会各个领域,使现代计算机中的难题得到了解决。本文主要从人工神经网络技术的概念出发,探讨了它在现代社会领域的具体应用。
【关键词】人工神经网络 信息技术 发展趋势
人工神经网络技术在处理实际问题主要包括两个过程,一个是学习训练过程,另外一个是记忆联想过程。近年来随着人工网络技术的发展,人工神经网络技术在信号处理、图像处理、智能识别等领域已经取得了巨大的改变,为人们研究各类科学问题提供了一种新的方法和手段,使人们在交通运输、人工智能、军事、信息领域的工作更加便捷,近年来随着AI的l展,人工神经网络技术得到了快速的发展阶段。
1 人工神经网络技术
人工神经网络技术也称ANN,是随着上个世纪八十年代人工智能发展兴起的一个研究热点,它的主要工作原理对人脑神经网络进行抽象处理,并仿造人脑神经网络建立简单的模型,按照不同的连接方式组成一个完整的网络,因此学术界也直接将它成为神经网络。神经网络其实就是一种运算模型,它是通过大量的节点――神经元连接起来的,其中不同的节点所代表的输出函数也不同,也就是所谓的激励函数;当有两个节点连接起来时称之为通过该连接信号的加权值,也称为权重,这就相当人脑神经网络记忆。人工神经网络技术是采用并行分布式系统,这种工作机理与传统的信息处理技术和人工智能技术完全不同,是一种全新的技术,它克服了传统基于逻辑符号的人工智能处理非结构信息化和直觉方面的缺陷,具有实时学习、自适应性和自组织性等特点。
2 人工神经网络技术应用分析
随着人工神经网络技术的发展,它在模式识别、知识工程、信号处理、专家系统、机器人控制等方面的应用较广。
2.1 生物信号的检测分析
目前大部分医学检测设备都是通过连续波形得到相关数据,从而根据所得数据对病情进行诊断。人工神经网络技术就是应用了这样的方式将多个神经元组合起来构成,解决了生物医学信号检测方面的难题,其适应性和独立性强,分布贮藏功能多。在生物医学领域该技术主要应用于对心电信号、听觉诱发电位信号、医学图像、肌电荷胃肠等信号的处理、识别和分析。
2.2 医学专家系统
传统的医院专家系统是直接将专家的经验、学历、临床诊断方面取得的成绩等存储在计算机中,构建独立的医学知识库,通过逻辑推理进行诊断的一种方式。进入到二十一世纪,医院需要存储的医学知识越来越多,每天产生新的病况和知识,过去的一些专家系统显然已经无法适应医院的发展需求,因此医院的效率很低。而人工神经网络技术的出现为医院专家系统的构建提出了新的发展方向,通过人工神经网络技术,系统能够自主学习、自己组织、自行推理。因此在医学专家系统中该网络技术应用面较广。麻醉医学、重症医学中生理变量分析和评估较多,目前临床上一些还没有确切证据或者尚未发现的关系与现象,通过人工神经网络便能有效地解决。
2.3 市场价格预测
在经济活动中,传统统计方法受到一些因素的制约,无法对价格变动做出准确的预测,因此难免在预测的时候出现失误的现象。人工神经网络技术能够处理那些不完整的、规律不明显、模糊不确定的数据,并作出有效地预测,因此人工神经网络技术具有传统统计方法无法比拟的优势。例如人工神经网络技术可以通过分析居民人均收入、贷款利率和城市化发展水平,从而组建一个完整的预测模型,准确预测出商品的价格变动情况。
2.4 风险评价
在从事某一项特定的活动时,由于社会上一些不确定因素,可能造成当事人经济上或者其他方面的损失。因此在进行某一项活动时,对活动进行有效的预测和评估,避免风险。人工神经网络技术可以根据风险的实际来源,构筑一套信用风险模型结构和风险评估系数,从而提出有效地解决方案。通过信用风险模型分析弥补主观预测方面的不足,从而达到避免风险的目的。
3 人工神经网络技术未来发展
人工神经网络克服了传统人工智能对语言识别、模式、非结构化信息处理的缺陷,因此在模式识别、神经专家系统、智能控制、信息处理和天气预测等领域广泛应用。随着科学技术的进步,AI的快速发展,AI与遗传算法、模糊系统等方面结合,形成了计算智能,很多企业和国家开始大规模研发AI,人工神经网络正在模拟人类认知的方向发展,目前市场已经有很多不少人工智能产品面世。
4 结语
通过上述研究分析,人工神经网络技术已经取得了相应的发展,但还存在很多不足:应用范围狭窄、预测精度低、通用模型缺乏创新等,因此需要我们在此基础上不断寻找新的突破点,加强对生物神经元系统的研究和探索,进一步挖掘其潜在的价值,将人工神经网络技术应用在更多领域中,为社会创造更大的财富。
参考文献
[1]周文婷,孟琪.运动员赛前心理调控的新策略――基于人工神经网络技术的比赛场地声景预测(综述)[J].哈尔滨体育学院学报,2015,33(03):15-21.
[2]张红兰.人工神经网络技术的应用现状分析[J].中国新通信,2014(02):76-76.
[3]张广军.人工神经网络技术在光电检测中的应用[J].北京航空航天大学学报,2001,27(05):564-568.
【关键词】互联网+ 入侵监测 安全防御 遗传算法
1 引言
入侵检测是一种网络安全防御技术,其可以部署于网络防火墙、访问控制列表等软件中,可以检测流入到系统中的数据流,并且识别数据流中的网络包内容,判别数据流是否属于木马和病毒等不正常数据。目前,网络安全入侵检测技术已经诞生了多种,比如状态检测技术和深度包过滤技术,有效提高了网络安全识别、处理等防御能力。
2 “互联网+”时代网络安全管理现状
目前,我国已经进入到了“互联网+”时代,互联网已经应用到了金融、民生、工业等多个领域。互联网的繁荣为人们带来了许多的便利,同时互联网安全事故也频频出现,网络病毒、木马和黑客攻击技术也大幅度改进,并且呈现出攻击渠道多样化、威胁智能化、范围广泛化等特点。
2.1 攻击渠道多样化
目前,网络设备、应用接入渠道较多,按照内外网划分为内网接入、外网接入;按照有线、无线可以划分为有线接入、无线接入;按照接入设备可以划分为PC接入、移动智能终端接入等多种类别,接入渠道较多,也为攻击威胁提供了较多的入侵渠道。
2.2 威胁智能化
攻击威胁程序设计技术的提升,使得病毒、木马隐藏的周期更长,行为更加隐蔽,传统的网络木马、病毒防御工具无法查杀。
2.3 破坏范围更广
随着网络及承载的应用软件集成化增强,不同类型的系统管理平台都通过SOA架构、ESB技术接入到网络集群平台上,一旦某个系统受到攻击,病毒可以在很短的时间内传播到其他子系统,破坏范围更广。
3 “互联网+”时代网络安全入侵检测功能设计
入侵检测业务流程包括三个阶段,分别是采集网络数据、分析数据内容和启动防御措施,能够实时预估网络安全防御状况,保证网络安全运行,如图1所示。
网络安全入侵检测过程中,为了提高入侵检测准确度,引入遗传算法和BP神经网络,结合这两种数据挖掘算法的优势,设计了一个遗传神经网络算法,业务流程如下:
(1)采集网络数据,获取数据源。
(2)利用遗传神经网络识别数据内容,对数据进行建模,将获取的网络数据包转换为神经网络能够识别的数学向量。
(3)使用已知的、理想状态的数据对遗传神经网络进行训练。
(4)使用训练好的遗传神经网络对网络数据进行检测。
(5)保存遗传神经网络检测的结果。
(6)网络安全响应。
遗传神经网络在入侵检测过程中包括两个阶段,分别是训练学习阶段和检测分析阶段。
(1)训练学习阶段。遗传神经网络训练学习可以生成一个功能完善的、识别准确的入侵检测模型,系统训练学习流程如下:给定样本库和期望输出参数,将两者作为遗传神经网络输入参数,学习样本中包含非常典型的具有攻击行为特征的样本数据和正常数据,通过训练学习得到的遗传神经网络可以与输入的期望结果进行比较和分析,直到期望输出的误差可以达到人们的期望值。
(2)检测分析阶段。遗传神经网络训练结束之后,使用权值的形式将其保存起来,将其应用到实际网络入侵检测系统,能够识别正常行为或异常行为。
4 结束语
互联网的快速发展和普及为人们的工作、生活和学习带来便利,但同时也潜在着许多威胁,采用先进的网络安全防御技术,以便提升网络的安全运行能力。入侵检测是网络安全主动防御的一个关键技术,入侵检测利用遗传算法和BP神经网络算法优势,可以准确地构建一个入侵检测模型,准确地检测出病毒、木马数据,启动病毒木马查杀软件,清除网络中的威胁,保证网络正常运行。
参考文献
[1]徐振华.基于BP神经网络的分布式入侵检测模型改进算法研究[J].网络安全技术与应用,2016,24(2):111-112.
[2]刘成.试论入侵检测技术在网络安全中的应用与研究[J].网络安全技术与应用,2016,24(2):74-75.
[3]周立军,张杰,吕海燕.基于数据挖掘技术的网络入侵检测技术研究[J].现代电子技术,2016,18(6):121-122.
[4]谢胜军.云计算时代网络安全现状与防御措施探讨[J].网络安全技术与应用,2016,26(2):41-42.
关键词:
中图分类号: TP391.4文献标识码:A文章编号:2095-2163(2011)03-0043-04
Analysis of Training Results based on the Selection of
Parameters Influencing BP Neural Network
HAN Xue
Abstract: Pattern recognition includes two aspects : sample training and sample recognition. And sample training is the premise of sample recognition.Of course, there are lots of training samples and the samples are representative, whichis good, but not the more the better. In the process of training the neural network, it is very important how to determine various parameters that is beneficial to the training efficiency such as the weights and threshold values. This paper is aimed at the use of a simple sample for neural network training, changes parameter values for observing the training effect, thus obtains the different output results and the diagrams. Further study and comparison are carried outto find out the optimal parameter settings. And the experiment method and the conclusion are helpful for application in other identification system development.
Key words:
0引言
在对BP神经网络进行训练的过程中,很多时候,一些基本参数和训练函数参数是随机生成的,但是训练效率并不高。对于BP神经网络所应用的不同领域,这些参数的设置也有所区别。怎样才能使得训练网络的效率更高,就需要了解参数的变化对于训练结果的影响。本文要解决的问题就是变化其中的各项参数值,对得到的不同训练结果进行对比分析,并找出相关规律。
1研究现状
“神经网络”的研究内容主要包括人工神经网络、生物神经网络、认知科学和混沌。
在研究方法上,对于神经网络的研究已经收获了很多不同的研究方法,比较重要且已有一定成果的研究有多层网络 BP算法、Hopfield网络模型、自适应共振理论和自组织特征映射理论等。
在研究领域上也可以分为理论研究和应用研究两大方面。理论研究包括两个方面:其一是理论上的深入研究,通过对已有算法的性能分析来探索功能更完善、效率更高的神经网络模型,包括对稳定性、收敛性、容错性、鲁棒性等各个性能的最优化研究;其二是朝着智能的方向发展,利用神经生理与认知科学对人类思维和智能机理进行研究。应用研究也包含了两个方面,分别是神经网络的软硬件研究和神经网络在各个领域中应用的研究,其中包括:模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等[1]。
BP神经网络是当前最流行、应用最广泛的神经网络模型之一。但是仍存在一些缺陷,如训练速度较慢,所以很多学者正在寻找快速有效的BP学习算法,而且也取得了一些成效,最重要的几种快速变体有QuickProp[Fah88]、 SuperSAB [Tol90]和共轭梯度法[Bat92][1]。
除了收敛速度较慢之外,BP神经网络还存在一些缺点:容易在优化的过程中产生局部最优解而不是全局最优解;在对新样本训练的同时容易遗忘旧的样本。基于对以上缺陷的改进,目前已有了一些行之有效的解决方法。
为了提高网络训练速度,在调整权值时增加了动量项,从而对某时刻前后的梯度方向都进行了必要的考虑;为了加快算法收敛速度,采用了自适应学习率调节的方法,如VLBP神经网络,后面的实验中还会进一步比较介绍。
目前,BP神经网络作为很重要的神经网络模型之一,在很多应用领域中发挥着重要的作用,包括图像压缩编码、人脸识别、分类、故障诊断、最优预测等。
2算法原理
BP神经网络的基本思想是通过不断地训练权值,并设有一个标准的输出,每次训练以后得到的实际输出与标准的输出比较,设置一个最小误差,达到这个误差就表示网络训练好了,否则继续训练;经过一定的训练次数后,若还没有达到这个误差标准,就表示网络的设置有问题。本实验通过对参数的改变,寻找出最优参数设置的规律。
3算法实现
使用matlab开发平台,程序编写分为定义输入向量和目标向量、创建 BP网络设置训练函数、初始化权值阈值、设置训练函数参数、训练神经网络五个部分。进行对比实验时,只需将相关参数进行修改即可。对基本的BP神经网络进行训练时,设置基本参数:权值、阈值;训练函数参数:学习率、最后达到的均方误差、最大步长。分别对学习率、均方误差、初始权值、初始阈值进行修改,对比实验结果;基本的BP神经网络中无法对学习率实现事先最优,所以用VLBP神经网络进行改进。
程序如下:
netbp.trainParam.goal=0.0001//设置最后达到的均方误差为 0.0001
netbp.trainParam.epochs=5000 //设置最大训练步长
[netbp,tr]=train(netbp,p,t)
4实验结果
初始训练样本的输入设为[1;3],期望输出设为[0.95;0.05],第一层的权值设为[1 2;-2 0],第二层的权值设为[1 1;0 -2],第一层的阈值设为[-3;1],第二层的阈值设为[2;3],学习率设为1,均方差设为0.0001。其实验仿真图如图1所示。
4.1改变学习率
只改变学习率的训练函数参数时,运行程序后的对比结果如表1所示。
从表1中的实验结果可见:在其他条件不变、学习率增大的情况下,所需的训练步长变短,即误差收敛速度快。但是学习率不可以无限制地增大,增大到一定程度后,误差收敛速度将减慢,甚至有可能达不到误差范围内,进入局部稳定状态。
表1中的各组实验仿真图如图2-图7所示。
4.2改变均方差
将均方差由原来的0.0001变为0.001后与原初始样本参数对比结果如表2所示。
均方差变为0.001后的仿真图如图8所示。
可见,在其他条件一样的前提下,将最后要达到的均方误差值设置较大时,网络训练步长变短,误差收敛速度慢些,最后的输出结果较为精确些。
4.3改变初始权值
将初始权值改变后的对比结果如表3所示。
改变初始权值后的仿真图如图9所示。
可见,后者的初始权值比较合适些,因此训练的时间变短,误差收敛速度明显快些。
4.4改变初始阈值
将初始阈值改变后的对比结果如表4所示。
改变初始阈值后的仿真图如图10所示。
可见,后者的初始阈值比较合适些,因此训练的时间变短,误差收敛速度明显快些。
4.5学习率可变的VLBP神经网络
用最基本的 BP 算法来训练 BP神经网络时,学习率、均方误差、权值、阈值的设置都对网络的训练均有影响。选取合理的参数值会有利于网络的训练。在最基本的 BP算法中,学习率在整个训练过程是保持不变的。学习率过大,算法可能振荡而不稳定;学习率过小,则收敛速度慢,训练时间长。而在对网络进行训练之前是无法选择最佳学习率的。
虽说学习率在训练前无法选最优,但是在训练的过程中能否可变呢?因此BP神经网络的一种改进算法VLBP可派上用场。也就是说,另外设置学习增量因子和学习减量因子,当误差以减少的方式趋于目标时,说明修正方向正确,可以使步长增加,因此学习率乘以增量因子k,使学习率增加;而修正过头时,应减少步长,可以乘以减量因子k,使学习率减小。
程序设计中加入下列语句:
netbp=newff([-1 1;-1 1],[2 2],‘logsig’ ‘logsig’,‘traingdx’)
netbp.trainParam.lr_inc=1.1//增量因子设为1.1
netbp.trainParam.lr_dec=0.65 //减量因子设为0.65
经过训练后最后的输出结果为[0.963 8;0.050 0],训练步长为50,训练后第一层的权值为[1.004 5 2.013 5;-1.408 4 1.774 8],训练后第二层的权值为[0.766 9 0.768 3;-1.544 7 -2.865 0]。
VLBP神经网络训练仿真图如图11所示。
观察网络的收敛速度,采用学习率可变的VLBP算法要比学习率不变BP算法收敛速度提高很多。以上两种算法都是沿着梯度最陡的下降方向修正权值,误差减小的速度最快。
5结束语
通过上述验证性实验,可以看出参数的选取对网络的训练结果有着很大的影响,当然BP算法还很多,但没有一个算法适合所有 BP 网络。在实际运用时,需根据网络自身的特点、误差要求、收敛速度要求、存储空间等来做具体选择。
参考文献:
[ 1 ] http://blog.csdn.net/zrjdds/archive/2008/01/02/2010730.aspx.
[ 2 ] 陈兆乾,周志华,陈世福. 神经计算研究现状及发展趋势. 南京
大学计算机软件新技术国家重点实验室,2008:3-7.
[ 3 ] 赵艳. 神经计算与量子神经计算的研究综述[J]. 计算机与信息
【关键词】 功率预测 短期预测 均方根误差
发电与用电必须实时平衡是电力系统运行的重要特点,只有这样系统才能保证安全和稳定。因而无论在国内还是国外,电网调度部门主要负责电力系统的调频、调峰、安排发电计划和备用容量等业务。对于新能源发电方面,尤其以光伏和风电为代表,当其在电力系统中达到较高透率时,准确预测其输出功率不仅有助于调度部门提前调整调度计划来减轻光伏风电间歇性对电网的影响,而且还可减少备用容量的安排,从而降低系统运行成本。因此,新能源功率预测在电网调度领域占有举足轻重的地位,更精确的预测风能、太阳能发电功率有利于制定合理的电力调度计划。
1 国内外研究现状
对新能源发电功率预测技术的研究较早起源于国外,尤其以丹麦、德国、瑞士、西班牙和日本等国的相关大学和科研机构为代表。上世纪90年代丹麦开始大力发展风电,促使了其不同公司或高校开始研究新能源功率预测问题。[1]相继产生了多个产品,如Riso实验室开发了Prediktor系统,丹麦技术大学开发出WPPT(Wind Power Prediction Tool)系统,而后的用于风电功率预测的Zephry系统就是由Prediktor和WPPT整合而来,另外由ENFOR公司研发的用于光伏功率预测的SOLARFOR系统也比较有代表性;作为国际上较早大面积应用新能源的德国,其Oldenburg大学开发了Previento系统,德国太阳能研究所开发了风电功率管理系统(WPMS);西班牙Joen大学建立了19kW的光伏发电站验证其发电预报准确率[2],通过人工神经网络算法,以实测的光伏板温度、日照辐射强度为输入值,以其I/V曲线为目标函数,训练神经网络的多层传感器,求解出逼近实际工况的I/V曲线,建立了发电功率日照强度、板温之间的函数关系,经过验证,该系统2003年发电量预测值与实测值的历史相关系数高达0.998。国内方面光伏发电量预测技术研发起步较晚。华北电力大学[3]结合光伏组件数学模型和保定地区气象资料,模拟了30MW光伏电站发电量数据,利用支持向量机回归分析方法进行功率预测,但该方法无实际光伏电站的实况发电量数据,缺乏实验验证,对实际光伏电站发电量预报的指导意义有限。华中科技大学[4]利用该校屋顶光伏并网发电系统资料进行研究,通过2005―2010年不同季节气象因素与发电量之间的相关分析,得出光伏发电量与辐照度的相关性最大、温度次之、风速再次之。
2 功率预测方法及分类
为提高功率预测精度,国内外研究机构都在尝试各种新的预测方法,主要的功率预测方法分类如(图1)。
时间序列分析是持续预测法中的一种,其认为风速、辐照强度预测值等于最近几个风速、辐照强度历史数据的滑动平均值,通常只是简单地把最近一点的观测值作为下一点的预测值。该模型的预测误差较大,且预测结果不稳定。改进的方法有ARMA模型法、卡尔曼滤波法。
人工神经网络方法被广泛用来解决非线性问题的建模方法。它由大量简单元件相互连接而成的复杂网络,具有高度的非线性,能够进行复杂的逻辑操作的非线性关系。其具有很多优良性能,如非线性映射能力、自组织性和自适应性能力、记忆联想能力、容错能力等。
按照风电或光伏功率预测的时间尺度可分为中长期、短期和超短期预测。对于中长期预测或更长时间尺度,主要用于风光电场或电网的检修维护计划安排等的预测。对于30分钟~72小时的预测,主要用于电力系统的功率平衡和经济调度、电力市场交易、暂态稳定评估等称为短期功率预测。一般认为不超过30分钟的预测为超短期预测。从预测模型建立角度考虑,不同时间尺度的预测有本质区别:0~3小时的预测主要由大气条件的持续性决定,所以如果不通过数值天气预报也能得出较好的预测结果,如采用可得到更好结果。对于时间尺度超过3小时的预测,不考虑数值天气预测无法反应大气运动的本质,所以难以得到较好的预测结果,所以通常的预测方法都采用数值天气预报的数据。
基于物理方法的功率预测流程示意图如下(以风功率预测为例)。首先通过数值天气预报得到风速、风向等气象数据,再根据电场周围的地理信息参数(等高线、粗糙度、障碍物、温度分层等)采用软件计算得到风机轮毂高度的风速、风向、气温、气压等参数,最后根据风机功率曲线计算得到风电场输出功率。因为在不同的风向和温度条件下,即使风速相同,风电场输出功率也不相等,因此风电场功率曲线是一族曲线,同时还应考虑风电机组故障和检修的情况。对整个区域进行风电功率预测时,可对所有的风电场输出功率进行预测,然后求和得到区域总功率。
基于统计方法的风电/光伏的功率预测不考虑风速/辐照变化的物理过程,根据历史统计数据找出天气状况与风光电场出力的关系,然后根据实测数据和数值天气预报数据对电场输出功率进行预测。
两种方法各有优缺点。物理方法无需大量的测量数据,但对大气的物理特性及风/光电场特性的数学描述要求较高,这些描述方程求解困难、计算量大。统计方法无需对求解方程,计算速度快,但需要大量历史数据,采用机器学习方法对数据进行挖掘与训练,得到气象参数与风/光电场输出功率的关系。目前的趋势是将两种方法混合使用,称之为综合方法。
3 三种预测方法的对比
通过应用三种统计预测算法于某案例中对其预测精度进行了对比。案例以某岛屿上的分布式风光电站发电量为检验对象,该电站由25台30kw并网光伏逆变器、5台50kw风机组成,合计1000kw。选取2013年4月份的历史功率数据和历史数值天气预报数据作为模型建立依据,5月份发电量作为预测对象(因为该区域4,5月份天气变化相对最小),并采用同时段的历史功率数据对模型的预测结果进行验证。
3.1 ARMA预测模型
3.1.1 ARMA模型的基本原理
ARMA模型也称为自回归滑动平均模型,是研究时间序列的重要方法之一,是由自回归与滑动平均两种模型“混合”而成。常用于长期追踪资料的研究和用于具有季节变动特征数据的预测中,所以可将其应用于风电光伏功率预测领域。
3.1.2 预测结果及误差分析
运用ARMA模型分别对5月1日9时0分至5月31日18时00分进行预测,得到原始风电光伏总功率和预测功率。预测结果如(图3、4)所示。
常见的预测误差的评估方法有平均绝对误差,均方根误差,相关系数等。均方根误差放大了出现较大误差的点,能更好的反映光伏电站预测模型的准确度,因此本文采用均方根误差RMSE对模型的误差进行评估。
其中,N-测试样本数;P-装机容量。
通过Matlab的计算,我们得到各项指标结果如表1。
3.2 卡尔曼滤波预测模型
3.2.1 模型基本原理
卡尔曼滤波法运用了滤波的基本思想,利用前一时刻预报误差的反馈信息及时修正预报方程,以提高下一时刻的预报精度。要实现卡尔曼滤波法预测风光功率,首先必须推导出正确的状态方程和测量方程。因已通过时间序列分析建立了风电功率时间序列的ARMA模型,故可将ARMA模型转换到状态空间,建立卡尔曼滤波的状态方程和测量方程。
3.2.2 预测结果及误差分析(如图5、图6)
通过Matlab的计算,我们得到各项指标结果如(表2)。
3.3 小波神经网络预测模型
对于上文的ARMA模型和卡尔曼滤波模型都属于线性模型,都必须先对模型结构做出假设,然后对模型参数的估计得到预测值。因此,模型结构的合理与否,直接影响到最终预测的精度。由于风光电场功率具有高度的不确定性,因而单一的线性预测模型不足以挖掘其功率数据中的所有信息。而神经网络具有自学习、自组织和自适应性,可以充分逼近任意复杂的非线性关系,所以本文选择小波神经网络方法对风光功率进行非线性预测研究。
3.3.1 小波神经网络法基本原理
小波神经网络是一种以BP神经网络拓扑结构为基础,把小波基函数作为隐含层节点的传递函数,信号前向传播的同时误差反向传播的神经网络。小波神经网络的拓扑结构如图7。
3.3.2 模型建立
首先采集四月份一整月的光伏风电功率数据,每隔15min记录一个时间点,共有960个时间节点的数据,用前四月份30天的功率数据训练小波神经网络,最后用训练好多的神经网络预测之后的功率数据。基于小波神经网络的功率预测算法流程图如图8所示。
小波神经网络的拓扑结构如图9所示。
小波神经网络训练:通过数据训练小波神经网络,网络反复训练100次。
神经网络网络测试:用训练好的神经网络预测风光功率,并对预测结果进行分析。
3.3.3 预测结果
利用Matlab处理数据并进行计算,我们得到基于小波神经网络的功率预测结果(图10、11)。
预测结果分析:
本文采用了ARMA模型、卡尔曼滤波预测算法和小波神经网络算法对该岛的分布式风光电功率数据样本进行了预测。分析表1~表3预测效果评价指标,我们得到以下认识:小波神经网络模型中我们得到预测结果:超短期预测精确度误差最小达到到7%,短期预测精确度误差最小达到到9%,表明小波神经网络的预测结果已经相当精确。对小波神经网络预测曲线与线性预测模型的预测曲线进行对比,可以看到:神经网络对于光伏风电功率的描绘更加平缓。
4 结论与展望
在对国内外文献广泛调研的基础上,较为全面地论述了风电、光伏功率预测技术的研究现状和最新动态,对当前功率预测技术方法进行了总结归纳,建立了针对某岛屿分布式风光互补示范工程的高精度发电功率预测模型,成功实现了分布式电源总输出(光伏风电)的精确预测,实验运行结果表明:该系统能够准确预测次日短期和未来4小时超短期光伏发电出力,短期和超短期预测的月平均均方根误差分别为9%和7%。
为了进一步提高功率预测精度还需要提高数值天气预报质量,从而得到精度更高更丰富的区域气象数据。因此需要尽快建立我国数值天气预报商业化服务,进一步完善风电光伏功率预测系统,提高预测精度。
参考文献:
[1]BOSSANYI E A. Short-term wind prediction using Kalman filters[J]. Wind Engineering, 1985,9(1):1-8.
[2]Almonacid F, Rus C, Perez P J,et al.Estimation of the energy of a PV generator using artificial neural network [J]. Renewable Energy, 2009, 34(12):2743-2750.