时间：2023-01-30 22:54:25
引言：易发表网凭借丰富的文秘实践，为您精心挑选了九篇数据挖掘技术应用范例。如需获取更多原创内容，可随时联系我们的客服老师。
数据挖掘（DataMining，DM），是随着数据库和人工智能发展起来的新兴的信息处理技术。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。
2、数据挖掘技术
2.1关联规则方法
关联规则是一种简单，实用的分析规则，描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，所挖掘出的关联规则量往往非常巨大，但是。并不是所有通过关联得到的属性之间的关系都有实际应用价值，对这些关联规则进行有效的评价。筛选出用户真正感兴趣的。有意义的关联规则尤为重要。
2.2分类和聚类方法
分类就是假定数据库中的每个对象属于一个预先给定的类。从而将数据库中的数据分配到给定的类中。而聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异。分类和聚类的区别在于分类事先知道类别数和各类的典型特征，而聚类则事先不知道。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价。
2.3数据统计方法
使用这些方法一般首先建立一个数据模型或统计模型，然后根据这种模型提取有关的知识。传统的统计学为数据挖掘提供了许多判别和回归分析方法。贝叶斯推理、回归分析、方差分析等技术是许多挖掘应用中有力的工具之一。
2.4神经网络方法
神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。这些优点使得神经元网络非常适合解决数据挖掘的问题。因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类；用于分类、预测和模式识别的前馈式神经网络模型；用于联想记忆和优化计算的反馈式神经网络模型；用于聚类的自组织映射方法。新晨
2.5决策树方法
决策树学习是一种通过逼近离散值日标函数的方法，把实例从根结点排列到某个叶子结点来分类实例。叶子结点即为实例所属的分类，利用信息论中的互信息（信息增益）寻找数据库中具有最大信息量的字段。建立决策树的一个结点，再根据字段的不同取值建立树的分支；在每个分枝子集中，重复建立树的下层结点和分支的过程，即可建立决策树。
随着科技的进一步发展，已经带动着各大领域的创新和发展。而我国在近年来，城市信息化的普及也在不断推进，网络技术的改革和发展也显得格外重要。而特别很多企业对于自身的信息和数据储存、共享以及处理都格外注重，要求技术本身要包含安全性、便捷性以及可靠性。，而是在大数据提出后，数据挖掘技术已经成为了一种新的主流技术，而研究数据挖掘技术的理念、方法以及应用领域，将对我国工程施工领域的未来带来更多的机遇和挑战。
关键词：
大数据时代数据挖掘技术分析和研究运用数据挖掘技术，也被称为数字处理技术，顾名思义，就是对于目前各大企业的内部数据，进行整理、调整、挖掘实施以及评估等一系列处理操作，其主要的目标是保证全局数据都能够得到充分的优化。而大数据则是区分于以往抽样调查的方法，而是对于全局数据进行分析，从而保证分析的全面以及完成。而大数据技术也包含4个优点，即高数量、高速度、多元化以及高价值。而笔者将通过本文，就大数据时代的数据挖掘技术与应用进行分析和探讨。
1相关概念的简介
1.1大数据的概念关于大数据的理念提出，可以追溯到麦肯锡研究院于2011年的《大数据:创新、竞争和生产力的下一个新领域》，其中阐述的观念就涵盖数据方面，即数据已经融入到了人们的日常生活中，也是生产运作的一个重要因素。而大数据的运用，对于消费以及生产水平都是一种有效的提升提升，根据美国曾经的《大数据研究和发展倡议》资料，截至2011年一年，全球总的数据就增加了1.8ZB,而进行人均计算，相当于每个人都具有至少200GB的数据资源，而且这一数据还在呈现出日益增长的趋势，根据统计计算，这一数值将会按照约为50%/年的速度增长。
1.2数据挖掘作为一个新型学科，数据挖掘技术源于20世纪的80年代，那时其效用与目前存在本质差异，科学家最初研究大数据，主要是用于一些人工智能技术的开发。简而言之，技术层面上，数据挖掘就是一个对数据进行发掘创新的过程，即要求目标数据具有隐蔽性、挖掘价值以及挖掘潜力，而且需要操作者在一堆冗杂的、随机的、模糊的数据库中进行挖掘；而对于商业层面上来说，数据挖掘就是在一些大量的数据信息中获得规律以及价值信息，从而为决策提供重要的知识凭据。
2数据挖掘的研究手段
对于数据挖掘而言，不同的研究手段将是其开展的重要基础，而研究手段的决定，主要需要依靠科学的计算为依据，分析和对比数据中存在的一些不为人知的规则，然后通过研究手段的改变去应付不同的问题，对于实际操作来说，就是针对不同的数据找出不同的解决方法，而常见数据挖掘的研究手段主要可以分为四类，即聚类研究、分类和预测以及关联研究。
2.1聚类研究将抽选的数据或者对象的库进行类似“分类”的聚类划分，然后再将其中的相同或者相近的数据划分为一个组类，由此建立起多个组类开展研究的过程。整个过程突出的是一种无知识基础、无监督管控的学习过程。而整个过程由于分类研究有本质的差异，因为聚类研究在事先根本无法得到目标的重要属性数据，而这种分析方法主要可以用于多个区域，例如心理、统计、医药、销售以及数据识别等，而根据其隶属度的取值，有能将其分为两种研究方法，即硬聚类与模糊聚类，对于前者来说，就是将目标按照影响标准进行划分，即目标如果属于某类，必定不属于其他类；而对于后者来说，主要取决与隶属度的取值不同。而划分过程可能会将目标划分入多个聚类中。此外聚类的计算方法也能分为多种，即包含密度算法、层次算法、划分算法、网格算法以及模型算法等等。
2.2分类与估测对于分类与数值估测来说，都是属于是问题预测方式，其中前者要求估测各个类中的标号，这些标号都是分散且无规律的，而估测方法可以采用函数模型，要求模型类型为连续值函数。分类估测作为数据挖掘的起始工作，主要需要反应已经获知的训练数据库的特点，从而根据以上基础完成其中对每一类的情况以及特点完成相应的分类操作，而整个操作也是受到督促的，对于一般的分类算法可以有决策树、粗糙集、贝叶斯、遗传等算法，而估测主要是基于分类以及回归基础，估测数据将来的动向，即包含局势外推、时间序列以及回归分析几类。
2.3关联研究关联研究是源于自然生物间微妙的关系，而某事情的发生和发展也会引发连锁的事情发展，也就类似所谓“蝴蝶效应”的定义。而关联研究的研究目标即是研究物与物之间的微妙关系，包含一些依赖关系等等，从而找出其中的规则，基于规则，分析将来的动向。以购物为例，分析购物者的心理规律以及习惯，可以从他们对于购物的一系列表现，例如购物篮的物品类型、放置规律、购物消费理念、购物环境需求等等，而掌握这些规律，足以让一个销售企业获得巨大的消费市场以及商机。
3大数据时代的数据挖掘的运用
3.1数据准备准备流程需要依附于研究者已经建立起长期且丰富数据资源的数据库，而根据这些无规则的原始数据进行相应的挖掘前的准备的工作，例如数据的处理、择取、清除、推敲以及转变，作为基础的流程，数据准备操作在整个流程中起到重要的基础作用。
3.2数据挖掘开展数据挖掘操作，需要根据挖掘对象的情况择选最优的计算方法，从而获取其中的规律性，例如对应采用决策树算法、分类算法、神经网络算法以及Apriori算法等。
3.3数据挖掘的模式评估研究模式评估的对象主要是通过数据挖掘处理过程数据，而评估流程是了解、研究且取得其中数据的规则，然后对数据进行转变“翻译”成通俗易懂的语言，供人们去研究和思考。
3.4数据挖掘的知识应用知识应用是数据挖掘的最后一步，通常知识运用就是一种现实运用的过程，通过数据准备、挖掘、研究评估，最后将结果数据或者规律用于现实中，从而体现数据的本身的价值，这就是知识应用的内涵。
4大数据时代的数据挖掘的运用
4.1市场营销方面市场营销行业已经是目前数据挖掘采用最多的行业，数据挖掘的作用主要体现在的对于消费者群体的消费习惯以及行为进行解析，从而改变销售方法，提升产品的销售量，此外，除了一些购物消费以外，数据挖掘技术以及拓展到了各大金融行业，例如保险行业、银行行业以及电子商务行业等等。例如：在市场营销方面，采用数据挖掘中的聚类研究，即客户一系列无规则、无意识的行为数据，对他们进行识别，即根据客户的忠诚度、消费意识进行分类，帮助企业寻找其中的潜在客户以及固定客户群。
4.2数据挖掘的科学分析科学本身就是一个寻找规律、发现规律以及利用规律的过程，而且任何科学研究都是需要基于数据作为基础，所以数据挖掘对于科学领域也具有重要的意义和价值，特别是针对一些未知的事物、领域或者知识，通过数据挖掘可以有效展示数据规则。例如对于太空行星的分析，遗传基因DNA的数据以及遗传规律等。
4.3制造业与其他行业不同，制造业运用数据挖掘的目的主要是产品质量检查方面，例如研究产品的数据，找出其中规则。分析整体生产流程，解析其中过程，找出影响生产质量以及效率的问题，然后通过对这些问题进行解决，提升企业经济效益。对于制造业而言，数据挖掘运用主要体现在决策方面，即首先通过数据筛选，获取有用的知识和数据，然后采用决策树算法，统计决策，然后选择其中正确的决策，即像根据目前产品的流行情况，预测目前生产产品的受欢迎度，然后决策生产的时间以及周期。
4.4教育方面对于教育行业来说，最重要的除了教师的教学方法以外，学生的学习情况、心理动向以及教学评估都是十分重要的，采用数据挖掘技术，则可以有效将这些数据通过分类、筛选以及处理，得出有效的数据规则，供学校教学改革时进行参考。例如：教学质量评估数据挖掘模块的开发，即将教学质量相关的项目通过QSLSevrer进行整合和存储，例如教学准备、教学内容、教学方式以及教学态度等，最后学生可以进行自行浏览并且完成评估，而评估结果则会上传系统进行最后通过数据挖掘，筛选其中有用的信息，再通过Apr1ori算法挖掘其中关联规律。
5结语
虽然数据挖掘技术不是一项新兴的技术，但是其还具有较大的研究价值与运用前景，特别是在特殊领域的运用，对于一系列数据进行科学冗杂的处理，然后分析其中规则价值，可以有效提升各大行业的经济效益。
参考文献
[1]赵倩倩,程国建,冀乾宇,戎腾学.大数据崛起与数据挖掘刍议[J].电脑知识与技术,2014,11(33):7831-7833.
[2]韩英.浅析大数据时代的数据挖掘与精细管理[J].成都航空职业技术学院学报,2013,12(04):63-71.
关键词数据挖掘；Web数据挖掘；相关技术
引言
随着Internet 的进一步发展和完善,各种基于Internet的应用业务也如雨后春笋般的发展起来,例如网上商店、网上银行、远程教育、远程医疗等。我们应该看到Internet在给我们带来机遇的同时也带来了挑战,它使得WWW 上的一些主要工作, 例如Web 站点设计、Web 服务设计、Web 站点的导航设计、电子商务等工作变得更为复杂更为繁重。对于网站经营方来说,他们需要更好的自动辅助设计工具, 可以根据用户的访问兴趣、访问频度、访问时间动态的调整页面结构,改进服务, 开展有针对性的电子商务以更好的满足访问者的需求。解决这种需求的一个有利的工具就是Web 数据挖掘。
1. Web 数据挖掘概述
Web挖掘是一项综合技术,涉及Web、数据挖掘、计算机语言学、信息学等多个领域。Web挖掘就是从Web 文档、Web活动中抽取感兴趣的、潜在的有用模式和隐藏信息。Web 挖掘是指从大量Web文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入,p看作输出,那么Web挖掘的过程就是从输入到输出的一个映射ξ:Cp
Web挖掘从数据挖掘发展而来,因此其定义与我们熟知的数据挖掘定义相类似,都是在对大量的数据进行分析的基础上,作出归纳性的推理,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,作出正确的决策的过程。但是对Web 进行有效的资源和知识挖掘面临极大的挑战:(1)对有效的数据仓库和数据挖掘而言,Web 似乎太庞大了。(2)Web页面的复杂性高于任何传统的文本文件。(3) Web是一个动态性极强的信息源。(4) Web上的信息只有很小的一部分是相关的或有用的。这些挑战推动了如何有效地发现和利用Internet 的资源的研究工作。
1.1 与传统的数据挖掘相比较
1.1.1 数据源具有很强的动态性。
1.1.2 挖掘目的的模糊性。
1.1.3 数据类型的多态性。
1.1.4 数据信息的分布性、多维性。
1.2 Web 数据的特点
1.2.1 数据量巨大
Internet把分布于世界不同位置的电脑(服务器)连接了起来,每个电脑上都存有丰富的数据,这些数据涉及各种不同的行业和领域,又由于连接于Internet 的电脑数量非常巨大。
1.2.2 异构数据库环境
每一个Web站点都可以看作是一个数据源,由于各站点是相互独立的, 之间除了可以互相访问之外并没有任何关系,所以每个站点之间的信息及信息组织方式都是不相同的,这就构成了一个巨大的异构数据库环境。
1.2.3半结构化的数据结构
Web上的数据与传统数据库中的数据不同之处还在于传统数据库都有一定的模型,可以根据数据模型来对具体的数据进行描述,而Web 站点中的数据不存在统一的模型,各站点都是独自设计,并且站点中的数据是处于不停变化之中的。
2.Web数据挖掘相关技术
Web 挖掘应用非常广泛,对Web挖掘相关技术的研究也很多,针对上述不同类别的Web 挖掘,有不同的相关技术,下面分别介绍。一般地,Web挖掘可以分为三类:Web 内容挖掘(Web content mining)、Web 结构挖掘(Web structure mining)、和Web 使用模式的挖掘(Web usage mining) 。
2.1技术分类
2.1.1Web内容挖掘
Web内容挖掘是从文档内容或其描述中抽取知识的过程。主要有两种策略:直接挖掘文档的内容,或在其它工具搜索的基础上进行改进。采用第一种策略的有针对Web 的查询语言WebLOG,利用启发式规则来寻找个人主页信息的AHOY等。采用第二种策略的方法主要是对搜索引擎的查询结果进行进一步的处理,得到更为精确和有用的信息。属于该类的有WebSQL,及对搜索引擎的返回结果进行聚类的技术等。
2.1.2 Web 结构挖掘
Web 结构挖掘是从WWW的组织结构和链接关系中推导知识。由于文档之间的互连WWW能够提供除文档内容之外的有用信息。利用这些信息,可以对页面进行排序发现重要页面。这方面的代表有PageRank〗和CL EVER,此外,在多层次Web数据仓库(MLDB)中也利用了页面的链接结构。
2.1.3 Web 使用挖掘
Web使用挖掘的主要目标是从Web 的访问记录中抽取感兴趣的模式。WWW 中每个服务器保留了访问日志,记录关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为从而改进站点的结构,或为用户提供个性化的服务。
2.2 Web 数据挖掘研究领域及发展
2.2.1 Web 数据挖掘的研究领域类型根据对Web 数据的感兴趣程度不同,Web 挖掘一般可以分为三类: 网络内容挖掘(Web Content mining) 、网络结构挖掘(Web structure mining) 、网络用法挖掘(Web usage Mining)
2.2.2 网络内容挖掘网络信息内容是由文本、图像、音频、视频、元数据等形式的数据组成的。网络内容挖掘就是一个从网络信息内容中发现有用信息的过程。由于网络信息内容有很多是多媒体数据, 因此网络内容挖掘也将是一种多媒体数据挖掘形式。
2.2.3 网络结构挖掘网络结构挖掘就是挖掘Web潜在的链接结构模式。通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。这种模式可以用于网页归类,并且由此可以获得有关不同网页间相似度及关联度的信息。网络结构挖掘有助于用户找到相关主题的权威站点。
2.2.4网络用法挖掘网络内容挖掘和网络结构挖掘的挖掘对象是网上的原始数据,而网络用法挖掘面对的则是在用户和网络交互的过程中抽取出来的第二手数据,包括网络服务器访问记录、服务器日志记录、浏览器日志记录、用户简介、注册信息、用户对话或交易信息、用户提问方式等。通过网络用法挖掘,可以了解用户的网络行为数据所具有的意义。
2.3 Web数据挖掘的四个步骤
2.3.1查找资源:任务是从目标Web 文档中得到数据。
2.3.2信息选择和预处理:任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。2.3.3模式发现:自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
2.3.4模式分析: 验证、解释上一步骤产生的模式。
3. Web数据挖掘的应用
3.1 Web挖掘在搜索引擎方面的应用
通过对网页内容的挖掘,可以实现对网页的聚类和分类,实现网络信息的分类浏览与检索。运用Web挖掘技术改进关键词加权算法,提高网络信息的标引准确度, 改善检索效果。参与搜索服务市场的有多家实力企业,如Google、雅虎(Yahoo!) 及微软(Microsoft) 等巨头企业, 以及若干规模较小但有特定市场区隔或技术者如dTSearch、Copernic 等Google 提供更多的技术,会自动找寻常用的字词,尽量缩短搜索时间,提高效率。
3.2Web挖掘在电子商务方面的应用
Web挖掘这方面的应用可以为企业更有效的确认目标市场、改进决策获得更大的竞争优势提供帮助,从中可得到商家用于特定消费群体或个体进行定向营销的决策信息。电子商务方面的Web挖掘功能主要是如下几个方面:首先,客户分类和客户聚类。对Web 的客户访问信息进行挖掘,对客户进行分类分析。应用聚类分析对客户进行分组, 并且分析组中客户的共同特征, 这样就可以让商家更好了解自己的客户, 向客户提供更有针对性的服务。其次是找到潜在的客户。在对Web 的客户访问信息的挖掘中, 利用分类技术可在因特网上找到未来的潜在客户。最后保留客户的驻留时间, 对于客户而言,在网上每个销售商对于客户来说都是一样的, 如何尽量使客户在自己的网上驻留更长的时间, 这样对于商家才能有更多客户和更大的利润空间。
3.3 Web 数据挖掘在网络教育中的应用
教育网络化的趋势不仅为学生提供了便利的学习方式和广泛的选择,也为学校提供了更加深入了解学生需求信息和学生行为特征的可能性。由于受教育对象个体之间存在着极大的差异性,网络教学也必须是一种适应个别化学习需求的个性化教学。这种个性化教学的提供,是通过将传统的数据挖掘(Data Mining) 同Web 结合起来,进行Web 数据挖掘,即从Web 文档和Web 活动中抽取学生感兴趣的潜在的有用模式和隐藏的信息,作为对学生提供个性化教学服务的依据,协助管理者优化站点结构,提高站点效率,更好地为网络教育服务。
3.4在网站设计中的应用
在网站设计方面中的应用，主要是通过对网站内容的挖掘，特别是对文本内容的挖掘，可以有效地组织网站信息，如采用自动归类技术实现网站信息的层次性组织；通过对用户访问日志记录信息的挖掘，把握用户感兴趣的信息，从而有助于开展网站信息推送服务以及个人信息的定制服务，吸引更多的用户。
4. 结束语
社会的发展越来越离不开信息的传播与使用,在数据量急剧增长的情况下如何高效地检索出使用者需要的信息更加显得重要,Web 数据挖掘正是因为满足了这方面的需要才能获得如此迅速的发展, Web 挖掘技术也将成为重要的研究课题和方向。
参考文献
[1] 曼丽春, 朱宏, 杨全胜. Web 数据挖掘研究与探讨[J].现在电子技术2005 (8) :3～6
[2] 夏火松. 数据仓库与数据挖掘技术[M]. 科学出版社,2004.207- 227.
[3] Jiawei Han,Micheline Kamber.DataMining:Concept and Techniques[M].Morgan Kaufmann Publishers,Inc 2001.272- 312.
[4] 陈文伟.黄金才.赵新昱.数据仓库与数据挖掘技术[M].北京:北京大学出版社,2002.1- 14.
【关键词】数据仓库 数据挖掘 技术 应用
信息时代背景下，传统数据库主要是面向事务并存储在线交易的数据信息，但是无法为人们找到信息中隐藏的重要内容。因此社会发展新形势下，数据仓库与挖掘技术应运而生，并成为企业现代化发展的重要应用技术，不仅能够提高数据信息管理能力，还能够促进企业发展。因此加强对该课题的研究具有积极意义。
1 数据仓库及数据挖掘技术概念
所谓数据仓库技术设计灵感来自于传统数据库技术，其主要是在计算机中实现数据存储的一种技术。但是相比较传统数据库，二者存在本质上的差别。数据仓库的出现并未取代传统数据库，二者共存在信息时代，且发挥自身独特的优势。数据库主要存储在线交易数据，且尽量避免冗余，通常采取符合范式规则设计；而数据仓库在设计过程中有意引入冗余，采取反范式方式实现设计目标。
而数据挖掘技术是在数据集合基础之上，从中抽取隐藏在数据当中的有用信息的非平凡过程。这些信息表现形式呈现多样化，如概念、规则等。它在具体应用过程中，不仅能够帮助决策者分析历史与当前数据信息，还具有预见作用。就本质上来看，数据挖掘过程也是知识发现的过程。数据挖掘技术是多个学科综合的结果，对此其融合了多项技术功能，如聚类、分类及预测等，且这些功能并非独立存在，而是存在相互依存关系。
2 数据仓库与挖掘技术的应用
2.1 数据仓库技术的应用
作为信息提供平台，其从业务处理系统中获得数据，并以星型与雪花模型实现对数据的有效组织。一般情况下，它具体应用主要表现在四个方面：
2.1.1 抽取数据信息
数据仓库具有独立性，在应用中需要从事务处理系统、外部数据源等介质当中获取数据，并设置定时抽取，但需要合理控制操作时间、顺序等，以提高数据信息有效性。
2.1.2 存储和管理数据
作为数据仓库的关键，数据存储及管理模式直接决定其自身特性。因此该方面工作需要从技术特点入手，并积极解决对各项业务并行处理、查询优化等问题。
2.1.3 表现数据
数据表现作为数据仓库的开端，集中在多位分析、数理统计等多个方面。其中多维分析是数据仓库的核心，也是具体表现形式，而通过数据统计能够帮助企业抓住机遇，实现经济效益最大化目标。
2.1.4 技术咨询
数据仓库的出现及应用并不简单，其是一个系统性的解决方案和工程。实施数据仓库时，技术咨询服务十分重要，是一个必不可少的部分，对此在应用中，应加强对技术咨询的关注力度。
2.2 数据挖掘技术在各领域中的应用
不同于传统时代，社会各领域在参与激烈的市场竞争过程中，充分认识到数据对自身长远发展战略实现的重要性。因此数据挖掘技术在当前各行业发展中随处可见。
2.2.1 应用于医学方面，提高诊断准确率
众所周知，人体奥秘无穷无尽，遗传密码、人类疾病等方面都蕴含了海量数据信息。而传统研究模式，单纯依靠人工无法真正探索真正的秘密。而利用数据挖掘技术能够有效解决这些问题，给医疗工作者带来了极大的便利。同时，医疗体制改革背景下，医院内部医疗器具的管理、病人档案资料整理等方面同样涉及数据，引进数据挖掘技术，能够深入分析疾病之间的联系及规律，帮助医生诊断和治疗，以达到诊断事半功倍的目标，且为保障人类健康等提供强大的技术支持。
2.2.2 应用于金融方面，提高工作有效性
银行及金融机构中涉及储蓄、信贷等大量数据信息。利用数据挖掘技术管理和应用这些数据信息，能够帮助金融机构更好地适应互联网金融时代的发展趋势。提高金融数据完整、可靠性，为金融决策提供科学依据。金融市场变幻莫测，要想在竞争中提升自身核心竞争力，需要对数据进行多维分析和研究。在应用中，特别是针对侦破洗黑钱等犯罪活动，可以采取孤立点分析等工具进行分析，为相关工作有序开展奠定坚实的基础。
2.2.3 应用于高校日常管理方面，实现高校信息化建设
当前，针对高校中存在的贫困大学生而言，受到自身家庭等因素的影响，他们学业与生活存在很多困难。而高校给予了贫困生很多帮助。对此将数据挖掘技术引入到贫困生管理工作中，能够将校内贫困生群体作为主要研究对象，采集和存储在校生生活、学习等多方面信息，然后构建贫困生认定模型，并将此作为基础进行查询和统计，为贫困生针对管理工作提供技术支持，从而提高高校学生管理实务效率，促进高校和谐、有序发展。
2.2.4 应用于电信方面，实现经济效益最大化目标
现代社会发展趋势下，电信产业已经不仅限于传统意义上的电话服务提供商、而将语言、电话等有机整合成为一项数据通信综合业务。电信网、因特网等网络融合已经成为必然趋势，并将成为未来发展的主要方向。在大融合影响下，数据挖掘技术应用能够帮助运营商业务运作，如利用多维分析电信数据；或者采取聚类等方法查找异常状态及盗用模式等，不断提高数据资源利用率，更为深入地了解用户行为，促进电信业务的推广及应用，从而实现经济效益最大化目标。
3 结论
根据上文所述，数据仓库与挖掘技术作为一项新型技术，在促进相关产业发展等方面占据十分重要的位置。因此在具体应用中，除了要积极明确数据仓库与传统数据库之间的差别之外，还应切实结合实际情况，积极引入数据挖掘技术，充分挖掘和探索数据信息中的重要内容，为制定科学决策提供支持，同时还应加大对技术的深度研究，不断提高技术应用水平，从而为用户带来更大的利益。
参考文献
[1]陈宏.浅谈数据仓库与数据挖掘技术及应用[J].科技广场，2011，09：90-93.
[2]崔愿星.浅析数据仓库与数据挖掘的应用[J].内江科技，2014，01：141-142.
[3]王慧.数据仓库和数据挖掘在医院信息系统中的应用[J].电脑开发与应用，2014，01：76-78.
[4]靳鑫.浅析数据仓库和数据挖掘[J].中国新通信，2012，11：29-31.
[关键词]数据挖掘 企业 应用
[中图分类号]TP[文献标识码]A[文章编号]1007-9416(2010)02-0079-02
1 前言
数据挖掘能帮助企业减少不必要投资的同时提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户、重新制定他们的产品推广策略,以用最小的花费得到最好的销售。
2 数据挖掘概述
数据挖掘是一种决策支持过程,是一类深层次的数据分析方法。它主要基于AI、机器学习、统计学等技术,高度自动化地分析企业原有的数据,作出归纳性地推理,从中挖掘出潜在的模式,预测客户行为,帮助企业的决策者调整市场策略,减少风险,做出正确的决策。数据挖掘的商业应用可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程,这些模型和关系可以用来做出预测。数据挖掘,还可以称为数据库中的知识发现(Knowledge Discovery in Database, KDD),是从大量数据中提取出可信、新颖、有效并能被人理解的信息的高级处理过程。
2.1 数据挖掘是在数据库技术、人工智能技术、概率与数理统计的基础上发展起来的一种的技术。
2.1.1 数据库技术
SQL统治数据库查询语言标准三十多年这一事实本身就与现在 IT 发展的节拍不符,难道我们“只会查询”吗?所以就有很多专家纷纷转向数据仓库与数据挖掘技术,从数据查询转向数据挖掘、从数据演绎转向数据归纳。传统的数据库系统的体系结构也过于瘦少,只有不协调的两层,这样的结构就造成了只有程序员能编程,老板只能求助于这些“专家”。
2.1.2 人工智能技术
人工智能技术的三大难题:“知识获取、知识表示、缺乏常识”直接制约了它在现实技术市场上的作为。而在与数据仓库技术的结合上,它可以发挥重要作用,这使得它转向数据挖掘技术。
2.1.3 概率与数理统计
数理统计技术是应用数学中最重要、最活跃的学科。但在与数据库技术的结合上作为有限,这从 SQL 中那可怜的几条汇总函数便可看出。随着数据挖掘对查询、归纳对演绎需求的进化,概率与数理统计将获得新的生命力。
2.2 数据挖掘中最常用的技术:
2.2.1 工神经网络(Artificial Neural Networks)
人工神经网络是仿照生理神经网络结构的非线性预测模型,通过学习进行模式识别。神经网络常用于两类问题:分类和回归。在结构上,可以把一个神经网络划分为输入层、输出层和隐含层。而神经网络的知识体现在网络连接的权值上,是一个分布式矩阵结构;神经网络的学习体现在神经网络权值的逐步计算上,为的是防止训练过度和控制训练的速度,如图1所示:
2.2.2 决策树 (Decision Tree)
决策树方法是利用信息论中的互信息(信息增益)寻找数据库中具有最大信息量的属性字段,建立决策树的一个节点,再根据概述性字段的不同取值建立树的分支;在每个分支子集中重复建立树的下层节点和分支过程。决策树的基本组成部分:决策节点、分支和叶子。比如,在贷款申请中,要对申请的风险大小做出判断,为了解决这个问题而建立的一棵决策树,如图2所示:
2.2.3 临近搜索方法(Nearest Neighbor Method)
临近搜索方法将数据集合中每一个记录进行分类的方法。
2.2.4 规则推理(Rule Induction)
从统计意义上对数据中的“如果-那么”规则进行寻找和推导。
2.3 数据挖掘步骤
数据挖掘的数据分析过程可以分为三个步骤:
2.3.1 确定业务对象
清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步,挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的。
2.3.2 数据准备(Data Preparation)
本阶段又可进一步细分为两步:数据集成、数据选择和预分析。
(1)集成(Integration)。在这一步中,将从操作型环境中提取并集成数据,解决语义二义问题,消除脏数据等等。很明显,数据集成的目的和所利用的技术与数据仓库的数据集成完全一致,都是为了建立统一的数据视图。数据挖掘不一定需要建立在数据仓库的基础上,但如果数据挖掘与数据仓库能协同工作,则必将大大地提高数据挖掘的工作效率。
(2)数据选择和预分析(Data Selection and Pre-Analysis)。这一步将负责缩小数据范围,提高数据挖掘的质量,前面提到的验证型工具长于对数据的细致,深入地观察和表述,在这一步中可以发挥相当的作用。
2.3.3 挖掘(Mining)
数据挖掘(Data Mining processor)综合利用前面提到的四种数据挖掘方法分析数据库中的数据。
2.3.4 表述(Presentation)
与验证型工具一样,数据挖掘将获取的信息以便于用户理解和观察的方式反映给用户,这时可以利用可视化工具。由于用户要求的不同,DM分析的数据的范围会有所不同,这样DM系统会得出不同的结论。这些基于不同数据集合的分析结果除了通过可视化工具提供给用户外还可以存储在知识库中,供日后进一步分析和比较。
2.3.5 评价(Assess)
如果分析人员对分析结果不满意,可以递归的执行上述三个过程,直到满意为止。
3 数据挖掘在企业决策过程中的作用
3.1 数据挖掘的功能
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘就是对海量数据进行精加工。严格地说,数据挖掘是一种技术,从大量的数据中抽取出潜在的、不为人知的有价值信息、模式和趋势,然后以易于理解的可视化形式表达出来,其目的是为了提高市场决策能力、检测异常模式、控制可预见风险、在经验模型基础上预言未来趋势等。数据挖掘技术在商业领域已经不是一个新名词,最早成功应用于高投入、高风险、高回报的金融领域,正在不断向电信、保险、零售等客户资源信息密集的行业拓展。美国财富杂志500强之一的第一数据公司(First Data Corp.)就在为第一国家银行(First National Bank)、美国在线交易(Ameritrade holding Co.)、奥马哈保险公司(Mutual of Omaha Co.)等著名的金融证券和保险公司提供数据挖掘的产品服务,这些企业在风险控制、挖掘客户、降低成本方面的年收益数以亿计。
3.2 在企业决策过程中利用数据挖掘的作用
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
目前,商业数据挖掘的应用重点集中在对企业内部信息资源的加工处理,指导企业运营的战术策略的实施。具体地说,就是在以客户需求为价值源泉、进销存为价值链的各环节进行数据增值分析,并将分析结果迅速向链条的上一环节传递,调整链条上游的执行达到改善下游环节执行结果的目的,最终形成以客户终端需求为导向的价值增值。
部分企业资源计划软件中集成了对计划、生产、产品销售进行数据挖掘的模块,能够提供商业智能的分析结果;另外,客户需求的价值链终端是另一个数据挖掘技术应用的重点,客户关系管理的目的就是创造、挽留客户并不断升级对客户的服务,以保证企业利润的持续增长。“以客户为中心”的数据挖掘内容涵盖了客户需求分析、客户忠诚度分析、客户等级评估分析等三部分,有些还包括产品销售。
客户需求分析包括:消费习惯、消费频度、产品类型、服务方式、交易历史记录、需求变化趋势等因素分析。
客户忠诚度分析包括:客户服务持续时间、交易总数、客户满意程度、客户地理位置分布、客户消费心理等因素分析。
客户等级评估分析包括:客户消费规模、消费行为、客户履约情况、客户信用度等因素分析。
产品销售分析包括:区域市场、渠道市场、季节销售等因素分析。
然而,数据挖掘不仅仅用于客户关系管理,ERP更不能够完全覆盖数据挖掘的整个内涵。企业数据挖掘的内容不仅包括企业的内部信息资源,更包括大量的企业外部信息资源。商业数据挖掘的下一个应用热点将建立在两类信息资源充分整合的基础上。
相对于内部信息资源而言,企业外部的宏观政策环境、市场需求动向和竞争对手情报等信息资源左右着企业战略决策与宏观发展规划,也直接决定企业市场战术策略的实施,所以对信息资源的整合利用以及竞争情报分析将成为企业级数据挖掘应用的重点。
以IBM为例,为了导正企业战略决策方向,IBM于1993年提出三项竞争策略:立即加强对竞争对手的研究、建立一个协调统一的竞争情报运行机制以及将可操作的竞争情报运用于公司战略、市场计划及销售策略。其新的竞争策略通过研究市场格局和竞争对手的状况、合理定位并改善自身的产品和服务两个途径有效地提升了企业核心竞争力,采用的竞争情报运行机制及竞争情报规划能够把全公司的竞争情报力量集中于主要的竞争对手和主要威胁,不断地优化现有的情报资源。
随着企业市场竞争的日益加剧,企业竞争情报已经不限于原有意义上的数据采集、整理、分类、的概念,“在线”需求逐步超越“离线”需求,“受动式服务”正为“主动式、自助式”服务所取代,数据挖掘技术已经成为“信息分析”这个企业竞争情报系统中核心模块的技术支撑。“数据在线服务”和“竞争情报个性化服务”将成为企业级数据挖掘应用的新热点需求,也将成为知识经济下新兴的数据服务模式。
4 结语
数据挖掘的核心技术是人工智能、机器学习、统计学等,但一个DM系统不是多项技术的简单组合,而是一个完整的整体,它还需要其他辅助技术的支持,才能完成数据采集、预处理、数据分析、结果表述这一系列任务,最后将分析结果呈现在用户面前。
[参考文献]
[1] 胡百敬,SQL Server 2000 数据转换服务[M],北京:中国铁道出版社,2003.1.
[2] Reed Jacobson,SQL Server 2000 Analysis services 学习指南[M].北京:机械工业出版社,2001.
[3] 韩加炜J.(Han,JiaWei),数据挖掘:概念与技术[M].北京:机械工业出版社,2001.
[4] 陈京民,数据仓库与数据挖掘[M],北京:电子工业出版社,2002.
[5] 李真文, SQL Server 2000 开发人员指南[M].北京:北京希望电子出版社,2001.
[6] 石钧.ADO编程技术[M].北京:清华大学出版社,2001.
[7] Jared Jackson,Jussi Myllymaki,基于Web的数据挖掘[C].网站获取,2001.6.
【关键词】经济统计 数据挖掘技术 应用
在人们的实际生活中，为满足社会经济对于数据信息的需求，人们通常会做大量的经济数据统计工作，而现有的数据统计分析质量已远远不能满足现在经济发展的需要。基于此，数据挖掘技术应用而生，为经济统计工具带来了新的变化，开启了经济统计工作的新方向。
一、数据挖掘技术的含义
通常情况下，数据挖掘技术就是从具有大量的、不完全的、模糊的等复杂数据信息中，对大量的数据信息进行详细的模型化处理，从而挖掘出具有利用价值的信息的过程。因此，数据挖掘技术最终是一种人工智能化的演变过程，包括对神经网络、机器学习机数据统计等内容，能够随着社会的发展而不断变化的学科。由于数据量较大，传统的统计分析方法在统计数据方面效率较低，甚至还会出现统计决策的失误。而数据挖掘技术就是将所得到的信息挖掘出未知的潜在的有效信息，在原有基础上发现无法预料的有价值的简单信息。由于数据挖掘技术对数据的分析要求很高，也正是因为这样，才使得数据挖掘技术变得更有实际意义。
数据挖掘技术是一种信息有效转换的过程，其步骤可简单概括为，准备数据到挖掘数据再到分析数据的过程。在这个过程中，数据挖掘技术起着关键性作用，其功能多样，有对模型的预测、数据的类聚或者分类等，同时还会涉及聚焦检测、衔接分析、关联规则等一些技术手段。因此，数据挖掘技术有多种特点和作用，一是能够将大量的数据信息得到有效处理；二是能够自动找出有价值的数据信息；三是可以对数据的有效信息进行分析和评判；四是可以将一些有效性的信息及时并快速的反映出来。
二、在经济统计中，数据挖掘技术的表现
在经济统计中，数据挖掘技术的流程对统计工作有着重要作用。因此，数据挖掘技术应用到实际统计工作中，其首要任务就是定义问题并确定目的，这就需要技术人员在探索所有的经济问题明确的前提下进行数据的选择、采集和预处理，将这些准备工作完成充分。之后才能开展数据挖掘工作，尽可能的利用人工智能、统计方面的知识对数据类型和特点进行选择归类，挑选出合适的模型对数据进行信息的挖掘，最后进行工作的归纳分析，针对所挖掘出的有效性信息进行分析、评估和适当调整，尽可能最大限度的挖掘出有价值的信息，同时将其转化到实际经济问题的解决中去，从而保证经济问题的有效解决。
三、数据挖掘技术在经济统计中的应用
经济由于统计要求一定的准确性和实用性，而数据挖掘技术恰恰能够起到这样的作用，满足了经济发展的需要，最终能被应用到经济统计工作中。因此，数据挖掘技术在经济统计中的应用十分广发，包括以下几个方面：
数据挖掘技术中的统计分析方法可以有效应用到统计工作中。这种统计分析的方法最终是依据统计学原理来分析数据库中的信息，因此，这种方法对于统计学专业人士较为容易。
数据挖掘技术中的神经网络方法可以有效应用到统计工作中。这种神经网络方法其实是对人体大脑的信息进行模拟加工的智能化过程，正如人的神经网络一样，需要经过输入、分析和输出。所以，该方法在经济统计工作中比较适用，这主要是因为神经网络方法能够向工作人员提供既完整又准确的处理数据信息的过程，从而使经济运行模式具有形象化、具体化和实用化，最终获得对经济问题的分析，进而获得处理方法。
数据挖掘技术中的决策树方法。通常情况下，这种方法主要是对大量的数据进行分析和归类，进而筛选出有价值的简单信息，但这种方法分类速度快，效率高，所以，这种方法常用于预测模型中的算法和处理一些大规模数据的工作。
数据挖掘技术中的粗集理论的方法。粗集理论方法是通过对上下近似集而得出不确定问题，是一种研究不确定知识的数学工具。其过程易于操作，算法较为简单，有效确保了经济决策和需求的协调性。
数据挖掘技术中的遗传算法。遗传算法的思路主要是在指定对象的人群中进行信息的采集，通过对隐含的信息整合分析后，才能得到结果。因此，遗传算法是一种根随机搜索算法。
四、在经济统计工作中，数据挖掘技术有哪些作用
在经济统计工作，数据挖掘技术起着重要作用，具体包括以下几个方面：
数据挖掘技术能够满足经济统计的不同需要。由于经济的快速发展，数据挖掘技术为了满足发展需要，其挖掘工具也不断出现。目前，人们常见的数据挖掘工具包括通用型工具、综合工具及面向特定应用的工具。市面上所占比例最大的是通用性型工具，它可以满足不同领域的需要，是较为成熟的挖掘工具。而综合工具主要是为了满足商业活动中数据挖掘的需求，能够为商业中的经济活动提供有力帮助。
数据挖掘技术可以为经济统计工作提供有效服务。在我国，数据挖掘技术主要体现在数据信息的共享和数据的统计方面，在一定程度上可以为经济的统计和发展提供有效的服务。
数据挖掘技术面向特定应用工具。随着数据挖掘技术的快速发展，面向特定应用的工具纵向贯穿了经济统计的各个部分，为特定的领域提供了有效服务，具有很强的针对性。
五、结语
尽管数据挖掘技术从产生到现在，所经历的时间不是很长，但它却在社会的经济统计中发挥着举足轻重的作用，为人们带来便捷的统计工作，使工作更加简单化。总之，有效的经济统计为经济的发展提供了关键性数据统计信息，同时也为经济决策提供强有力的依据。因此，将数据挖掘技术有效应用到经济统计工作中，满足了目前经济统计中数据挖掘的需要，促进了社会经济的健康发展。
参考文献：
论文关键词：网络营销，数据，挖掘，技术，应用
（新疆财经大学计算机科学与工程学院新疆乌鲁木齐830012）
0前言
近些年来，已经有越来越多的企业把通信、网络技术和计算机应用引入企业的日常管理工作和业务开发处理当中，企业的各类信息化程度也在不断提高。现代科技信息技术的广泛应用已经显著的提高了企业的工作效率和经济效益。但是，在使用信息技术给企业带来的方便、快捷的同时，也不断的出现了新的问题和需求。企业经过多年积累了大量的历史数据，这些数据对企业当前的日常经营活动几乎没有任何的使用价值，成了留之无用弃之可惜的累赘。而且储藏这些历史数据会对企业造成很大的困难和费用开销。为此数据挖掘技术应用在网络营销中势在必行，全面细致的分析数据库资源并从中提取有价值的信息来对商业决策进行支持，从而来控制运营成本、提高经济效益。本文将从网络营销中数据挖掘技术的几个应用进行探讨和分析。
1客户关系管理
客户关系管理在网络营销，商业竞争是一家以客户为中心的竞技状态的客户，留住客户，扩大客户基础，建立密切的客户关系，客户需求分析和创造客户需求等，是非常关键的营销问题。客户关系管理，营销和信息技术领域是一个新概念，这在90年代初，软件产品在上世纪90年代后期出现的诞生。目前，在国内和国外的此类产品的研究和发展阶段。然而，继续与数据仓库和数据挖掘技术的进步和发展，客户关系管理，也是对实际应用阶段。CRM的目标是管理者与客户的互动，提升客户价值，提高客户满意度，提高客户的忠诚度，还发现，市场营销和销售渠道，然后寻找新客户，提高客户的利润贡献率的最终目的是为了推动社会和经济效益。客户关系管理的目的，应用是改善企业与客户的关系，它是企业和服务本质管理和协调，以满足客户的需求，企业政策支持这项工作，并联系客户服务加强管理，提高客户满意度和品牌忠诚度。
然而，数据挖掘可以应用到很多方面的CRM和不同阶段，包括以下内容：
（1）“一对一”营销的内部工作人员认识到，客户是在这个领域的企业，而不是贸易发展生存的关键。与每一个客户接触的过程，也是了解客户的进程，而且也让客户了解业务流程。
（2）企业与客户之间的销售应该是一种商业关系不断向前发展。客户和营销公司成立这种方式，而且有许多方法可以使这种与客户的关系，往往以改善包括：延长时间，客户关系和维护客户关系，以进一步加强相互交往过程中，公司可以在对方取得联系更多的利润。
（3）客户对客户盈利能力分析。我们的客户盈利能力是非常不同的，如果你不明白客户盈利能力，很难制定有效的营销策略，以获取最有价值的客户，或进一步提高客户的忠诚度的价值。数据挖掘技术可以用来预测客户在市场条件变化不同的盈利能力。它可以找到所有这些行为和使用模型来预测客户行为模式的客户交易盈利水平或新客户找到高利润。
（4）在所有部门维护客户关系的竞争日趋激烈，企业获得新客户的成本上升，因此，保持现有客户的关系变得越来越重要。对于企业客户可分为三大类：没有价值或者低价值的客户，不容易失去宝贵的客户，并不断寻找更多的优惠，更有价值的服务给客户。前两个类型的客户，客户关系管理，现代化，然而，最具潜力的市场活动，是第三个层次的用户，而且还特别需求和营销工具，以保护客户，可以减缓企业经营成本，而且还获得了宝贵的客户。数据挖掘还可以发现，由于客户流失，该公司能够满足这些客户的需要，采取适当措施，保持销售。
（5）客户访问企业业务系统资源，包括能够获得新客户的关键指标。为了提供这些新的资源，包括企业搜索客户谁不知道该产品的客户，可能是竞争对手，服务客户。这些细分客户，潜在客户可以帮助企业完成检查。
2企业经营定位
通过挖掘客户的有关数据，可以对客户进行分类，找出其相同点和不同点，以便为客户提供个性化的产品和服务，使企业和客户之间能够通过网络进行有效的沟通和信息交流。例如，关联分析，客户在购买某种商品时，有可能会连带着购买其他的相关产品，这样购买的某种商品和连带购买的其他相关产品之间就存在着某种关联，企业可以针对这种关联进行分析，分析出规律，已制定有效的营销策略来长效的起到吸引客户连带消费，购买其他产品的营销策略。它能够智能化地从大量的数据中提取出有用的信息和知识，为企业的管理人员提供决策支持。数据挖掘技术使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。
客户群体的划分也会用到数据挖掘，没有基于数据挖掘的客户划分，就没有真正的差异化、个性化营销，就没有现代营销的根本。做为企业的领导者，不管你的企业是卖产品的还是卖服务，第一个应该准确把握的商业问题就是你的目标客户群体，他们是谁，有什么特点和行为模式，有那些独特的喜好可以作为营销的突破口，有多大的多长久的赢利价值。这些问题是你整个商业运做的核心和基础，不了解你的客户，下面的路就根本别指望能走下去了。数据挖掘营销应用中的客户群体划分可以科学有效的解决这个问题，也能给企业找到一个合理的营销定位。
3客户信用风险控制
数据挖掘技术在90年代开始应用于信用评估与风险分析中。企业在进行网络营销的过程中会受到各种各样的来自买方的信用风险的威胁，随着市场竞争的加剧，贸易信用已经成为企业成功开发客户和加强客户关系的重要条件。客户信用管理主要是搜集储存客户信息，因为客户既是企业最大的财富来源，也是风险的主要来源。为了让企业在这方面更少的受到威胁，可以利用数据挖掘技术发现企业经常面临的诈骗行为或延付货款行为，进而进行回避。同时尽可能把客户信用风险控制在交易发生之前是成功信用管理的根本。因此，充分获取客户的详细资料并做出安全的决策非常重要。
客户信用风险管理应用数据挖掘技术的优势：
（1）数据挖掘技术，自动总结相对简单的评估模型，数据挖掘应用程序的形式被广泛用于学习技术，它可以自动完成统计归纳和推理机实现的任务数量，系统用户无法理解模型详情及有关统计知识的情况下，它可以很容易地得出结论。这种评价模型在实际应用中降低了成本；
（2）数据挖掘技术更适合描述的财务指标和信贷上的信用评价模型指标为基础的传统方法，非线性特性的情况基本上是线性的基础上适当的方法和实际应用，企业信用状况和财务指标常表现出非线性特性，但在体重指标体系和分配方法来描述这些困难的非线性关系，实现了数据挖掘应用，其中不少是在非线性系统为基础，尤其描述了合适的非线性特性；
（3）数据挖掘技术也可以适应各种形式的数据，数据挖掘可以是连续的数据，离散数据，而其他形式的数据处理，以便在更大的灵活性，在选择指标时，更加符合客观实际的信用风险模型。
（4）数据挖掘技术是优于修正的噪音数据，对那些在特殊阶段或数据的完整性，市场条件可能不准确，有可能是虚假的数据。由数据挖掘的方法可以修改一些在一定程度上，从而提高了模型的准确性进行评估；
（5）数据挖掘在不完全信息的情况下也可以计算，计算信贷风险往往会遇到德国不完整的信息问题，一些指标只能在一个范围的估计。通过粗糙集数据挖掘或分类树方法，可以优化性能的范围，以获取该指标更准确的估计；
为现代信用风险管理方法有两个：第一是所谓的指数法，其基础是信用相关业务的某些特性来企业信用评估；第二类是所谓的结构化方法，根据历史数据和市场数据模拟在企业资产价值变化的动态持续的过程，然后确定其企业信用的位置。
4在网络营销中进行数据挖掘的优势
网络营销作为适应网络经济时代的网络虚拟市场的新营销理论，是市场营销理念在新时期的发展和应用。它能够智能化地从大量的数据中提取出有用的信息和知识，为企业的管理人员提供决策支持。数据挖掘技术使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。
1．维护原有客户，挖掘潜在新客户
网络营销中销售商可以通过客户的访问记录来挖掘出客户的潜在信息，跟据客户的兴趣与需求向客户有针对性的做个性化的推荐，制定出客户满意的产品服务。在做好维护原有老客户的基础上，通过对数据的挖掘，利用分类技术，也可以寻找出潜在的客户，通过对web日志的挖掘，可以对已经存在的访问者进行分类，根据这种精细的分类，还可以找到潜在的新客户。
2．制定营销策略，优化促销活动
对于保留的商品访问记录和销售记录进行挖掘，可以发现客户的访问规律，了解客户消费的生命周期，起伏规律，结合市场形势的变化，针对不同的商品和客户群制定不同的营销策略，保证促销活动针对客户群有的放矢，收到意想不到的效果。
3．降低运营成本，提高竞争力
网络营销的管理者可以通过数据挖掘发现市场反馈的可靠信息，预测客户未来的购买行为，有针对性的进行营销活动，还可以根据产品访问者的浏览习惯来觉定产品广告的位置，使广告有针对性的起到宣传的效果。从而提高广告的投资回报率，从而能降低运营成本，提高且的核心竞争力。
4．对客户进行个性化推荐
根据客户采矿活动对网络规则，有针对性的网络营销平台，提供“个性化”服务。个性化服务是在服务策略和服务内容的不同客户的不同，其本质是客户为中心的Web服务的需求。它通过收集和分析客户资料，以了解客户的利益和购买行为，然后采取主动，以达到建议的服务。
5．完善网络营销网站的设计
网站的建设者可以根据对客户交易行为的记录和反馈的情况对站点做出改进，站点的设计者可以根据这些信息进一步优化网站结构，站点导航等功能来提高站点的点击率，为客户提供更为方便的浏览方式。利用关联规则，
参考文献1 冯英健著，《网络营销基础与实践》，清华大学出版社，2002年1月第1版
关键词：数据挖掘；技术；应用；分析
中图分类号：TP311文献标识码：A文章编号：1007-9599 (2012) 01-0000-02
Application Analysis of the Data Mining Technology
Zhang Yihui
(Shandong Polytechnic,Jinan250104,China)
Abstract:With the advent and popularization of the Internet age,a lot of information get together,in the quick and easy at the same time to give people the agent has brought us a problem,how is the large amount of data to digest and true and false identification,followed by information how secure is to ensure that lay their unified approach method.This is a new term-data mining technology.Data mining is a relatively new database technology,there is a wide range of practical applications demand;made a comprehensive overview of data mining technology,citing a data mining system composition and mining method.
Keywords:Data mining;Technology;Application;Analysis
何为数据挖掘，所谓数据挖掘（Data Mining）在传统的定义就是提取隐含在大量的、不完全的、有噪声的、模糊的、随机的数据中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。意思简单来讲就是从一大堆乱七八糟的信息数据里提取一些对自己有用的数据知识。
一、数据挖掘的概念
从面的定义中我们对数据挖掘有了一个模糊的了解，其实数据挖掘技术通俗的从字面意思理解就是从数据中挖掘有用的数据。我国一些单位普遍都采用了计算机技术来处理单位的一些业务，因为计算机的分析处理数据的能力比较强，所有产生了大量的业务数据，通过计算机来分析这一大批数据不单单是为了研究的需要，更为重要的是从这些杂乱的数据中分析提取一些对自身企业有价值的数据信息。一些企业单位要从大批量的数据中获取对自己有用的数据来进行企业运作以及提高自身企业的竞争能力，这就好比从矿石中提炼金子一样，提取的都是精华。所以数据挖掘越来越得到人们的重视。
随着数据挖掘和知识发现核心技术研究的逐步深入，其核心模块已经强有力的形成了三大的技术领域：数据库技术、人工智能和数理统计。随着高性能的关系数据库引擎的广泛数据集成和相关理论研究和相关技术的成熟，，让数据库挖掘技术进入了实用阶段。
在国际上，由美国人工智能协会主办的KDD（数据库中的知识发现，简称KDD）已经渐渐被人们所接受，已经召开了数十次国际研讨会，随着规模的不断壮大，在注重多种发现策略和技术的集成，理论研究指导实践应用，以及多种学科之间的相互渗透的基础上，研究重点也逐渐从发现方法转向系统应用，成为目前计算机领域的研究热点；与国外相比，国内研究起步较晚，主要是处在基础理论上的研究。国家自然科学基金对于该领域的研究项目是1993年首次支持。目前，知识发现的基础理论及其应用研究在国内的许多知名的高等院校和科研机构已经开展。
二、数据挖掘系统的组成
以下是典型的数据挖掘的几个组成部分：
（一）数据挖掘所操作的最直接的对象就是数据库，这些数据库是一个或一组可以在数据上进行数据收集、存储、处理和集成的数据库、数据仓库或其他类型的信息库。
（二）数据库或数据仓库服务器：在数据处理过程中，根据客户的数据挖掘请求的指令信息，数据库或数据仓库服务器负责提取相关数据反馈信息。
（三）知识库：数据挖掘的关键技术就是知识库，它是用于指导数据搜索、查找、分析或拟合评估模式的兴趣度的领域知识集。另外将数据信息集中属性或属性值组成不同的数据抽象层的概念分层和用户确信方面的知识数据也包括在里面。
（四）数据挖掘引擎：用于特征化、关联、分类、聚类分析以及演变和偏差分析的一组功能模块，这是数据挖掘系统的基本组成。
（五）模式评估模块：这是数据挖掘实现的关键所在，在数据挖掘过程中参照兴趣度做度量，并与数据挖掘模块交互配合，以便将数据搜索、归并、聚焦在有趣模式的操作。根据所用数据挖掘方法的不同，模式评估模块也可以使用兴趣度阀值作为评定参数，去过滤发现的模式挖掘数据，也可以与数据挖掘模块集成在一起使用。
（六）图形用户界面：是以图形界面的形式给出用户数据查询操作或指令任务，并提供中间参考信息提示、帮助搜索、确定聚焦兴趣度，根据数据挖掘的中间结果进行探索式数据挖掘的操作模块，是在用户和数据挖掘系统之间通信的桥梁，是用户与系统交互的中介。
三、数据挖掘方法
数据挖掘方法的来源主要是由人工智能和机器学习的方法发展来的，结合传统的统计分析方法、模糊数学方法以及科学计算可视化技术，以数据库为研究对象，形成的数据挖掘的方法和技术。数据挖掘是数据和信息系统及其应用的学科前沿，是综合了数据库、专家系统和可视化等领域的相关技术的多学科和多种网络技术交叉结合的新领域，在商业利益的强大推动下，每年都有新的数据挖掘方法和模型的出现，数据挖掘的方法和技术可以分为六大类。
（一）关联分析（Association Analysis）。在数据处理中，随着大量数据不停的收集、存储和处理，关联规则在数据挖掘中发现大量数据项集之间有趣的关联和相互联系，因此许多业界人士对于通过关联规则从相关数据库中挖掘有用的信息，并从中组织和处理这些有用的数据是越来越感兴趣。
（二）聚类方法（Clustering Approach）。在数据处理中，按一定的规则（参照距离或相似尺寸等）将数据分成一系列相互区别的数据组或数据集，这种操作不需要用户的事先提示相关操作和背景知识而去直接挖掘、发现有意义的数据结构或数据模式的方法。
（三）决策树方法（Decision Tree Approach）。该方法是一种常用于预测模型的算法，具有信息描述简单、查找速度快的特点，适合于大规模的数据挖掘。建立决策树的过程：首先根据信息论中的信息增益寻找数据库中具有最大信息量的字段，从中找到潜在的、有价值的信息，然后建立决策树的节点，再根据字段的不同取值建立树的各个分枝，然后在每个分枝子集上分别递归上述过程，即可。
（四）神经网络方法（Neural Network Approach）。神经网络由于本身的特性适合解决数据挖掘问题，因此，近年来越来越被关注。以HEBB学习规则和MP模型为基础的模拟人脑神经元方法，建立了三大类多种神经网络模型：反馈式网络模型、前馈式网络模型和自组织网络模型。
（五）遗传算法（Genetic Algorithms）。遗传算法是模拟生物自然选择与遗传机理的（进化过程）随机的算法，由繁殖（选择）、交叉（重组）、变异（突变）三个基本算子组成的仿生全局优化方法。遗传算法所具有的特有性质已在数据挖掘中发挥了显着作用。
（六）可视化方法（Visualization Approach）。可视化方法增强人们认识能力，拓宽了传统的图表展示功能，增强了用户对数据反馈的感知度，使用户对数据的剖析更加清楚。例如，在数据库表中，将多维数据变成多种线性图形（如线图、柱图），增加直观性，使用户更好、更快速的理解和掌握，并充分揭示数据的内涵、内在本质及规律起了很大的作用。
四、数据挖掘的应用领域
数据挖掘所应用的领域非常广泛，目前，数据挖掘应用最集中的领域包括医疗保健、金融、司法、市场、零售业、制造业、工程与科学等。但每个领域又有其特定的应用问题和应用背景。
（一）医疗保健。在我过国，医疗保健行业有大量的数据需要处理。这个行业中数据挖掘最关键的任务是进行数据处理理，系统可以从大型多变的数据库中发现并整理，预测医疗保健费用。由实验室开发的解释保健数据，在定量范围内解释偏差，生成报表。
（二）金融。数据挖掘技术在金融行业中的应用不但指的是对金融事务数据的开采，能够发现某个客户、消费群体或组织的金融和商业兴趣，并且还可以融市场的变化趋势。
（三）司法。在司法方面，数据挖掘技术可应用在案件调查、诈骗监测、洗钱认证、犯罪组织分析等工作中，这将给司法工作带来巨大的收益，例如：美国财政部开发的系统，对各类金融事务进行监测，识别洗钱、诈骗等。
（四）数字城市。数据挖掘技术应用于数字城市建设中的数据整合系统是指通过对不同的数据库资源进行连接，根据需要获取不同的数据库资源的数据内容，组合形成所需要的数据资源，支持分析决策。在这种机制下，即实现了数据集市的建立，又解决了与城市信息化建设中业已建成的各种信息系统运行上独立，数据上统一的问题。
（五）制造业。制造业应用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。例如进行彩色扫描仪的生产过程分析。他们基于大约公司个参数建立了一个自动数据收集系统，产生了难以手工处理的大量数据，通过使用，工程师们能够对数据进行分析并对最重要的参数进行认定。
五、利用WEKA编写算法
作为数据挖掘爱好者自然要对WEKA的源代码进行分析并以及改进，努力写出自己的数据挖掘算法。我一直觉得对于机器学习算法来说，weka是很有特色的工具，算法非常多。而且还有诸如clementine之类的数据流处理工具。相比之下，clementine的算法就会失色很多。但是weka的可视化做的不好。这是它的缺点。如果在weka的基础上再做些二次开发，加强可视化的应用应该很不错。最近看到一本书叫《可视化数据》，作者竟然包装了java的图形库，自己创作出了个processing语言来做数据可视化，似乎效果不错，而且也是开源的。如果能在这个基础上做些研发应该会不错的。
六、结语
在现今社会，数据挖掘技术已经可以被应用与所有的领域和行业中。在人们生活里的各个方面几乎都可以用到数据挖掘技术数据挖掘技术不但给我们的日常生活带来了巨大的改变和影响，并且这种影响还深深的改变着我们的生活方式。
参考文献：
[1]韩少锋,陈立潮.数据挖掘技术及应用综述[J].机械管理开发,2006,2
[2]颜惠,吴小穗.MetaCrawler集成搜索引擎[J].图书馆工作与究,2002,3:46-47
[3]周黎明,邱均平.基于网络的内容分析法[J].情报学报,2005,5:594-599
[4]Lisa Sokol Data Mining in the Real World Part of the Conference on Data Mining and Knowledge Discovery:Theory.Tool,and Technology.Orlando.Florida-April,1999
一、海量数据挖掘关键技术随时代而变化
所谓海量数据挖掘，是指应用一定的算法，从海量的数据中发现有用的信息和知识。海量数据挖掘关键技术主要包括海量数据存储、云计算、并行数据挖掘技术、面向数据挖掘的隐私保护技术和数据挖掘集成技术。
1.海量数据存储
海量存储系统的关键技术包括并行存储体系架构、高性能对象存储技术、并行I/O访问技术、海量存储系统高可用技术、嵌入式64位存储操作系统、数据保护与安全体系、绿色存储等。
海量数据存储系统为云计算、物联网等新一代高新技术产业提供核心的存储基础设施；为我国的一系列重大工程如平安工程等起到了核心支撑和保障作用；海量存储系统已经使用到石油、气象、金融、电信等国家重要行业与部门。发展具有自主知识产权、达到国际先进水平的海量数据存储系统不仅能够填补国内在高端数据存储系统领域的空白，而且可以满足国内许多重大行业快速增长的海量数据存储需要，并创造巨大的经济效益。
2.云计算
目前云计算的相关应用主要有云物联、云安全、云存储。云存储是在云计算(cloud computing)概念上延伸和发展出来的新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
3.并行数据挖掘技术
高效率的数据挖掘是人们所期望的，但当数据挖掘的对象是一个庞大的数据集或是许多广泛分布的数据源时，效率就成为数据挖掘的瓶颈。随着并行处理技术的快速发展，用并行处理的方法来提高数据挖掘效率的需求越来越大。
并行数据挖掘涉及到了一系列体系结构和算法方面的技术，如硬件平台的选择(共享内存的或者分布式的)、并行的策略(任务并行、数据并行或者任务并行与数据并行结合)、负载平衡的策略(静态负载平衡或者动态负载平衡)、数据划分的方式(横向的或者纵向的)等。处理并行数据挖掘的策略主要涉及三种算法：并行关联规则挖掘算法、并行聚类算法和并行分类算法。
4.面向数据挖掘的隐私保护技术
数据挖掘在产生财富的同时也随之出现了隐私泄露的问题。如何在防止隐私泄露的前提下进行数据挖掘，是信息化时代各行业现实迫切的需求。
基于隐私保护的数据挖掘是指采用数据扰乱、数据重构、密码学等技术手段，能够在保证足够精度和准确度的前提下，使数据挖掘者在不触及实际隐私数据的同时，仍能进行有效的挖掘工作。
受数据挖掘技术多样性的影响，隐私保护的数据挖掘方法呈现多样性。基于隐私保护的数据挖掘技术可从4个层面进行分类：从数据的分布情况，可以分为原始数据集中式和分布式两大类隐私保护技术；从原始数据的隐藏情况，可以分为对原始数据进行扰动、替换和匿名隐藏等隐私保护技术；从数据挖掘技术层面，可以分为针对分类挖掘、聚类挖掘、关联规则挖掘等隐私保护技术；从隐藏内容层面，可以分为原始数据隐藏、模式隐藏。
5.数据挖掘集成技术
数据挖掘体系框架由三部分组成：数据准备体系、建模与挖掘体系、结果解释与评价体系。其中最为核心的部分是建模与挖掘体系，它主要是根据挖掘主题和目标，通过挖掘算法和相关技术(如统计学、人工智能、数据库、相关软件技术等)，对数据进行分析，挖掘出数据之间内在的联系和潜在的规律。大体上，数据挖掘应用集成可分为几类：数据挖掘算法的集成、数据挖掘与数据库的集成、数据挖掘与数据仓库的集成、数据挖掘与相关软件技术的集成、数据挖掘与人工智能技术的集成等。
二、海量数据挖掘应用广泛但深度不足
2011年中国数据挖掘软件市场规模达接近2亿元，2012-2014年还将快速增长。从数据挖掘应用行业上看，国内大多数的用户都来自电信、银行、保险、税务、政府等领域。应用主题主要包含：消费者行为分析、信用评分与风险管理、欺诈行为侦测、购物篮分析等方面。目前，国内数据挖掘应用仍停留在初级阶段，行业企业大规模的运用数据挖掘技术尚需时日。
1.国内数据挖掘应用可分为3个层次
从数据挖掘应用层次上看，大体可以分为三个层次：第一层次是把挖掘工具当作单独的工具来用，不用专门建设系统；第二层次则是把数据挖掘模块嵌入到系统中，成为部门级应用；第三层次是企业级应用，相当于把挖掘系统作为整个企业运营的中央处理器。目前，国内的数据挖掘应用的企业基本处于第一层次，偶尔某些企业用户能够做到第二层次。
2.国内有代表性的数据挖掘行业应用情况简评
(1)通信业：国内应用数据挖掘的企业还是以通信企业(移动、联通、电信)为首，应用的深度和广度都处于领先地位。
(2)互联网企业：随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且迅速从中取得商业价值。例如，国内很多网上商城已经开始使用数据挖掘技术进行客户聚类或者商品关联推广。另外，搜索引擎企业使用数据挖掘技术的需求也非常迫切。
(3)政府部门：我国政府部门中使用数据挖掘技术比较领先的是税务系统。数据挖掘在电子政务中的应用，更多的涉及到报表填制、数据统计。
(4)国内金融行业：操作型数据挖掘应用在国内金融行业应用广泛，尤其是信贷评审领域。中小型银行数据挖掘需求将是未来金融行业数据挖掘市场的主要增长点。未来5年时间里，数据挖掘应用在金融行业仍将高速发展。
