时间：2022-07-23 05:41:04
引言：易发表网凭借丰富的文秘实践，为您精心挑选了九篇数据挖掘论文范例。如需获取更多原创内容，可随时联系我们的客服老师。
[关键词]数据挖掘数据挖掘方法
随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
目前，数据挖掘技术虽然得到了一定程度的应用，并取得了显著成效，但仍存在着许多尚未解决的问题。随着人们对数据挖掘技术的深人研究，数据挖掘技术必将在更加广泛的领域得到应用，并取得更加显著的效果。
系统采用C/S+B/S结构,主要由前端数据采集设备(位移及载荷传感器)、站点客户端、数据库及Web服务器等组成。各部分采取分布式协同处理运行方式,站点客户端利用前端采集的数据独立分析计算,分析完成后上传至数据库服务器,并通过网页服务器对外。
2系统数据
2.1系统数据结构系统采用MicrosoftSQLServer,创建了WPGUI与WPCHQ数据库来管理3万余口油井数据采集、处理及存储等,建设数据表65张(见主要数据表的关系图2),主要包括生产井的完井数据、静态数据、动态数据、采集数据、原油物性数据、机杆管泵等技术数据,同时系统保存了油井近两年功图电参数据(每天每口井到少100张),以及根据这些数据分析计算出来的结果和汇总生成的数据。
3数据挖掘应用
数据挖掘是从大量数据集中发现可行信息的过程,是统计分析技术、数据库技术及人工智能技术的综合。面对油井工况实时分析及功图计产系统大量的油井生产完备数据,长庆油田充分利用数据挖掘技术,对数据进一步清理、集成、转换、挖掘应用,深化功图系统数据分析,先后开展了动液面计算,系统效率在线实时监测、区块动态分析研究等,并应用于油田现场,取得了较好的效果,既节约了生产成本,又方便了现场管理应用,进一步提升系统在长庆油田数字化前端的核心地位。
3.1区块动态分析
油井生产中,每天都会获得大量的实时生产数据,目前系统主要对单井完成工况分析及产液量计算,如何通过分析和处理这些数据,及时全面了解油田区块产油量、压力、含水等变化规律是数据挖掘应用又一问题。长庆油田开展了基于油井工况诊断及功图计产系统的区块动态分析,从空间和历史角度,对油井分类、分级、分层次进行统计分析,挖掘生产数据里有用的信息,提炼区块共性问题,并按照设计的模板(区块指标统计图表、供液能力分析、产量分析、故障井分析等)每月30日自动生成全面及时的区块油井生产动态分析,从而指导区块生产管理,实现油田的精细管理,为油田开发决策提供依据。
4结束语
随着长庆油田数字化建设的不断深入,各种生产、研究、管理等数据库不断增加,如何深化数据应用,准确迅速从数据库是提取有用信息,已成为是数字油田生产管理的迫切需求。在基于油井工况实时分析及功图计产系统数据挖掘应用中我们积累了不少经验,拓展了系统功能,提升系统在长庆油田数字化前端的核心地位。在今后应用中,油田数据挖掘应用注意几个问题:
(1)数据是数字油田的血液,为了保证数据挖掘效率,在数据库建设中要规范数据存储格式,保证数据源及数据类型的统一,同时加强数据审核,注重数据入库的质量;
(2)数据挖掘中尽可能使用可视化工具,一幅图胜过千句话,数据挖掘可视化主要包括数据可视化、挖掘结果可视化、挖掘过程可视化等;
目前现有的针对烟草营销策略的研究，多采用数据挖掘的思想，基于数据挖掘的营销策略是对终端客户进行分类，根据用户的销量和诚信记录把用户分为多个等级，但这种分级策略只能反应用户的销量信息，把这个分类作为营销策略依据太单薄，只能起一定的辅助作用。更深入地研究是根据客户的资料和历史订单数据对现有商户进行聚类，获取到自主的商户分类，但盲目的聚类会导致商户的分类没有实际意义，或获取的结果是无助于营销目的的。
2技术关键
本系统采用基于营销目的的商户聚类，技术关键包括三部分内容：数据预处理中的特征选择、基于限制目标的商户精确聚类和基于聚类结果的多层关联规则算法的研究。
2.1特征选择
假定获取的数据的维数为n，通常情况下n是很大的一个数，为简化模型，也为了防止模型陷入过拟合（维数灾难），需要进行降维处理，即仅把对项目改造判定起关键作用的因素挑选出来。本系统采用PCA算法来进行降维处理，过程如下：
1)计算标准化后的矩阵Z的样本的协方差矩阵Cov；
2)计算协方差矩阵Cov的本征向量e1,e2,…,en的本征值。本征值按大到小排序；
3)投影数据
到本征矢张成的空间之中，利用贡献分析取前m个向量Y1,Y2,…,Ym。
2.2基于营销目标限制的商户精确聚类算法
现有聚类算法一般没有约束条件，只根据相似度来进行聚类，为了能够体现约束条件，需要在聚类相似度或者样本距离之间把限制条件增加进去，这样在样本聚类的时候即可使得具有相同营销特性的样本或者客户被划分到同一个类中。烟草终端商户的大部分属性是分类属性，例如：地区、类别等，此外还有数字型属性、日期型属性，由于存在不同类型的属性，常规的聚类算法无法使用，为此，采用把数字属性和日期属性划分区间的思路，这样可以转化成分类属性的方式来进行聚类。进而可建立如下商户模型：分类对象X∈Ω，X=[A1=x1]∧[A2=x2]∧…∧[Am=xm]，其中xj∈DOM(Aj)，1≤j≤m，为简便起见，将对象X∈Ω用向量（x1,x2,…,xm）表达，如果属性Aj的值不存在，则Aj=ε。令Χ={X1,X2,…,Xn}为n个分类对象的集合，用集合方式表达分类对象，则Xi={xi,1,xi,2,…,xi,m}，如果属性Aj的值不存在，则集合中不出现xi,j，容易得到|Xi|≤m。如果存在Xi,j=Xk,j，1≤j≤m，则Xi=Xk。为方便聚类，利用聚类汇总来压缩原始数据，从而达到提高算法效率的目的。一个类C可以由如下三元组（n,I,S）来表示。其中n为类C中的对象数量，I={i1,i2,…,iu}是C内所有属性值的集合，S={s1,s2,…,su}，其中sj为ij在类C中的数量，ij∈I，1≤j≤u。集合S按升序排列，即s1≤s2≤…≤su，这同时也暗示集合I的元素按其在C中的数量按升序排列。三元组（n,I,S）被称作类C的聚类汇总CS，CS的三个成员分别记作CS.n、CS.I和CS.S；对于CS.I的任一元素ij∈CS.I，则记作CS.I.ij，对于sj∈CS.S，则记作CS.S.sj，其中1≤j≤u。
2.3基于烟草营销的多层关联规则的研究
针对本项目，对关联规则定义进行扩展，对形如：XY的关联规则，不再限定X和Y为一个项目集，而把X和Y定义为条件的合取范式，每个条件Ai=True/False为布尔表达式。此时的Ai为一个项目集，它的含义与原来的X和Y的含义相同，如果把结果中的条件布尔表达式写成Cj=True/False，则关联规则有如下形式：（A1=True/False）∧（A2=True/False）∧…∧（An=True/False）（C1=True/False）∧（C2=True/False）∧…∧（Cm=True/False）关联规则的开采问题可以分解成以下两个子问题：
①从数据集合或交易集合D中发现所有的频繁项目集。
②从频繁项目集中生成所有置信度不小于用户定义的最小置信度minconf的关联规则。即对任一个频繁项目集F和F的所有非空真子集S，SF，如果sup（F）/sup（F－S）≥minconf，则（F－S）S就是一条有效的关联规则。按上述方法发现所有类似的规则。这两个步骤中第2步要相对容易，因此项目的研究将更关注第1步，由于最大频繁项目集已经隐含了所有频繁项目集，所以可以把发现频繁项目集的问题转化为发现最大频繁项目集的问题。针对烟草营销的客户，进行关联规则挖掘时，是在上一步的基础上，即针对每一个商户群进行规则挖掘。在获取到最大频繁项目集后，顺序生成频繁项目集，然后获取到可用的关联规则。此时获取的关联规则是底层关联规则，然后再采用概念树的方法对获取的底层关联规则进行汇总。概念树由烟草领域专家根据属性的领域知识提供，按特定属性的概念层次从一般到具体排序。树的根结点是用any表示最一般的概念，叶结点是最具体的概念即属性的具体值。
近年来，我国的部队管理体系已经逐渐向着自动化方向发展，部队中各个部门都建立了一定的管理体系，也逐渐脱离了人工管理模式，实现信息现代化模式，很大程度提高了部队工作的效率，但是由于外界因素与经济发展的多样化以及人们的思维模式也在不断改变，从而出现了一些新问题，使得部队管理体系存在着一定问题：第一、关联性小、系统比较独立。现阶段，部队采购食品系统的作用以及目的比较简单，思维面也比较窄，也就是说按照清单进行食品采购时，不能充分考虑到采购人员的健康、效率等问题，不能达到最优化采购方式，因此就变得比较独立；第二，数据功能简单，可靠性不高。现阶段，部队食品采购数据只是对采购的种类与过程进行简单记录，时间一久，就会被损坏或者丢失；第三，数据分散不集中。现阶段与部队人员健康、起居饮食、训练相关的数据分散在不同系统中，使得数据变得不一致、不完整，仅仅只能进行简单查询、汇总、统计等工作，不能对数据进行多角度分析、关联等，不能为采购食品提供很好的政策支持。针对部队采购存在的问题，可以利用数据仓库以及数据挖掘技术建立多为数据库，利用数据挖掘进技术对食品采购数据进行挖掘。依据现阶段部队的实际发展情况，建立一套新数据库的成本代价比较高，因此，选用了目前社会上通用方法，对已经存在的数据进行一定改革与拓展，合理优化系统数据，成为新的数据库。并且选取对数据挖掘影响比较大的系统性分析，包括训练系统，食品采购系统、人员管理系统以及医疗卫生系统。针对食品采购采购系统建立数据模型。
二、在部队食品采购系统中的应用以及其价值评价
在部队食品采购系统实际应用工程中，其实可以运用MicrosoftSQLServerAnalysisServices来对数据进行分析，并且在数据挖掘过程中对多维数据进行描述与查找起到一定作用。因为多维数据比较复杂，增长的也比较快，因此，进行手动查找是很困难的，数据挖掘技术提供的计算模式可以很好的对数据进行分析与查找。在建设部队食品采购仓库数据的时候，数据内容主要包括了人员的健康、兵员的饮食以及训练等，进行数据挖掘主要包括以下内容：第一，把每个主题信息数据进行收集、汇总、分析等，对人员情况、健康、饮食、训练等进行合理分析；第二，多维分析数据信息。根据部队的实际情况，利用数据挖掘技术对部队人员健康、饮食、训练等数据信息进行多维分析，其中包含上钻、切片、下钻等；第三，挖掘健康与饮食之间的内在关系。根据数据库中许多面向主题的历史数据，采用数据挖掘技术进行分析与演算得到部队人员的训练和健康情况与部队饮食之间内在关系，以便于为部队食品采购提供合理的、有效的保障，从而提高部队整体人员的健康水平、身体素质以及训练质量，对提高我国部队战斗力有着深远的意义。
三、结束语
[关键词]数据挖掘客户关系管理应用步骤
根据波特的影响企业的利益相关者理论，企业有五个利益相关者，分别是客户、竞争对手、供应商、分销商和政府等其他利益相关者。其中，最重要的利益相关者就是客户。现代企业的竞争优势不仅体现在产品上，还体现在市场上，谁能获得更大的市场份额，谁就能在竞争中占据优势和主动。而对市场份额的争夺实质上是对客户的争夺，因此，企业必须完成从“产品”导向向“客户”导向的转变，对企业与客户发生的各种关系进行管理。进行有效的客户关系管理，就要通过有效的途径，从储存大量客户信息的数据仓库中经过深层分析，获得有利于商业运作，提高企业市场竞争力的有效信息。而实现这些有效性的关键技术支持就是数据挖掘，即从海量数据中挖掘出更有价值的潜在信息。正是有了数据挖掘技术的支持，才使得客户关系管理的理念和目标得以实现，满足现代电子商务时代的需求和挑战。
一、客户关系管理（CRM）
CRM是一种旨在改善企业与客户之间关系的新型管理方法。它是企业通过富有意义的交流和沟通,理解并影响客户行为,最终实现提高客户获取、客户保留、客户忠诚和客户创利的目的。它包括的主要内容有客户识别、客户关系的建立、客户保持、客户流失控制和客户挽留。通过客户关系管理能够提高企业销售收入，改善企业的服务，提高客户满意度，同时能提高员工的生产能力。
二、数据挖掘（DM）
数据挖掘（DataMining，简称DM），简单的讲就是从大量数据中挖掘或抽取出知识。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感兴趣的知识，这些知识是隐讳的、事先未知的、潜在有用的信息。
常用的数据挖掘方法有：（1）关联分析。即从给定的数据集中发现频繁出现的项集模式知识。例如，某商场通过关联分析，可以找出若干个客户在本商场购买商品时，哪些商品被购置率较高，进而可以发现数据库中不同商品的联系，进而反映客户的购买习惯。（2）序列模式分析。它与关联分析相似，其目的也是为了控制挖掘出的数据间的联系。但序列模式分析的侧重点在于分析数据间的前后（因果）关系。例如，可以通过分析客户在购买A商品后，必定（或大部分情况下）随着购买B商品，来发现客户潜在的购买模式。（3）分类分析。是找出一组能够描述数据集合典型特征的模型，以便能够分类识别未知数据的归属或类别。例如，银行可以根据客户的债务水平、收入水平和工作情况，可对给定用户进行信用风险分析。（4）聚类分析。是从给定的数据集中搜索数据对象之间所存在的有价值联系。在商业上，聚类可以通过顾客数据将顾客信息分组，并对顾客的购买模式进行描述，找出他们的特征，制定针对性的营销方案。（5）孤立点分析。孤立点是数据库中与数据的一般模式不一致的数据对象，它可能是收集数据的设备出现故障、人为输入时的输入错误等。孤立点分析就是专门挖掘这些特殊信息的方法。例如，银行可以利用孤立点分析发现信用卡诈骗，电信部门可以利用孤立点分析发现电话盗用等。
三、数据挖掘在客户关系管理中的应用
1.进行客户分类
客户分类是将大量的客户分成不同的类别，在每一类别里的客户具有相似的属性，而不同类别里的客户的属性不同。数据挖掘可以帮助企业进行客户分类，针对不同类别的客户，提供个性化的服务来提高客户的满意度，提高现有客户的价值。细致而可行的客户分类对企业的经营策略有很大益处。例如，保险公司在长期的保险服务中，积累了很多的数据信息，包括对客户的服务历史、对客户的销售历史和收入，以及客户的人口统计学资料和生活方式等。保险公司必须将这些众多的信息资源综合起来，以便在数据库里建立起一个完整的客户背景。在客户背景信息中，大批客户可能在保险种类、保险年份和保险金额上具有极高的相似性，因而形成了具有共性的客户群体。经过数据挖掘的聚类分析，可以发现他们的共性，掌握他们的保险理念，提供有针对性的服务，提高保险公司的综合服务水平，并可以降低业务服务成本，取得更高的收益。
2.进行客户识别和保留
(1)在CRM中,首先应识别潜在客户,然后将他们转化为客户
这时可以采用DM中的分类方法。首先是通过对数据库中各数据进行分析，从而建立一个描述已知数据集类别或概念的模型，然后对每一个测试样本，用其已知的类别与学习所获模型的预测类别做比较，如果一个学习所获模型的准确率经测试被认可，就可以用这个模型对未来对象进行分类。例如，图书发行公司利用顾客邮件地址数据库，给潜在顾客发送用于促销的新书宣传册。该数据库内容有客户情况的描述，包括年龄、收入、职业、阅读偏好、订购习惯、购书资金、计划等属性的描述，顾客被分类为“是”或“否”会成为购买书籍的顾客。当新顾客的信息被输入到数据库中时，就对该新顾客的购买倾向进行分类，以决定是否给该顾客发送相应书籍的宣传手册。
(2)在客户保留中的应用
客户识别是获取新客户的过程，而客户保留则是留住老顾客、防止客户流失的过程。对企业来说，获取一个新顾客的成本要比保留一个老顾客的成本高。在保留客户的过程中，非常重要的一个工作就是要找出顾客流失的原因。例如，某专科学校的招生人数在逐渐减少，那么就要找出减少的原因，经过广泛的搜集信息，发现原因在于本学校对技能培训不够重视，学生只能学到书本知识，没有实际的技能，在就业市场上找工作很难。针对这种情况，学校应果断的抽取资金，购买先进的、有针对性的实验实训设备，同时修改教学计划，加大实验实训课时和考核力度，培训相关专业的教师。
(3)对客户忠诚度进行分析
客户的忠诚意味着客户不断地购买公司的产品或服务。数据挖掘在客户忠诚度分析中主要是对客户持久性、牢固性和稳定性进行分析。比如大型超市通过会员的消费信息，如最近一次消费、消费频率、消费金额三个指标对数据进行分析,可以预测出顾客忠诚度的变化，据此对价格、商品的种类以及销售策略加以调整和更新，以便留住老顾客，吸引新顾客。
(4)对客户盈利能力分析和预测
对于一个企业而言，如果不知道客户的价值，就很难做出合适的市场策略。不同的客户对于企业而言，其价值是不同的。研究表明，一个企业的80%的利润是由只占客户总数的20%的客户创造的，这部分客户就是有价值的优质客户。为了弄清谁才是有价值的客户，就需要按照客户的创利能力来划分客户，进而改进客户关系管理。数据挖掘技术可以用来分析和预测不同市场活动情况下客户盈利能力的变化，帮助企业制定合适的市场策略。商业银行一般会利用数据挖掘技术对客户的资料进行分析，找出对提高企业盈利能力最重要的客户，进而进行针对性的服务和营销。
(5)交叉销售和增量销售
交叉销售是促使客户购买尚未使用的产品和服务的营销手段，目的是可以拓宽企业和客户间的关系。增量销售是促使客户将现有产品和服务升级的销售活动，目的在于增强企业和客户的关系。这两种销售都是建立在双赢的基础上的，客户因得到更多更好符合其需求的服务而获益，公司也因销售增长而获益。数据挖掘可以采用关联性模型或预测性模型来预测什么时间会发生什么事件，判断哪些客户对交叉销售和增量销售很有意向，以达到交叉销售和增量销售的目的。例如，保险公司的交叉营销策略：保险公司对已经购买某险种的客户推荐其它保险产品和服务。这种策略成功的关键是要确保推销的保险险种是用户所感兴趣的，否则会造成用户的反感。
四、客户关系管理应用数据挖掘的步骤
1.需求分析
只有确定需求，才有分析和预测的目标，然后才能提取数据、选择方法，因此，需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测，还是其他应用。应对现有资源如已有的历史数据进行评估，确定是否能够通过数据挖掘技术来解决用户的需求，然后将进一步确定数据挖掘的目标和制定数据挖掘的计划。
2.建立数据库
这是数据挖掘中非常重要也非常复杂的一步。首先,要进行数据收集和集成，其次,要对数据进行描述和整合。数据主要有四个方面的来源：客户信息、客户行为、生产系统和其他相关数据。这些数据通过抽取、转换和装载，形成数据仓库，并通过OLAP和报表，将客户的整体行为结果分析等数据传递给数据库用户。
3.选择合适的数据挖掘工具
如果从上一步的分析中发现，所要解决的问题能用数据挖掘比较好地完成，那么需要做的第三步就是选择合适的数据挖掘技术与方法。将所要解决的问题转化成一系列数据挖掘的任务。数据挖掘主要有五种任务：分类，估值预测，关联规则，聚集，描述。前三种属于直接的数据挖掘。在直接数据挖掘中，目标是应用可得到的数据建立模型，用其它可得到的数据来描述感兴趣的变量。后两种属于间接数据挖掘。在间接数据挖掘中，没有单一的目标变量，目标是在所有变量中发现某些联系。
4.建立模型
建立模型是选择合适的方法和算法对数据进行分析，得到一个数据挖掘模型的过程。一个好的模型没必要与已有数据完全相符，但模型对未来的数据应有较好的预测。需要仔细考察不同的模型以判断哪个模型对所需解决的问题最有用。如决策树模型、聚类模型都是分类模型，它们将一个事件或对象归类。回归是通过具有已知值的变量来预测其它变量的值。时间序列是用变量过去的值来预测未来的值。这一步是数据挖掘的核心环节。建立模型是一个反复进行的过程，它需要不断地改进或更换算法以寻找对目标分析作用最明显的模型，最后得到一个最合理、最适用的模型。
5.模型评估
为了验证模型的有效性、可信性和可用性，从而选择最优的模型，需要对模型进行评估。我们可以将数据中的一部分用于模型评估，来测试模型的准确性，模型是否容易被理解模型的运行速度、输入结果的速度、实现代价、复杂度等。模型的建立和检验是一个反复的过程，通过这个阶段阶段的工作，能使数据以用户能理解的方式出现，直至找到最优或较优的模型。
6.部署和应用
将数据挖掘的知识归档和报告给需要的群体，根据数据挖掘发现的知识采取必要的行动，以及消除与先前知识可能存在的冲突，并将挖掘的知识应用于应用系统。在模型的应用过程中，也需要不断地对模型进行评估和检验，并做出适当的调整，以使模型适应不断变化的环境。
参考文献:
[1]罗纳德．S．史威福特．客户关系管理[M]．杨东龙译．北京：中国经济出版社，2002
[2]马刚:客户关系管理[M]大连：东北财经大学出版社，2008
[3]朱美珍:以数据挖掘提升客户关系管理[J]．高科技产业技术与创新管理，2006，（27）
[4]顾桂芳何世友:数据挖掘在客户关系管理中的应用研究[J].企业管理，2007，（7）
但是现有电子商务多数局限于PC、Pad等终端。基于电视的购物节目缺乏品牌、可信性，传统的遥控器输入也难以满足电子商务的交互要求。电视机是我国千万家庭中最为普及的家庭信息交互智能终端产品之一，集公共传播、信息服务、文化娱乐、交流互动于一体。因此，新型电视电子商务融合传统的电视购物和互联网模式，通过多屏互动、电视映像触控彻底改变电视的操控方式，结合数据挖掘、行为分析技术，将带来电视商务的蓬勃发展，弥补相关领域空白。
2技术方案
2.1电视商城前端管理系统功能模块
前端管理系统软件架构图如图2所示。电视商城前端管理系统由客户管理、栏目及商品信息管理、电视数据同步管理、电视数据交互、对账管理、支付管理、用户管理、日志管理等功能模块组成。客户管理模块主要包含电视商城用户的注册、登录、收藏等一系列客户行为的管理；栏目及商品信息管理模块主要为电视上商品及栏目提供统一格式的一系列的后台数据。电视的栏目主要是通过时间、频道号、节目号做关联；电视数据同步管理模块主要是指后台同步电商数据的一系列管理。主要是指后台同步电商数据的一系列管理；电视数据交互模块主要是指与电商数据接互的后台接口的处理；对账管理模块主要是指与电商的一个订单对账管理，包含支付情况的对账；支付管理对接第三方支付平台，如支付宝等；系统日志管理模块主要是指后台日志系统的增删改查操作，以便系统用户跟踪问题。
2.2多屏互动、电视映像触控
电视映像触控技术彻底丢掉了繁琐输入工具，是革命性、颠覆性的技术创新，为电视设备提供了简单的操作，用户可以像操控手机一样操控电视，解决了长期以来久攻不克的电视输入难题。行业分析者认为将会在未来几年内有上万亿的市场前景。用户可以通过手机或Pad操控大屏电视、搜索视频、缩放网页、拖动图片、玩转重力游戏，带给你前所未有的电视体验，或通过手机或Pad在家里的任何地方观看电视实时播放的内容，畅想多屏互动的乐趣。通过高速Wi-Fi连接，只需要各设备在同一个局域网。实现了手机、Pad、电视“零延时”同步，精彩多屏看，真正实现“大屏映小屏、小屏控大屏”。当机顶盒接收到直播Server的数据后会将EPG数据保存，当手机、Pad请求的视频播放状态信息时，机顶盒会通过Wi-Fi网络将EPG信息发送给手机、Pad。手机、Pad将直播视频播放的状态信息发送给前端服务平台，前端服务平台每天会定时请求直播Server来获取和解析EPG信息的详细内容，当接收到手机、Pad视频播放信息时，则会自动匹配相关的program内容，并将匹配到的商品信息等通过后台的编辑人员编辑加工入库后传送给电视商城系统。电视商城系统接收到前端服务平台关联的商品信息后，会返回商品的详情、购买情况等信息，然后由前端服务平台将数据打包传送给手机、Pad，此时用户在移动终端已经完全可以浏览到与直播相关联的商品信息并与电视商城系统平台之间进行交互，完成商品购买。
2.3数据挖掘和精准推送
数据挖掘和精准推送流程图。当用户开启电视商城系统平台的服务客户端观看直播时，会发起关联请求，此时机顶盒会将用户所观看的直播节目和当前的时间记录下来发送给服务端请求关联商品界面及关联的内容，初步请求按照channelname+time查找关联界面，如果找到则放回固定的Link_epg_gues_goods中，如果不存在则只按照channelname查找关联界面，若channelname存在，则返回关联频道的link_epg_gues_goods，如果不存在，则返回通用的关联商品界面Link_epg_home_goods。在服务端接收到请求消息后会在服务端统计数据并进行分析用户的行为，最终返回关联商品界面，供用户购买。
3结论
物联网数据挖掘处理功能需要在Hadoop平台和Map/Reduce模式基础上进行，对此需要划分2个不同层面的操作流程。
1.1Hadoop平台的具体操作流程
（1）对物联网中的RFID数据进行过滤、转换、合并的处理，并在分布式系统HDFS中保存PML文件形式的数据。同时，可采取副本策略来处理PML文件，在同一机构的不同节点或不同机构的某一节点上保存PML文件中的2-3个副本，进而可实现对存储、处理、节点失效问题的有效解决。
（2）在执行任务过程中，创建和管理控制是Master（主控程序）的主要工作，当Worker处于空闲状态时会接收到有关的分配任务，需与Map/Reduce互相合作实现操作处理，处理的最终结果由Master来归并，同时将反馈结果传送给用户。
1.2Map/Reduce的具体操作流程
（1）根据参数在Map/Reduce思想指导下对输入文件进行分割处理，使其细化为M块（16-64M大小范围）。
（2）Master、Worker、Map操作（M个）、Reduce操作（R个）是构成执行程序的主要部分，其中Map/Reduce的处理任务会由Master伴随物联网的快速发展和广泛应用，人们可以有效利用物联网来实现信息交换和通信的目的，不过物联网海量数据的日益增多大大降低了物联网服务的质量。在此，对基于Apriori算法进行物联网数据挖掘研究。摘要将其分配给空闲的Worker。
（3）在处理Map任务时，Worker会读取处理中的数据，并向Map函数传送<key，value>，而后产生中间结果在内存中缓存且定时向本地硬盘传送。此外，依据分区函数将中间结果分割为R块区，利用Master将本地硬盘接收到的数据位置信息传送给Reduce函数。
（4）ReduceWorker根据Master所传送的文件信息采用远程读取方式来操作，以在本地文件中找到对应的文件，对文件的中间key进行有序排列，并利用远程发送信息给具体执行的Reduce。
（5）ReduceWorker依据key排序后的中间数据向Reduce函数传送与key对应的中间结果集，而最后的结果需采取最终输出文件来进行编写。
（6）当Map、Reduce的任务全部完成之后，MapReduce将回归到用户程序的调用点处，同时以Master对用户程序进行激活。
2基于Apriori算法的物联网数据挖掘
2.1Apriori数据挖掘原理和操作流程
Apriori是提升物联网数据挖掘功能的一种最有效算法，其原理是在K项集中以逐层搜索迭代的方式来探索。具体的操作流程包括：
（1）扫描数据集以生成频繁1-项集L1。
（2）通过L1来探索频繁项集L2，采用不断迭代的方式来持续探索，直至频繁项集是空集。
2.2K次循环搜索后的数据挖掘流程
当已完成了K次循环搜索时，还需要进行2个数据挖掘的操作流程：（1）在LK-1生成CK（候选集）之后，开展JOIN操作。（2）支持度统计和剪枝的操作依据Apriori性质来进行，而后使得CK生成LK（频繁集）。为提高物联网数据挖掘的效率，节省系统的时间和内存消耗，在Apriori算法基础上还需要借鉴和移植云计算平台的分布式并行计算性质。如此以实现Hadoop架构的建立，在扫描数据库查找频繁项集中得到的并联规则需要存储在Hadoop架构中。同时，为取得各个计算节点上的局部频繁项集，各个DataNode节点需要经历并行操作的扫描处理，并使用Master来统计和确定实际全局的支持度、频繁项集。
2.3Apriori算法Map/Reduce化的处理流程
上述提及基于Apriori算法的物联网数据挖掘需借助于Map/Reduce模式，其数据挖掘功能的实现还应Map/Reduce化Apriori算法。主要的处理流程包括：
（1）用户提出挖掘服务的请求，且由用户来设置Apriori所需的数据，如最小支持度、置信度。
（2）当Master接收到请求后，通过NameNode来进行PML文件的申请，而后逐步完成访问空闲节点列表、向空闲的DataNode分配任务、调度和并行处理各个DataNode需要的存储节点算法。
（3）运用Map函数来处理每个DataNode的<key，value>对映射、新键值对，以CnK（用1表示每一个CnK的支持度）来表示所产生的一个局部候选频繁K项集。
（4）通过Reduce函数来实现调用计算，对每个DataNode节点上相同候选项集的支持度进行累加，以产生一个实际的支持度，将其与最小支持度（用户申请时所设置）进行比较，进而用LnK表示所生成的局部频繁K项集的集合。
（5）对所有的处理结果进行合并，从而实现全局频繁K项集LK的生成。
3结论
网上银行促销渠道分析系统采用C/S架构或者B/S架构，充分考虑系统易用性和投入产出。从维护网上银行的C/S架构和B/S架构角度来分析，使用网上银行促销渠道分析系统的多是管理人员，并且在未来的发展过程中，系统用户数量也不会大幅度上涨，综合网上银行系统的维护成本和开发成本，尽量选择C/S架构。从使用者和系统数据传输的角度来分析，只有银行工作人员才能使用这个系统，而C/S架构具有良好的灵活性。综上所述，网上银行促销渠道分析系统可以使用C/S架构来部署软件模块。由于网上银行系统包含大量的客户信息数据，因此网上银行系统必须具有更高的安全性和保密性，相关操作人员必须强化风险防范意识，规范网上银行系统操作，严格控制系统的数据传输。网上银行系统必须具有良好的扩展性，为数据表和数据查询算法留出充足的软硬件资源。同时，网上银行渠道分析系统要支持工作人员扩展数据查询、数据字典和数据表之前的交叉查询，将用户的查询记录保存在本地网络服务器上，尽量避免重复查询，提高网上银行渠道分析系统的查询速度。
2数据挖掘技术在网上银行促销活动中的运用
随着商业银行的快速发展，网上银行受到人们的广泛关注。网上银行系统以计算机网络为交易平台，各种新型的促销策略，使网上银行业务得到迅速拓展。但是，和四大行相比，一些商业银行的网上银行业务仍然存在很大的差距。同时，近年来，网上银行市场竞争日益激烈，某些网上银行业务在应用过程中出现了促销成本不断增加，而促销效果不理想的状况，数据挖掘技术在网上银行促销活动中的运用，要积极解决这些问题。
2.1提高营销质量当前，很多银行都逐渐加大了网上银行促销力度，但是促销活动的效果却不明显，单纯的依靠赠送礼品或者各种优惠措施，在很大程度上会提升促销成本，并且难以真正地吸引客户。在网上银行促销活动中应用数据挖掘技术，分析不同促销活动的特点，根据网上银行系统自身的特点和优化，对不同客户进行组合促销，将不同的网上银行业务或者产品联系起来，有针对性地对有意向的客户进行促销，合理安排网上银行促销活动内容和时间，尽量在电子商务交易高峰时段之前，实现网上银行促销活动的目标。
2.2优化客户结构一些商业银行不了解客户的真实需求，在发展潜在客户时，缺乏针对性，网上银行促销活动的交易需求较弱。因此要应用数据挖掘技术挖掘一些隐含的信息，明确哪些客户对网上银行的哪些产品或者业务有需求，挖掘潜在的、有实力的客户，将这些客户作为网上银行促销活动的重点客户。
2.3优化促销活动流程在网上银行促销活动中运用数据挖掘技术，采用运用关联分析，挖掘传统银行渠道重点产品和网上银行系统重点产品的业务数据，挖掘非网络银行系统和网络银行系统业务以及网络银行系统不同业务或者产品之间的关联关系，通过数据挖掘技术寻找符合网上银行系统运营条件的关联关系，探索网上银行系统不同产品和业务之间的依存性或者相似性[2]，由此将网上银行系统的某一项业务或者产品作为重点促销产品来拉动其他业务和产品的销售，并且可以将一些业务或者产品组合起来进行有针对性的促销，提高网上银行促销活动效果。另外，挖掘优质、有潜力客户特征，优质客户可以银行提供大量的业务收入和交易量，因此可以通过数据挖掘技术的聚类方法分析银行系统的客户构成，挖掘优质客户的共同特征，为网上银行促销活动提供重要的依据。
3结束语
在上述系统设计的基础之上，我们提出了网店客户购买数据挖掘系统的模型，该模型由三个层次组成，其逻辑架构如图一所示。
2、系统设计与实现
2.1系统开发与运行环境硬件环境：CPUIntelI3380M/RAM2G/硬盘320G软件配置：操作系统：Windows7SP1开发工具：2005/VisualC#数据库管理系统：MSSQLServer2008辅助软件：SPSSClementine11.1；SQLServer2008AnalysisServices（SSAS）
2.2主要技术与系统实现通过对上述对客户购买数据挖掘系统模型的分析可知，该系统主要由用户接口模块、数据清洗模块、数据格式转换模块、数据库生成模块和数据挖掘引擎模块等组成。1）用户接口模块本系统最终目的还是为为客户的决策提供支持，因此友好的界面设计是用户与系统交互的基础。简洁而易于理解的界面有利于提高用户对系统的使用效率。2）数据预处理模块客户访问数据进入数据预处理模块进行清洗，去除无关的信息，剥离出对数据挖掘有价值的数据。数据预处理模块对原始访问数据进行分析，将用户购买数据记录逐条的分割成十个字段，分别为：u_id（访问者编号），u_date（到访日期），u_time（到访时间），u_orderid（订单编号)，u_product（客户购买的商品），u_bowser（使用的浏览器类型），page（首次到访页面），place（客户所在地区），payment（支付方式），logistic（物流方式），同时删除访问数据中与以上字段不相干的数据。然后将经过预处理的数据存入中间文件。3）XML转换模块该模块程序使用.NET的相关的方法编写，主要功能将预处理过的客户购买数据转换成标准化XML格式的数据文件进行存储。该程序的主要实现原理是对经过预处理的中间文件中的数据记录逐个分割并存入数组，然后将数组的内容按照XML的格式写入文件，完成转换。4）数据库导入模块利用.NET的相关方法并结合数据库管理工具建立支持数据挖掘的客户购买数据库，编写相关程序将已经转换成XML格式的客户访问数据逐条的导入到数据库并形成日志数据表方便进行后续的数据挖掘。5）数据挖掘引擎模块数据挖掘引擎是实现客户购买数据挖掘系统的实现关键。优秀的数据挖掘算法不仅可以使数据挖掘的结果更加准确，也可以提高数据挖掘的效率。本系统主要用到的算法是该模块利用数据挖掘算法对数据进行挖掘，主要包括算法的优化、日志数据表的删除操作以及挖掘结果集的保存与删除操作等。这里主要用到的算法是K-Means算法。主要是利用该算法发现最相似的客户聚类，通过对聚类的分析来得出网店众多的顾客一般的购买行为模式，从而可以适当地调整网站营销的策略中的来提高网络营销的效果，进而增加销售量。
3、小结
