大数据分析论文

引言：易发表网凭借丰富的文秘实践，为您精心挑选了一篇大数据分析论文范例。如需获取更多原创内容，可随时联系我们的客服老师。

大数据分析论文:基于Hadoop大数据分析在电力信息系统的应用

【摘要】随着电力信息化的不断发展以及信息化可靠性要求的不断提升，系统运行维护压力越来越大，加之信息化数据分析对电力系统发展的指导意义越发重要，对信息数据的分析亟待提高。针对电力SG-186系统运维现状，提出一套基于Hadoop架构的大数据分析解决方案，旨在实现对系统运行日志进行多元化分析，一方面发现后台潜在系统运行风险，一方面给企业提供各类实时可视的数据，给企业发展提供强有力的数据支撑。

【关键词】SG-186;Hadoop;大数据分析

引言

在电网智能化、信息化飞速发展的今天，以SG-186为核心的数百个各类系统已经渗入电力生产、经营、管理等各个角落。系统运行的可靠性直接影响电力可靠性及公司的社会形象，系统的各类数据也都直接反映了公司经营业绩及发展现状。信息系统后台日志数据规模急速增大，传统的单机式数据库模式在各类系统复杂的数据分析诊断中已经越显乏力，本文运用Hadoop平台及相关技术，提供了一款基于Hadoop的大数据分析解决方案。通过在服务器上的运作，可以对大规模日志进行分析，并自动生成图表进行展示，从而可以非常直观的观察各项用户数据。

1.技术背景

Hadoop是一个高效的、非常可靠的并且可扩展性很强的的分布式软件开发框架，它的优势在于能在相对较短的时间内接受并且完成大量的数据处理任务。运用Hadoop框架进行开发，开发者可以通过自己开发编写的Map/Reduce来进行大数据分析处理。通过更改相应的配置文件，数个甚至更多的副本数据可以通过Hadoop保存下来，这样的设计可以使得Hadoop更加的可靠。因为即使某一个集群中的Hadoop节点出错，其也可以通过HDFS，即数据块副本来完成数据处理任务。因为Hadoop框架可以在非常宽泛的范围内进行扩展，所以其可以处理海量的数据，其数据规模普遍可以达到TB的数量级，在某些情况下还可以突破PB的数量级。Hadoop进行数据处理的时候，其运行速度是非常迅速的，并且在处理过程中，开发者可以不用了解或研究其系统底层的实现过程就可以完成发任务。

Hadoop的相关系统：Hadoop分布式系统（HDFS）包含了许多元素，文件系统存储在群集节点上的文件。HDFS上层的Map/Reduce程序框架引擎，包含了工作跟踪和任务的跟踪。

2.大数据分析解决方案

2.1 系统日志数据预处理

确定了系统对数据的需求之后，就可以对日志进行预处理了。通过对用户日志的UID访问，获取每个日志的基本数据。然后逐个读取各项数据，分别确认是否属于系统所需的日志数据类型。如果是，则保留在系统平台内;如果不是，则删除其数据。为了获取用户的各种信息，我们需要对用户访问系统所遗留下来的日志进行严格的分析。其中，非常关键的问题在于，在运用本文所设计的基于Hadoop的海量数据分析系统对日志进行分析之前，尽可能的对日志进行简化，即去除一些无关紧要的数据部分，是对整个系统的运行效率有着重大提升的意义的。

因此，在将日志导入系统进行分析之前，我们需要对日志进行预处理。预处理有两个目的：一是去掉日志中部分系统不关心的数据;二是统一日志格式，在用户访问的过程中，其生成的格式有可能会因为其来源渠道等因素的不同导致日志整体架构不一致，如果不统一日志的格式，直接导入系统进行处理，那么将会有大量的系统资源被浪费在无用的处理过程中。

2.2 生成最小粒度数据的实现

根据从日志的预处理之后得到的新日志文件数据，系统将对海量的数据进行逐个肢解的过程，并将其按维度划分最细分粒度及流转最细粒度，生成最细分粒度数据。此步骤的难度在于，日志数据极为庞大，单个日志要划分成十数个乃至数十个的小数据，其数量就更为庞大。如何存储这些最细分粒度数据，以便系统后用成了最重要也是最难的问题。

在这个步骤中，系统将用Hadoop平台的Apache Pig来实现这一过程。Apache Pig是一个用于分析大型数据集的平台，包括一个高层次的语言表达数据分析程序来评估这些方案以及基础数据处理。Pig的突出特性是它们的结构是适合进行大量的并行轮流处理，使他们能够处理非常大的数据集。目前，Pig的基础设施层由编译器产生的Map-Reduce计划，大规模并行实现已经存在于序列中。

首先，将后台用户日志导入系统。系统将对海量数据进行逐个肢解的过程，并将其按维度划分最细分粒度及流转最细粒度，形成最细分粒度数据，然后存放在Hive中。

在这个过程中，难点在于日志的数量大，通常是数百GB。因此，在此部分，系统将运用Apache Pig来实现对系统原始日志及特征表的肢解，使其生成最细分粒度数据，并将其导入Hive中存放。

首先系统将注册各种UDF，以便 展整个系统流程。然后导入系统后台所存储的用户访问电商网站服务器所留下来的日志数据，主要是访问日志，其次是访问特征码，特征码对于页面流转的统计分析是非常重要的。

然后系统将要逐个地清理原始日志，主要是排除垃圾信息和不完整信息，因为在曰志存储的过程中，不可避免的会收到一些或有意或无意的垃圾信息的攻击，这一部分需要提前剔除，以免工作量太大。

2.3 数据分析及报表的实现

在得到各个数据类型的Hive表之后，系统需要通过Apache Hive来汇总所需细分粒度数据。汇总的方式可以由用户自行设定，可以将任意两种乃至数种上文中所提到的Hive表进行组合汇总，形成新的Hive表。在此步骤中，被划分成最细分粒度的数据己经存放于Hive中。所以，系统将运用Apache Hive来将所有最细分粒度数据汇总，使其成为各个项目单独的汇总表文件。从最细粒度的数据统计，现在就有了两个乃至多个Hive表均包含其数据内容。当系统收到上一个步骤所分析统计得出的Hive表时，其将通过调用Apache Hive的各个接口，使其接收到Hive表中的内容，并且通过用户事先设定好的数据类型汇总方式，将各个Hive表中的数据先逐个读取，再将其输入存放到新的Hive表中。

系统在此部分将通过Hadoop平台所提供的接口建立到数据库的链接，然后在对上一节中所生成的各项Hive表实施遍历，逐行逐词的读出数据表中的每一项数据，将其存入Mysql中，然后提供一个前端可用的接口，以方便各种前端客户连接至Mysql，将数据资料读出并做成可直观阅读和分析的系统报表。

在数据存入Mysql之后，系统可以根据衔接的前端程序的不同，生成各类不同样式的图表，可以包括系统到目前为止，储存在数据库中的全部或者部分数据，供网站分析人员观察与分析。

3.结论

目前电力行业信息发展所面临的问题是本论文的重点。首先介绍了选题的背景和意义，然后逐步引入Hadoop技术，特别是在HDFS文件系统方面的，Map/Reduce框架，Hive数据仓库框架介绍的原理和使用，以及作为如何使用Hadoop数据处理，来解决这个问题的。然后，本文介绍了如何充分利用Hadoop的配置设备，以及内置的数据仓库框架，以实现统计的需求，并生成直观的图表显示。

因为Hadoop运作过程并非自动化的工作形式，可以研究关于这个项目的代码固化下来的可能性，以达到完成自动化功能的目的，仅需要用户简单地输入特定需求的参数，后台任务运行这些数据使用Hadoop来进行数据处理，所以面对数据的处理需求，并不需要手动启动脚本来运行任务。

大数据分析论文:试论工业制造中的大数据分析

（长城汽车股份有限公司天津哈弗分公司 300462）

摘 要：工业制造的大数据分析对企业的生产具有十分重要的作用， 通过大数据分析，企业能够准确的发现企业生产中存在的问题， 结合工业制造企业中大数据面临的挑战与应用技术， 并对工业制造企业生产中大数据的来源途径进行分析， 探究了工业制造大数据的应用价值。

关键词：工业制造； 大数据； 应用价值

工业大数据在工业生产中具有十分重要的作用， 它是以工业制造过程和工业产品的数据为主体，通过对这些数据的分析， 获取工业生产中的具体数据，进而能够有效的对工业制造工程进行分析与控制。 工业大数据的来源主要是产品生产周期过程中的各个环节， 例如产品的设计、生产制造、销售、售后服务、回收利用等环节的数据。同样， 工业大数据的获得， 还可以从企业的外部销售与生产市场、企业之间的“跨界”供应链中获取。

一、工业制造大数据面临的挑战与技术

工业大数据在企业生产中具有十分广泛的用途， 但是由于企业缺乏必要的数据分析工具，还不能够从大数据中获取十分有益的信息， 造成大数据在企业生产中还没有得到充分的应用， 没有将大数据中潜藏的信息运用到企业的生产决策中。

1、多源异构工业数据集成与数据融合技术

由于工业大数据搜集是需要多源异构数据集成， 在数据分析时需要解决以下的问题：首先，要能够准确的对数据进行收集， 保证数据集成的质量，为企业的决策提供准确的数据支持服务。 数据质量在数据集中过程中出现失误的原因是多样的，可能是手工操作失误造成的， 也可能是数据集成过程中采用算法模式失误而造成的， 还有可能是在数据采集的过程中， 出现网络不稳定或者任务中断而导致数据质量不高。 其次，就是要及时对产品生产的各个环节产生的数据进行集成。 在生产的过程中， 不能及时对生产的可用实时数据与当前生产资源资料的数据进行分析， 就不能有效的对下一个生产过程提供有效的材料、原料的支持。 但是，由于现有的数据技术不多，数据的来源不统一，在工业大数据的企业中， 不能兼顾不同类型的海量数据，不能满足实时性要求， 对工业大数据的应用带来了很大的挑战。

2、支持实时建模的大容量数据处理技术

（1）在以往的数据处理中一般采用MapReduce技术对大数据进行批量处理， 这样处理的数据实时性不强，不能有效的运用于工业制造决策中， 不能满足大数据分析的实时建模需求。

（2）现有的大数据分析框架主要是基于简单的数据查询， 对大数据的分析能力与深度不够， 既不能满足工业多层面不规则的大数据采样与分析， 也不能实现多时空时间序列数据复杂建模的需求。 由于工业制造的决策分析的影响数据比较多， 现有的数据分析技术不能将市场数据、服务数据、 质量控制数据、营销数据结合在一起进行分析， 即使能够分析，相应的难度也比较大。

3、大数据给工业制造信息安全带来新挑战

（1）大稻菁哟笠私泄露风险的挑战

大量工业制造的数据集中存储往往会给企业的安全信息增加泄露的风险， 而且在企业生产的过程中，往往还会有一些敏感数据的所有权和使用权难以给予明确的界定。

（2）对现有存储和安防措施提出挑战

大量的工业数据存储在一起，这样就会存在多种格式不同、类型不同的数据共存的情况， 就会造成企业的数据存储不符合安全管理的需求， 造成企业的数据管理存在安全的漏洞。

（3）大数据技术被误用带来的挑战

大数据的应用为黑客提供了更多的数据分析机会，使得黑客的攻击更加精确，为企业的工业生产带来了更大的潜在危险。

二、工业大数据的分析途径

1、利用开放技术与平台，实现数据的任意移动

在工业制造中，系统的管理平台是一个系统化的工作， 而不仅仅是一套操作软件与管理系统，更多的是项目执行和服务的平台。在实际工作中，能够体现企业生产的过程与挖掘企业生产过程中的数据， 保证数据能够在不同的服务器与管理软件上移动。 因此，在企业的系统应用平台中，要详细的对系统架构进行设计， 将系统的数据集成能力、实施能力、数据挖掘能力等融合在一起， 并能够与物联网结合在一起，实现“软件+云服务”的工业大数据应用管理平台。 在工作制造的大数据分析过程中，需要将物联网与“互联网+”的应用结合在一起， 通过物联网的及时响应， 能够将客户、企业中工作的软硬件定期巡检、易耗品、设备的功能等数据进行分析， 进而能够有效的确定工业生产过程中的供应链上各个企业的合作关系，为客户提供持续性的有价值的数据服务。

2、完善工业企业管理系统的功能，强化处理结构性和非结构性数据的数据模型

完善工业制造企业的系统管理平台，将数据处理的功能集成在一起， 实现制造管理系统的MOM与ERP、EAM 等有机的聚合，实现数据的集成，能够将企业的信息推送、系统工作流的集成、应用数据的控制与管理有机的集成在一起， 完善数据处理的模型，实现对工业制造企业的结构性数据与非结构性数据的处理。 由于工业制造企业各个管理系统之间的主数据不统一，不同系统之间的数据交换就需要依赖各系统间的总线进行数据交互， 就需要整合各个系统之间的数据业务流程、工作流、服务流程等， 才能有效的实现工业大数据的集成，对工业制造企业的管理者来说，通过一键登录之后，通过系统的个性化定制页面，就能够了解与查看经过大数据集成后的数据。

3、利用智能工具对工业大数据进行分析

在工业制造企业可以采用时间序列、图像、视频、机器学习等智能分析工具， 来建立工业生产的数据模型，模拟与控制工业生产的过程， 进而与工业大数据平台结合在一起， 这样就能够有效的对工业企业生产中的情况进行分析， 并可与物联网、感应器、互联网等连接在一起， 然后与企业的管理应用软件结合在一起，对企业生产的大数据进行分析。

三、工业大数据的应用价值

随着“互联网+”的思维与工业制造业的融合，创新了工业生产中的数据分析， 同时也能够将企业生产中的所有数据聚合在一起， 这为工业大数据的集成提供了便利， 同时也使得工业大数据的集成成为企业数据应用的核心。 以工业数据的采集与解析、分析和可视化以及数据的安全管理成为未来企业数据的关键技术， 随着信息在企业生产中的应用不断加深， 企业生产的数据不再以企业的内部数据为主，同时还要将外部的市场数据融合在一起，随着智能制造的应用越来越广， 企业需要重新审视工业大数据在生产中的作用，同时企业也会重视大数据的价值， 对企业的制造产品进行创新，并能够对企业的生产进行监视与预警管理，同时还能实时的对生产设备故障进行诊断与维护，优化企业生产的供应链管理， 提升工业企业的生产效率。 在企业生产过程中利用大数据分析， 可以有效的对企业生产的仓储、产品的配送、销售等进行优化管理， 降低企业的成本，并能够提高企业的销售效率。

四、结束语

工业大数据在企业生产中具有十分重要的作用， 它的价值产生方式主要是通过集成企业在生产过程中产生的数据， 并对企业生产的供应链、销售的整个数据进行收集与集成，在通过数据分析之后， 能够为企业的生产提供决策支持，进而能够有效的提高企业的生产效率与产品质量等，满足用户的需求，扩大企业的影响力。

大数据分析论文:基于大数据分析的数码产品价格预测网站设计

摘要：在当前大数据火热的背景下，研究者都在思考如何应用大数据解决实际问题。文章在理解大数据思维下，设计了以数码产品价格预测、产品基本搜索功能和产品详情模块为主要功能的数码产品价格预测网站，其中重点介绍了如何实现数码产品价格预测功能。该功能的实现主要是利用分布式网络爬虫技术获取各大知名网站的数码产品价格，并利用模型对数码产品的价格走势进行预测。

关键词：价格预测；分布式网络爬虫；数码产品网站；大数据；数学建模

1概述

据《中国互联网络发展状况统计报告》显示，截至2016年6月，我国网络购物用户规模达到4.48亿，可见通过网上获取信息的人很多。在互联网+和大数据时代下，IT行业逐步成为人们热议的焦点，其发展也得到愈来愈多的人关注。而目前国内的IT类资讯网站大多没有预测产品价格这个功能，本文将着重研究价格预测的实现功能的实现。

2网站设计与开发的可行性与适应性分析

2.1从技术角度看

开发一个基于大数据的分析的数码产品价格预测网站需要大量的数据做支撑，这些数据可以通过各大电商平台进行获取。各大电商平台往往会将这些数据按照一定的格式展现在网站上，我们可以通过分布式数据爬虫技术将这些数据实时采集。数据爬虫是一种非常流行的数据采集程序，目前互联网上拥有大量的爬虫框架供我们使用，我们只需编写简单的代码便可以开始获取数据。当拥有海量数据后我们可以对各个商品进行建模，基于hadoop框架进行分布式运算，设计相关预测算法对数码产品价格进行分析并预测出价格的未来走势。

2.2从资源角度看

对于数码产品，互联网可以提供各种各样的信息，比如各大手机生产企业会在他们的网站上数码产品的配置信息、评测信息等。在网站建立的初期我们可以从这些网站获取大量的数据来填充我们的数据库。对于部分具有版权的数据，我们将采用外链的方式将原网站提供给用户浏览，这样可以节约开发资源，并让网站专注于价格预测的实现。

2.3从商业价值角度看

一个可以有效预测价格变化的网站是比较有市场前景的，目前互联网上充斥着各种各样的历史价格查看网站，但是大多没有可以对价格进行预测的网站。如果我们可以成功的预测价格走势，我们就可以引导消费，帮助消费者省钱，这也便是网站最大的商业价值。

3网站概述

网站以用户需求为出发点，利用网络爬虫、PHP、HTML5、JAVASCRIPT、MYSQL等技术设计开发。在网站里可以查询到参数、评测、价格和图片等关于数码产品的详细信息。网站的功能包括数码产品价格预测（预测到某款数码产品在未来一段时间内的价格）、信息查询（含有数码产品名称、各项参数、各角度拍摄图片等信息）、价格对比（及参数对比、图片对比和综合对比）等，目的是为人们提供一个简单易操作、具有现实意义的数码产品信息查询平台。网站技术框架如下图所示：

4网站设计

4.1网站主要功能设计

4.1.1产品价格预测模块设计

产品降价预测模块是网站的重点功能。用户可以通过网站查询某个产品的基本信息，并且能够得知该产品的历史价格走势和该产品在未来一段时间的价格走势，这对于比较注重价格的用户来说，便可以综合各类信息和自身需求，更加理性和有计划地选择性价比较高的产品。

网站利用分布式爬虫采集互联网各大平台的IT产品价格数据，形成一个较全面的价格走势图，再通过对产品价格进行建模，从建模结果中得到IT产品在未来一段时间的价格走势。需要说明的是，因为价格容易受到社会、经济条件以及国际等多种因素的影响，所以预测的价格走势会有一定的波动。另外，对于不同时期的价格预测也不同，短期内影响因素主要是数码产品的市场供应，一般采用指数平滑法。这种方法预测主要是靠历史价格数据逐步往后推导预测价格。对于较长时间，则采用二次指数平滑法较好，因为对于一些时间序列变化可能存在线性的趋势，这种方法的好处在于能减少预测值的滞后性。如果数据的变化受季节影响，预测方法应当采用温特线性季节性指数平滑较好，因为这个预测方法是根据季节的变化来进行价格预测，这样预测的价格更为准确。

4.1.2产品基本搜索功能设计

产品的搜索功能也是网站的基本功能之一。产品的搜索功能不仅仅只是简单的产品搜索，它是一个包括商品搜索、查看热门产品、查看最新产品、今日推荐等多模块组合成的一个大模块。用户通过这些搜索信息并结合自己需求，可以理性谨慎地对产品进行对比选购。换言之，产品搜索模块将完成对商品的导购功能。

4.1.3产品详情模块设计

产品详情页面包括很多内容，其子页面也非常多。其中包括：概览页面、具体参数页面、报价页面、点评页面、图片页面以及竞品对比页面等等，每一个页面的功能都不同，设计时将合理安排功能的布局，以方便用户获取自己所需要的资料。

4.2价格的采集与预测

4.2.1分布式网络爬虫

实现价格预测的前提是有大量的历史价格数据，所以W站利用分布式网络爬虫技术从各大网站采集数据，爬虫主要由两个模块组成：

爬虫引擎：分布式运行且完成下载网站页面内容，并将数据存入数据库的工作。

数据清洗：将下载下来的价格信息进行清洗处理，剔除无效信息和冗余信息。

分布式爬虫技术实现需要对于特定的网页编写用于分析其网站源码和获取信息的脚本代码，数据或许后再通过数据清洗去除掉不必要的数据信息，最后把需要的数据存放到数据库中保存。

4.2.2预测价格

在比较多种预测方法后，我们发现时间序列法较适合预测数码产品的价格。时间序列即是某些序列按照时间的先后顺序排列而成的一种特殊序列。若利用这组数列，应用数理统计方法加以处理，以解决实际问题，则称为时间序列分析法。时间序列分析是以时间序列为研究对象，分析序列的本质波动，探究其真实规律的一种定量分析法。在实际中，通常被用于预测未来现象或指标的波动情况。由于数据量庞大、涉及的商品较多，为了提高计算速度，预测模型需要构架在Hadoop等分布式平台之上。

5网站的开发

5.1数据爬虫程序

开发一个数据爬虫，需要用到scrapy框架，该框架是基于python语言编写的，用python语言开发程序最大的特点那就是简单易读。Scrapy框架非常的简单易用只需编写爬虫规则就可以开始高效获取数据，并且该框架是可分布式运行，速度可控，支持JavaScript，非常适合用来采集各大网站的数码产品数据，最重要的是该框架是免费而且开源的，故运用scrapy框架进行开发满足网站需要的爬虫系统。

5.2价格数据分析系统

对于海量的数据传统程序没办法很好的处理，传统的win-dows系统也很难有效的承载。故我们选用hadoop生态体系进行数据分析，该程序可以高可靠的运行在多台电脑上。为了程序可以长期稳定地运行，我们选择在linux上进行数据分析，这样的好处是系统稳定性强，硬件资源可以高效利用。

5.3网站搭建

和大多数网站一样，本网站采用BS（Browser/Server）架构，该架构具备以下几个特点：客户端电脑负荷大大简化、系统维护和升级成本低、同时也降低了用户的总体成本。

我们运用HTML、CSS、JavaScript开发网站前台页面，用PHP开发网站后台，MySQL作为后台数据库。网站运行在Linux系统下的Apache软件下，网站的所有软件均为免费软件，实现成本较低，也符合当下流行趋势。

6结束语

本网站是在大数据背景下建立的数码产品价格预测网站，着重在实现产品价格预测功能、提供报价资讯等内容。网站依托互联网数据建立，以满足消费者对价格预测和导购需求，未来还将继续完善研究工作，通过大数据分析提供个性化产品推荐、提供对数码生产企业的大数据服务、提供对消费者的购买预测功能。

大数据分析论文:大数据分析方法及应用初探

摘 要：大数据在很多的行业和企业得到了应用，对大数据的研究和分析也受到了很多的学者的青睐。大量非结构化流式数据已成为大数据时代的主要数据形态，这给传统的数据处理系统架构带来非常大的挑战，必将使大数据处理系统渐渐由流程设计转变为数据设计。为此，该文主要从大数据分析的方法理论入手，对现今各行各业即将运用的大数据处理方法进行研究，总结出一种较适用的大数据分析方法及其应用，以供行业和企业在未来的业务活动中作参考。

关键词：预测分析 大数据处理 大数据应用 数据挖掘

随着云计算、大数据、物联网和移动互联网等新一代信息技术的发展，传统企业级IT架构正在朝基于互联网的分布式新架构转型。大数据作为新一代信息技术的核心，正在使各个领域变得越来越可感知，并走向智能化。大数据将会发挥自身独特的优势，带给我们更多的方便和便捷。大数据分析的方法理论有哪些、在行业、企业的活动中有哪些应用。

1 大数据分析的五个基本要素

1.1 大数据预测性分析

大数据技术的主要应用是预测性分析，如在线教学资源网站通过数据分析用户会对推荐的教学模是否感兴趣，保险公司通过数据预测被保险人是否会违规，地震监测部门通过对大数据的分析，预测某地点发生地震的大致时间，气象部门利用数据预测天气变化等。预测是人类本能的一部分，通过大数据预测人类才可以获得有意义的、智能的信息。许许多多的行业应用都会涉及到大数据，大数据的丰富特征表述了快速增长的存储数据的复杂性。大数据预测分析打破了数据预测一直是象牙塔里数据科学家和统计学家的工作，伴随着大数据的出现，并融合到现有的MIS、MRPII、DSS 、CIMS和其他核心业务系统，大数据预测分析将起到越来越重要的作用。

1.2 数据管理和数据质量

大数据分析跟数据质量和数据管理紧密相关，而质量高的数据和有效的数据管理可以使分析结果有价值、真实并得到有力的保证。

1.3 可视化分析

普通用户和大数据分析专家是大数据分析的直接使用者，因此他们对大数据分析的基本要求就是要可视化，因为他们想通过可视化分析获得可观的大数据特征，让用户直观看到结果。

提高解释信息的能力可以通过数据的可视化展示来实现，而可视化展示主要由图形和图表来呈现。要从大量的数据和信息中找寻相关性非常的不容易，而图形或图表能够在短时间内展示数据之间的相关信息，并为用户提供所需的信息。

1.4 语义引擎

语义引擎是把现有的数据标注语义，其实可以把它理解为结构化或者非结构化的数据集上的一个语义叠迭层。它是数据分析及语义技术最直接的应用，好的语义引擎能够使大数据分析用户快而准地获得比较全面的数据。

数据分析的新挑战及困难主要表现在非结构化数据与异构数据等的多样性，必须配合大量的工具去分析、解析、提取数据。语义引擎的设计可以达到能够从文档中自动提取有用信息，使语义引擎能挖掘出大数据的特征，在此基础上科学建模和输入新的数据，来预测未来的可用数据。

1.5 数据挖掘算法

大数据分析的理论核心就是数据挖掘。各种数据的算法基于不同的数据类型和格式，能更加科学地呈现出数据本身的特点，能更快速地处理大数据。如果采用一个算法需要花好几年才能得出结论，那大数据价值也就无从f起了。可视化是给人看的，数据挖掘是给机器看的。集群、分割、孤立点分析还有其他的算法可以使我们深入挖掘数据内部的价值，并且这些算法能够处理大数据的数据量，也可以满足处理大数据的效率要求。

2 大数据处理方法

大数据处理技术在社会的发展中占有重要的地位，现在有很多的研究者对大数据处理技术进行研究，将大数据处理技术与交互设计结合，让交叉科学得到发展，计算机技术的进步，让交叉技术被广泛应用，并引起了很多人的重视，例如：计算机技术可以在艺术中被应用，进行色彩搭配，还可以将计算机技术应用到垃圾分类里，这些都是研究人员对计算机和交叉设计的结合。这种结合让设计学与计算机技术紧急的结合在一起，将传统的调研方式和测试方式应用到交叉科学领域，这种方法的研究可以为用户调研和测试方法提供依据，能够减少人工的成本。大数据处理方法其实有很多，笔者根据长时间的实践，总结了几种基本的大数据处理方法，如非结构数据处理法、自然语言处理法等，该文主要介绍非结构数据处理流程涉及到的主要方法和技术。非结构化数据处理流程主要以网页处理为例来阐述，包括3个阶段，分别是信息采集、网页预处理和网页分类。

2.1 信息采集

信息采集主要是根据相关主题由固定的专业人士来完成，其采集的数据只能用于所针对的主题和相关的模块，出于对效率和成本的考虑完全不必对整个互联网进行遍历，因此，模块信息采集时往往需要研究以哪种方式预测链接指向的页面与主题的关联性，并测算其是否值得访问；然后研究以哪种相关策略访问Web，以在采集到主题相关页面的同时，尽可能地减少采集到主题无关的页面。

预先设定好种子链接是信息采集的基本方法，充分使用HTTP协议下载被访问的页面，运用分析算法对页面与主题的相关性进行分析，然后确定待访问的相关链接，预测可能指向主题相关页面的链接，最后循环迭代地运用不同的相关策略访问网页。

2.2 网页预处理

网页预处理最主要涉及到网页去重处理，网页去重可以归为两类：一类是基于URL的对比去重，它适用哈希算法；另一类是基于内容的对比去重，它适用基于信息指纹的文本相似度算法。

网页去重是先抽取文档对象的特征，再对文档内容进行分解，将文档的特征集合表示出来，然后有目的针对特征集合的压缩编码，通过将哈希编码等文本转为数字串映射方式，为后续的特征存储以及特征比较提供方便，这样可以起到减少存储空间，提高比较速度的作用，最后就是计算文档的相似度，此步需要根据文档特征重复比例来确定文档内容是否重复。一般是提取网页的某一个信息特征，通常是一组关键词，或者是关键词加权重的组合，调用相应的算法，转换为一组关键代码，也被称为指纹，若两个页面有大数量的相似指纹，那么可以预测这两个页面内容具有很高的重复性。

2.3 网页分类

网络时代，人类所面临的一个非常重要且具有普遍意义的问题就是网页分类。将网络信息正确分类，方便人们更好地使用网络资源，使杂乱无章的网络环境变得有条理。而网页分类一般是先对网页中的文本素材进行分类，通常采用文本分类来完成。文本分类主要应用于电子邮件分类、信息过滤、文献翻译、数据检索等任务，文本分类的一个关键问题是特征词的选择问题及其权重分配。

在搜索引擎中，文本分类主要有以下用途：相关性排序会根据不同的网页类型做相应的排序规则；根据网页是索引页面还是信息页面，下载调度时会做不同的调度策略；在做页面信息抽取的时候，会根据页面分类的结果做不同的抽取策略；在做检索意图识别的时候，会根据用户所点击的URL所属的类别来推断检索串的类别等。

网页分类方法有SVM分方法和朴素贝叶斯方法，其中比较推荐的是支持向量机分类方法（SVM），该算法主要基于统计学理论及线性分类器准则之上，从线性可分入手，再扩展到线性不可分的情况。甚至有时会扩展到使用非线性函数中去，这种分类器统称为支持向量机。近年来，支持向量机分类方法越来越多的受到网页分类技术人员的青睐。

3 大数据分析在行业活动中的应用

非结构数据处理和数据挖掘的应用范围较广，它可能应用于运营商、银行、传统企业和电商，挑选几个具有代表性的案例与大家分享。

3.1 电信行业

某城市电信运营商的上网日志分析系统，该系统通过收集用户上网日志历史记录数据，分析出每个用户的偏好。首先该系统通过并行统计出每个人有效历史上网日志URL；然后从日志URL中抓取网页内容，提取正文，并通过文本分类算法计算分类；最后通过统计出每个用户上网关注类别总数，分析出每个用户的偏好。

3.2 地产行业

某房地产企业的社会化品牌实时营销系统，该系统通过社交媒体数据，进行网络口碑监测，负面情绪被及时地发现并制止；通过与客户进行互动，争取客户忠诚度；通过监控同行及竞争对手的各方面资讯，量化评估竞争态势；快速提升品牌知晓度和美誉度，将媒体影响力转换为客户量，缩短人气聚集周期。

3.3 证券行业

某证券商战略信息监测通过历史回顾与信息摘要，提供题目、摘要、原文URL，今日舆情焦点，今日舆论，展示抓取的所有期货产品相关信息的缩略，并提供全文链接。通过热点事件列表可以看到历史相似事件对趋势的影响，通过天气指数与趋势对应曲线可以看到历史相似天气与历史趋势的对照。

3.4 金融行业

某大型股份制商业银行供应商风险评估系统，该系统通过抓取供应商内部数据，如企业年报、公司变动、领导情况、财务状况等数据，分析公司运营指数；通过计算各供应商社交数据，对其社会影响力做评估；通过同行之间的数据分析对比，对供应商进行实力评估，这些数据指数可以有效协助商业银行进行供应商风险评估。

4 结语

大数据处理数据的基本理念是用全体代替抽样，用效率代替绝对精确，用相关代替因果。证券、微商、地产等行业每天都会产生巨大的数据量，大数据分析与处理已成为大数据技术的最重要的应用，通过大数据技术从海量数据中提取、挖掘对业务发展有价值的、潜在的信息，找出产品或服务未来发展趋势，为决策者提供有力依据，有益于推动企业内部的科学化、信息化管理。

大数据分析论文:大数据分析在移动通信网络优化中的应用

摘 要随着网络信息化的快速发展，我国手机移动用户的数量呈直线上升趋势，用户的增加对移动通信网络的建设起到了推进作用，传统的网络优化方式已不适应新时展的需要，因此大数据分析技术的发展满足了现代移动通信网络优化的要求，充分提高了工作效率，本文针对目前移动通信网络优化的现状进行研究与分析，将大数据分析技术合理的运用到移动通信移动网络优化中去，促进移动通信企业的发展。

【关键词】大数据分析 移动通信 网络优化 应用研究

为了使移动通信技术满足时展的需要，4G通信技术的发展，给人们带来了更好了通信体验，同时也对移动通信网络优化服务提出了更大的挑战，数字化和网络的快速发展，促进了大数据分析能力的提升，但如何发挥发数据分析技术在移动网络化中的作用是目前最需要解决的问题。

1 移动通信网络优化现状

现阶段，我国移动通信技术取得了一定的成就，但在移动通信网络优化方面还存在很多问题，目前，提高移动通信网络优化的方法有两种，一种是人工优化，即提高网络技术人员的技术水平，另一种是对通信软件进行优化升级，主要的软件工具是设备厂商OMC系统工具、第三方工具和软件、频率优化软件等。第一种是通过收集数据信息，来分析通信网络信号和命令的分析软件，第二种是移动供应商的系统软件，使通信网络的稳定性和性能得到保证，第三种是调整无线网络的频率、参数、邻区等，因为第三方软件和OMC软件存在不兼容的情况，给移动通信网络的优化工作带来了很大的麻烦。

2 大数据分析技术对移动通信网络优化的影响

大数据分析技术移动通信网络优化的影响是有利有弊的，一方面大数据分析技术可以有效解决数据量的问题，对数据进行很好的归类和分析，而另一方面，加大了故障分析的难度。移动通信网络优化就是对用户通话状态的收集和分析，达到排除故障、提升用户使用感知的目的。

大数据时代的到来，使人们可以更加自由的使用网络，这对移动通信网络的技术、承载力有着更高的要求，移动通信技术经历了从2G到4G的发展历程，目前正在进行5G通信技术的研究，移动用户在使用通信业务时，天气、地区等因素都会对通信质量造成影响，因此，在通信的稳定性和抗干扰能力上需要技术的革新，合理使用大数据分析技术，可以有效发挥对移动通信网络的优化作用。

3 大数据分析在移动通信网络优化中的应用

3.1 移动通信用户管理优化

移动通信用户的数量在不断变化，对用户的数据也要不断的更新，在处理与保存方面都存在很大的困难，大数据分析技术的应用可以根据各个移动用户的传输状态实时记录，方便了对移动通信用户的管理，以及对通信网络稳定性的调查和分析。

3.2 移动通信用户计费管理优化

随着移动通信用户使用量的增加，出现了消费套餐类型以及消费信息等巨量数据，传统通信网络优化手段不能及时的进行分类处理，工作效率比较低，而大数据技术的应用，可以快速的对数据进行分析、归类，使移动通信管理人员可以很好的掌握通信用户的使用规律，从而对数据信息进行归纳、分析，发掘信息的潜在价值，发现潜在商机，更好的开拓通信市场。

3.3 移动通信用户行为管理优化

用户对网络的使用具有很强的不确定性，包括对应用软件的使用频率，业务使用类型以及上网喜好等很难把握，这会使移动通信商在对软件设计时的定位方向出现偏差，花费巨资开发的软件没有人使用，这种结果会使移动通信商受到严重的经济损失，但如果通过对用户的上网流量信令、数据等进行挖掘和整合分析，可以发现其中共性和特点，方便以后软件的开发和业务的开展。

3.4 自动网络参数调整

当移动通信网络数据优化系统有了辅助决策功能后，这样的分析结果是很准确的，也经过了多次实验的考验，在这种条件下还可以对优化工具做进一步改善，我们将可进一步优化的软件作用于OMC系统上，通过OMC可以直接调整网络系统参数，方便了用户的同时也为用户提供了稳定的通信质量。

3.5 网络问题智能分析

通过采集关键节点信令并核查MR报告、告警日志、参数配置文件等数据，对异常Cause进行统计分析查找问题原因。针对不同原因制定具体的自优化方案。从故障告警、参数设置、用户终端、核心网等多个维度输出优化方案。

4 大数据分析在移动通信网络优化中的问题及对策

4.1 数据爆炸

随着大数据时代的到来，移动通信数据也将面临着数据爆炸这个问题，移动通信用户在增加、通信业务在增加以及数据量都在快速增加，在数据处理方面存在很大的问题。

对此，需要移动供应商有良好的技术人员管理体制，对数据及时进行归纳、分析，同时要引进先进的技术和理念，完成数据分析工作。

4.2 资金短缺

随着数据量的不断增加，对移动通信网络的质量存在很大的挑战，对此，移动供应商需要不断建设基站、更新设备等，建设周期长、资金量需求大等问题使供应商投入的资金不满足发展的需要。

对此，需要移动运营商基于大数据分析，对网络结构、各个节点业务瓶颈等进行分析，并实施优化调整，保证投资的效益最大化。

4.3 安全问题

数据量的不断提高，使数据的存储成了问题，一旦系统出现漏洞，对数据的安全性造成了严重的威胁，导致很多工作无法正常运行，加大了移动通信公司的损失程度。

要求维修技术人员定期对数据系统进行维护处理，保证系统的安全性和数据分析技术的正常运作。

5 结束语

目前，大数据分析技术已广泛应用在移动通信的各个工作当中，移动通信网络也依赖于大数据技术的发展，为移动通信公司提供了专业的数据分析技术，同时也保证了通信质量的提高。

大数据分析论文:音乐院校图书馆数字资源大数据分析初探

【摘要】大数据背景下，音乐院校图书馆运用网络媒体信息及购买或自建各种类型数字资源，将纸质资源与网络技术有机结合，进一步挖掘自身资源，提升读者服务。笔者通过大数据原理对几大音乐学院图书馆网站3年来网页信息及数字资源的运行进行分析，并将分析结果归纳、去繁就简，充分利用大数据这种新兴方式为其数字资源的利用提供可行性建议。

【关键词】大数据；音乐院校；数字资源

高校图书馆是教学、科研的信息中心，进入信息化时代后，由传统的手工服务步入了通过计算机网络的自动化服务阶段，网络信息系统及数字资源也日趋成熟稳定。如今普通院校图书馆网络已经由VPN技术服务上升到“云舟服务”，而音乐院校图书馆也积极发展网络信息及电子数据资源。在信息“大数据”的背景下，如果只关注信息的及单一的信息输出，不进行数据分析，就会导致网络平台及数字资源的运行和跟进服务欠缺，出现优越性不能持久、缺陷无限延伸的情况，如此就会削弱本身的“教学辅助功能”。

一、大数据调查列表

大数据，或称巨量资料，具有Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）4大特点。笔者于2016年4月通过登录官方网站的方式对全国九大音乐院校图书馆2013―2015年间网络服务系统进行了全面的数据采集，由于有的院校未设定“访问量”单元数据对本文无意义，所以只能放弃。现仅以西安音乐学院图书馆为主，其它音乐学院图书馆为辅，对三年来网络系统的运行情况进行大数据方式的统计、分析，剖析、提出问题，探究造成问题的原因、对策以及建议等。

（一）西安音乐学院网络服务系统调查。从对各音乐院校图书馆的调查中看出，2013―2015年排前三的为：《英语听说学习多媒体资源库》试用通知、“数据库试用通知”“全国音乐学院图书馆文化建设论坛在武汉音乐学院举行”；2014年排前三的为：“新东方多媒体学习库校外访问通知”“西安音乐学院第四届世界读书日活动圆满落幕”“书香西安音乐学院―中文在线电子图书试用通知”；2015年排前三的为 “2015陕西高校图书馆新人入职培训”“2015年高校数字资源建设与共享学术交流大会”“图书馆参加全国艺术院校图书馆学术研讨会”。

（二）西安音乐学院图书馆2014年―2015年BBS（新书通告）访问调查（其余音乐学院图书馆因篇幅原因略）。调查出处于首位的是“2014年最新书目”，其次为“2013年最新音像目录”，再次为“2014年最新音像目录”。

（三）西安音乐学院图书馆2014年―2015年BBS（资源动态）访问调查（其余音乐学院图书馆因篇幅原因略）。从调查可看出处于首位的是“知网・库客数据库用户名、密码”；其次是“维普资讯试用通知”；排在第三位的是“新东方数据库试用通知”。

（四）西安音乐学院图书馆2014年―2015年BBS（试用数据库）访问调查（其余音乐学院图书馆因篇幅原因略）。从调查可看出排在首位的是“新东方媒体学习库”，第二位的是“空中英语教室学习音像数据库”，排在第三位的是“银符考试题库”。

（五）西安音乐学院图书馆2014年―2015年BBS（外文数据库）访问调查（其余音乐学院图书馆因篇幅原因略）。从调查可看出排在首位的是“美国科研出版社（Scientific ResearchPubling）期刊”，第二位是“ASP世界音乐在线”，排在第三位的是“ASP表演艺术、戏剧与电影视频库”。

二、 原因分析

（一）非实用性公告影响。公告是网络信息系统中包罗内容最多也是搜集网络学术情报的“引擎”，而访问量排在前三位的都是非实用公告。

（二）读者的从众心理。网络时代造就了一大批“皇上”读者，对任何服务都“吹毛求疵”。

（三）单边效应。在网络系统服务方式中，图书馆的任务角色往往只是承担开通责任，在利用过程中存在的问题无法及时得到图书馆专业人员帮助解决。

三、对策

（一） 提高馆藏质量。当今任何一个图书馆也没有能力将所有书刊资料尽数收藏，只能根据本馆的任务对象，对所需资料进行有选择、有重点地收藏。

（二）定期开展各类实体或虚拟的文献服务讲座。结合各系工作重点进行跟踪服务。

（三）开办馆办刊物。这是一个很好揭示馆藏资源的方式。

（四）注重学生需求。学生这个群体是除了专业图书的需求外，同时也需要与个人爱好、兴趣等相关的提高综合素质的图书，这些都不是教书和采访人员完全能把握的，因此，非常有必要把他们的代表纳入选书队伍。

（五）读者推广。图书馆通过举办读者活动如“世界读书日活动”、读书沙龙等活动，对馆藏文献有了进一步的了解。

（六）数据推送服务。数据推送服务是指图书馆根据读者的需要，主动将读者所需的信息内容推送到读者端，大数据环境下对于读者的各类行为。

四、 结语

大数据分析方法旨在从众多纷繁复杂的数据中找出能为读者提供高效、及时、全面的服务为本，同时依据此数据还可以为图书馆馆藏结构的改善提供本基础，通过对某些访问量较少或无访问的数据库的实际操作找出了问题的症结所在，找出原因给出建议。

大数据分析论文:基于大数据分析的目标房产分类及房源匹配

[提要] 当前，我国房地产处在结构调整期。从市场需求方面，由以前的卖方主导市场需求慢慢转变成为买方主导市场需求；从企业竞争来看，由于材料、人工成本不断增加，导致企业利润下降，竞争压力加大；与此同时，政府部门对房地产业的调控力度也逐渐加大。然而，在一些三四线城市，仍然存在一些房产滞销、房产市场消费购买情况不太乐观的情形。本文通过数据分析，对不同消费人群的消费特征进行房源的匹配，以达到精准营销，为房地产市场营销制定相应的营销策略。

关键词：房产需求；目标房产；精准营销；相应分析

一、调查背景

党的十八大以来，积极践行“供给侧结构性改革”，同时针对三四线城市房产积压、房产滞销的情况，基于房地产企业发展背景，运用相应方法，分析北京市八达岭2015年1月～2016年2月所有楼盘消费者到访和成交数据，发现和提取其中的有效信息和新知识，根据不同消费者的消费特征以匹配不同的房源，提高成交率，达到“去库存”的目的。

二、调查数据介绍

本次调查数据基于零点有限公司提供的北京市八达岭楼盘18万余消费者购买房产的一系列相关信息为分析的对象，结合统计学原理，市场营销学等学科内容，对数据采用相应的分析方法，对数据进行科学分析和处理。

三、数据结果分析

（一）从事第三产业的消费者倾向于购买高档住房。将消费者所从事的行业按照第一、第二、第三进行划分，发现从事第三产业的人们更加倾向于购买高档和普通住房，进一步分析也许与从事第三产业人们的收入水平有着密切联系。同时，他们可能对于生活的品质要求更高，在他们看来，住房不仅仅意味着简单的居住场所，更多的是他们享受生活，培养情操的最佳场所。反观从事第一产业的人们，可以发现收入水平不高，对于生活品质的要求也会降低。在他们看来，只要有一处休息之处便是极好，所以可能会倾向于购买如地下室这样的住所。从事第二产业的人们基本稳定，大多会选择购买普通住房。（图1）

（二）处在单身期、成长期和形成期的家庭倾向于购买普通住房。不同的家庭结构拟购买或实际购买的住房类型呈现明显的差异：处在单身期、成长期和形成期的家庭倾向于购买普通住房，单身期生活压力相对较低，主要来自就业。（图2）因此，可以将自己的可支配收入积攒下来购买价格相对较低的普通住房；成长期和成熟期的家庭逐渐增加了来自家庭、孩子的压力，但由于这个阶段，事业也处于增长期，所以工资相对单身期会有较大幅度的增加，购买普通住房便是首选。对于成熟期的家庭，住房需求、生活压力大大降低，就会考虑用家庭剩余资金进行储蓄或投资，房地产投资在当前市场环境而言是首选；或者是当剩余资金积攒到一定额度，他们便会考虑将现有住房更新换代，购买高档住房。

（三）家庭收入较高的消费者更倾向于购买高档住房。不同家庭收入的住户拟购买或实际购买的住房类型呈现出明显的差异：北京年收入最贵学区房高达10万元/平方米，收入在10万元以下的家庭会选择购买地下室，这个收入段的人群大多数集中在外来打工人员，背井离乡的他们将大部分钱寄回老家用于支付子女的教育费和老人的赡养费，因此剩余给自己的少之又少，衣食住行方方面面都需要节俭，地下室便是无奈之举。对于在中低收入段10～30万元的家庭，购买普通住房是首选，少数也有购买车位和商业用房的，这和当前房价的热涨行情有很大的联系。收入在30万元以上的家庭会考虑购买高档住房，其中收入在80万元以上的家庭表现的尤为显著，经济学中“恩格尔定律”表明，收入越高恩格尔系数越小，用于文教娱乐和高档物品的消费显著增加，高档住房便是之一。（图3）

（四）目前居住户型较高档的消费者倾向于购买奢华住房。通过对消费者目前居住户型和产品类型进行相应分析得到图4。从第一维度来看，产品类型分布较为分散，消费者目前居住户型分布相对集中；在第二维度上，产品类型分布和消费者目前居住户型分布都相对集中。从图中可以分析出，目前居住户型为租住、一居、两居和三居的消费者在购买住房时选择普通住房的可能性较大，其次可能选择地下室；目前居住户型为4居或者别墅的消费者在购买住房时选择高档住房的可能性较大。目前住房为四居或者别墅的消费者经济状况相对较好，因此对住房的要求较高，所以选择高档住房；目前住房为四居以下（不包含四居）或者是租房的消费者经济状况相对较差，因此购房时选择普通住房或者地下室也符合实际。因此，销售人员在向消费者推介住房时应该先了解消费者目前居住户型，并根据消费者目前居住的户型进行相应的有关连的推介。（图4）

（五）消费者置业目的的差异导致购买住房的差异。通过对消费者本次置业目的和产品类型进行相应分析得到对应分析图。如图5所示，消费者本次置业目的和产品类型在第一维度和第二维度上分布都较为集中。从图中可以看出，本次置业目的为第一居所自住或者是用于投资的消费者，一般会更加倾向于选择普通住房，本次置业目的为第二居所或者是第一居所他人居住的消费者，如果购房是用于居住则可能更加倾向于购买高档住房或者带有车位的住房，如果购买住房是用于存放物品或者其他用途则可能更加倾向于购买地下室。因此，销售人员在进行销售时要在参考该对应分析图的基础上也要根据实际情况判断消费者适合的住房类型，为不同需求的消费者进行准确的房屋推荐。（图5）

四、小结

通过对消费者自身的消费特征进行分析，房地产销售商应该在营销过程中着重关注消费者的典型的消费特征，在准确进行本企业产品市场定位的基础上，以满足客户差异化需求，激发客户潜在需求为切入点，找准营销人群、配准营销策略、匹配营销渠道、投准营销资源，针对客户不同的购房需求，为客户提供满足个体要求的个性化产品；与此同时，“唤醒”大量的、差异化的需求。同时，选择不同的传播方式和渠道分别推送产品信息，如微信、传单、网站等形式，并实时更新数据。通^售后客户关怀等手段建立起增值服务体系，做好精准营销的实际效果评估。将最终的评估效果反馈到房源与客户的精准匹配过程，调节客户的需求类型；同时，良好的售后增值服务可以留住老客户，营造良好的企业口碑，以此发掘和带动新客户，真正达到“去库存”的目的，促进房地产市场的发展。

大数据分析论文:大数据分析与高速数据更新

摘 要 随着经济的发展和社会的进步，计算机技术逐渐丰富人们的生活，大数据分析技术作为近啄晷似鸬囊幌罡呖萍迹能够智能存储丰富的数据资源，数据的产生以及更新的速度逐渐加快，数据的种类也相对繁多。通过对大数据进行分析，能够发掘其中存在的政治、经济以及文化资源和社会价值，对于企业来说，能够存储于客户之间的大量的信息，从而提升经济价值，加速社会生活的运转，从而促进时代的进步。本文主要研究大数据系统中的主要分支，并分析其具体的应用。

【关键词】大数据分析 系统 高速 数据更新

大数据概念的逐渐兴起，带动了各大行业的发展和更新，那么大数据的具体概念究竟是什么，书中的解释是一般的软件难以概括和捕捉和分析的较大容量的数据，更大的意义是在于能够通过交换、整合海量的数据，发掘新的知识，从而创造更大的价值。大数据系统中包含仓储数据系统、图形处理系统、日志数据处理系统以及MapReduce数据系统等等。本文通过分析其中主要的几个数据处理系统中的差异和共性，分析大数据分析中的主要应用。

1 大数据分析系统中的Velocity

1.1 事物的处理系统

事物处理系统是传统的商业数据库中主要的应用软件之一，必须要支持大量的并存用户，由于每一位用户操作时所读取的数据只占其中的一小部分，并且会随机的分布在每一个数据系统中。例如在银行的存款中，每天都有成千上万的客户利用自动取款机或是人工服务进行交易，每一位客户对自己的银行账号进行操作，对于银行的整个数据系统中是极为微小的一部分，，是随机分布在各个银行的数据之内的。因此在大数据的时代，随着科学技术的不断普及，事物处理的规模和程度也就不断地加大。

在事物处理的系统当中，velocity是数据系统设计中的主要核心，引导每一位客户对其自身的业务进行准确的操作，同时需要尽可能的支持更多的并发业务，在实际的系统中，TPC-C与TPC-E是测试事物处理效率的主要依据。许多数据分析企业简化了数据分析的步骤，这样虽然能够从一定程度上减少分析的成本，提升的分析的性能，但是为了能够实现更多的分析应用，促进大数据系统的高效运行，需要程序员逐一解决实际的分析问题，将研究的重点放到ACID上。

1.2 数据流的系统

向较与事物处理系统，数据流系统的主要任务是分析流过系统中的主要数据，在每一条流过的数据中，计算出事先定义好的查询运算，例如差异监测、统计运算、复杂事件处理等等，系统中的运算需要连续不断的进行，由于不需要对数据进行大面积的存储，因此流过的数据也就是无限量的。我国数据流系统最早出现于20世纪末，最开始被应用于电信流量监控以及交通情况分析等等。同时与实务处理系统相似的是，数据流系统的核心任务也是velocity，其更加注重的是对于数据系统的吞吐量控制，单位时间内流过的数据量能够方便系统的储存，另一方面能够实现更多的恶吞吐率。

1.3 大数据分析系统

大数据的分析是确保数据价值的主要途径，通过对海量的数据进行分析，能够基本的总结出数据中蕴藏的规律，从而能够更好地理解现实，对未来的事件进行预测。大数据系分析系统与事件处理系统与数据流系统存在一定的差异，与事件处理系统相比，大数据分析系统只为极少数的客户进行服务，例如公司的数据分析师、决策人员以及对数据进行分析的管理人员，并发的用户量小于数据的处理系统，但是对于系统进行的数据处理工作并不少于事件处理系统；向较于数据流系统大数据分析系统能够处理系统中所存储的数据，而不是处理流动中的数据，虽然数据不一定 能够全部放入内存，但是大部分系统需要利用外部处理器进行处理。

在大数据的时代之下，velocity的作用越来越突出，数据通过不断产生、流通并加载到数据系统中，从静态的角度分析和优化数据分析系统存在一定的问题，首先是无法反应并及时更新数据，难以适应众多的在线应用需求；其次，静止的状态可能会受到数据更新的干扰，数据分析的性能无法得到最大程度的发挥。因此程序员在设计大数据分析系统的过程中，不仅要注重数据操作的本身，还应该理清整个数据分析的生命周期，从而使其设计理念充分发挥在系统应用中。

2 在数据系统仓储中高速数据的更新

2.1 传统的数据更新对数据分析操作的影响

分析数据系统中的查询工作，在硬盘上进行数据的顺序阅读，一般情况下，常规的数据顺序读性可能会达到100MBps，相对于传统的数据更新对数据页面进行数据的录入和插入以及修改等操作，数据的访问也比较符合前段系统的数据特征，基本上也是随机进行的。同时由于技术水平的限制，大多数硬盘只能支持每秒一百次的随机访问，系统运行的效率大打折扣。再加上随机访问可能会干扰良好的数据信号，在操作的过程中，需要不断更换硬盘的磁头才能进行后续的工作，因此也在一定程度上降低了数据分析的可能性。

2.2 在线高速数据更新的设计目标

在进行设计的过程中，需要准备固态硬盘、硬盘以及内存三种设备，主要的数据内容依然存放于硬盘中，并在系统中增加少许的固态硬盘，用来暂时存储临时更新的数据，利用这样的形式，能够有效的降低系统更新对数据查询的影响，由于固态硬盘的容量也比较小，因此其成本也相对较低。系统中的每一条数据都需要包含其主键、操作流程以及更新后的数值。因此需要在内存缓冲之前及时进行更新数据，当缓冲完成之后，将数据的更新记录录入在固态的硬盘中，在读入的数据系统中记录插入和修改的操作，从而产生最新的数据信息。

为了完成上述的操作，需要保证几个设计的前提：

（1）对查询的结果影响小，这是主要的设计目标，在具体的算法设计中，利用固态硬盘的特征，减少线上更新对数据查询操作的影响；

（2）内存的占用较少，内存的大小可能会影响运算的性能，首先内存能够用于数据的缓存，减少不必要的操作，其次，以排序作为基础的算法，对于内存的大小不同，算法的性能可能会出现很大的变化，因此当数据能够完整的纳入内存之中时，利用计算方法只需要读取以此数据，就能够计算出具体的内存容量，从而减少对于内存的占用，提升数据内存的可靠性能；

（3）高效的迁移和操作，从时间方面来看，以前e累的大量数据记录，每一页的主数据中可能会存在一些新的更新记录，而不是随机的抽取，在空间的数据方面，数据的迁移能够随时空间的转移进行更新，因此只需要使用少量的硬盘空间，就能存储大量的更新数据。

2.3 MaSM算法

在数据更新系统和固态硬盘中加入两层数据结构，归纳并操作时，需要将数据更新的记录按照主键的顺序进行排列组合，并简化外部内存的排列程序，当缓冲完成之后，算法对缓冲区域中的数据更新记录进行修改，从而将排序之后的数据更新记录记载在固态的硬盘中，编写一个新的文件，之后便不再系修改。对于主键范围之内的数据查询工作，需要创建一个table range scan造作的运算部件，将数据更新记录的数值范围精确到固定的区域之内，使程序员能够及时并便捷的找到数据更新的差异和规律，从而对整个大数据分析提供有一个准确的把握。

3 高性能日志处理系统：LogKV

3.1 LogKV系统结构分析

键值系统能够灵敏地表现多种类型日记的信息和记录，并能够提供可靠的数据存储资源，系统由一个调节的管理支点和多个工作的节点通过数据中心的网络系统连接在一起，每一个工作的系统都由两个子系统构成，IngestKV是键值存储的子系统，使日志能够顺利的缓冲和收集，并实现系统的设计理念和设计目标。

3.2 从日志的数据源到系统的映射

需要管理员尽可能的平衡各个节点之间的日志数据流量，优化获取日志的方法，首先，日志的数据源能够运行LogKV的程序，进行直接收集日志资源，由网络信号进行数据的发送和传播；其次，日志的数据源能够通过配置远程的端口和服务器，将日志的数据直接发送到实际的运行系统中，从而促进整个系统的高效运行；最后，日志的数据源能够将数据写入到本地的文件中，并通过文件传输的协议，产品能够数据源中获取到数据文件。

4 总结

综上所述可知，随着经济的发展和社会的进步，科学技术水平也得到大幅的提升，为了能够跟进时代的步伐，体验科技的成果，采用大数据分析以及高速更新数据更新的技术，不仅能够提升人们的生活质量，加快社会进步的脚步，同时也能够促进我国的科技软实力，从而在激烈的国际竞争中找到一席之地。因此程序员在进行数据分析的过程中，需要充分了解设计的内涵，确立在线高速数据更新的设计目标，从而方便大数据的存储和运行。

大数据分析论文:大数据分析技术在生活中的广泛应用

摘 要 文章介绍了大数据技术的即时性、准确性和预测性，并将大数据技术与公共交通、医药领域、移动通信网络优化相结合，从而方便了人们的生活，提高了人们的生活质量。

【关键词】大数据分析 公共交通 医药 移动通信

所谓大数据，一方面是指在一定时间内无法被常规信息技术和传统数据库管理软硬件工具感知、获取和处理的巨量数据集合；另一方面，是指形成、管理、挖掘大数据， 快速搜集、处理、分析大数据的技术和能力。

大数据的主要特点是海量、非结构化和半结构化、实时处理。大数据技术，或大数据分析技术，就是对这些数量巨大的海量数据进行搜索、整理、分析、加工，以便获得有价值的产品和服务，以及提炼出具有深刻见解和潜在价值信息的技术和手段。

1 大数据分析在公共交通中的应用

交通拥堵日益严重，交通事故频繁发生，这些都是各大城市亟待解决的问题，科学分析交通管理体系成为改善城市交通的关键所在。因此，高效、准确地获取交通数据是构建合理城市交通管理体系的前提，而这一难题可以通过大数据管理得到解决。

大数据分析技术改变了传统公共交通的路径：大数据可以跨越行政区域的限制；大数据可以高效地整合交通信息；大数据可以较好地配置公共交通资源；大数据可以促进公共交通均衡性发展。在大数据中，随着数据库摄入更多数据，所消耗的计算工作量反而递减，配置成本也随之减小，但所做的计算则更加精准。大数据在公共交通中的应用表现在：一旦某个路段发生问题，能立刻从大数据中调出有用信息，确保交通的连贯性和持续性；另一方面，大数据具有较高预测能力，可降低误报和漏报的概率， 可随时针对公共交通的动态性给予实时监控。因此，在驾驶者无法预知交通拥堵的可能性时，大数据可帮助用户预先了解。

2 大数据分析在医药领域中的应用

在医学领域，我们正处在一医学信息爆炸的时代。基因序列、各种医学图像、电子病历记录和多中心临床药物试验等，使生物医学领域跨入网络化的大数据时代。如何从医疗大数据中提取出有用的信息是目前亟待解决的问题，构建医疗大数据系统需要将各家医院通过互联网连接，实现各家医院之间的数据共享。将医疗数据存于专门的数据库中，在信息协作平台上将各种医疗信息分类整合，建立成一个相互共享的网络，从而实现医疗数据信息的共享。

大数据技术的核心就是预测，使用大数据分析技术可以提高诊断疾病的准确率，对有效地治疗疾病具有重要价值。其中最好地体现在传染病预测上，因为传染病的发生、发展、分布与地理地貌、生态景观、人文环境有密切关系，特别在全球气候变化和经济全球化背景下，自然环境及人类社会活动对传染病的影响越来越重要。因此，时间和空间信息对传染病的预测、预警具有重要意义。利用大数据可对传染病疫情的时间、空间信息进行多维搜索，检索、处理和分析这些疫情信息可实现对传染病的流行趋势及影响范围进行预测、预警，对提高传染病防控的针对性、预见性和主动性，抑制流行病的蔓延，以及制定卫生决策都具有十分重要的意义。

3 大数据分析在移动通信网络优化中的应用

当前的大数据技术面临着数据过大和安全隐患越多这两个问题。在移动通信网络发展的过程中，网上用户在不断增加，通信网络的范围在不断扩大， 而移动通信网络所产生的数据量也在不断上升。大数据技术和移动通信网络的安全问题密切相关，一旦技术出现漏洞，移动通信网络的数据就会出现安全隐患。大数据技术中存储功能的是云储存技术，它将大量的网络数据放在统一的平台之上，加大了数据丢失的风险，影响移动通信网络的安全。

优化移动通信网络，需要运用大数据技术的储存功能。移动通信网络的用户在不断变化，每天都要更新大量的数据，而且这些数据都需要进行妥善管理和保存。在这一过程中，可以应用大数据技术的存储功能， 将存储虚拟化作为解决存储问题的有效策略。

优化移动通信网络，需要获取相关的数据信息。移动通信网络的用户非常多，而且其所跨越的时间、空间维度都很大，这些用户在移动通信网络留下的海量的数据信息，使数据获取工作难以继续。在进行数据的获取和收集工作时，移动通信网络可以应用大数据技术，减少人力和物力的投入，同时增加数据的准确度。

4 结语

本文是大数据技术在实际生活领域的应用，分别阐述了大数据分析技术在公共交通、医药领域、移动通信网络优化中的具体运用。借助大数据技术的即时性、准确性和预测性，将其应用到人们的日常生活领域，提高了人们的生活质量。

大数据分析论文:可视化大数据分析模型在个性化英语教学中的应用探索研究

【摘要】本文主要从基础水平、目标要求、薄弱点、性格等四个方面进行数据建模，结合学生学习过程中的数据分析模型，对学生学习群体进行立体的分析和分类，将学习群体细化地分成多类，因材施教；横向针对个人，从听、说、读、写、译五个方面及多个细分点进行数据建模和分析，明确给出学生英语学习的切面水平图，对学生的英语学习进行有针对性的可视化分析；纵向以学生个体在学习过程中积累的变动数据为根据，横向细分考察点为依托，绘制学生个体在学习过程中的数据变化模型，对整个学习过程进行可视化研究。

【关键词】英语教学 可视化分析 学习成效

我国英语教学在网络课程、移动学习、智能测评等方面近年来发展迅猛。结合我国实际的教学环境以及新近发展起来的大数据可视化分析模型，探索更有针对性更加有效的英语教学模式，以更大限度的提高学生学习热情，改善学习成绩，培养全面发展的英语人才。

一、中国英语教育的规模与社会需求

全球化进程和频繁的国际交流推动着我国的英语教育发展，同时也导致外语类教学消费的泡沫现象。针对高校英语专业和英语增长和英语类考试泛滥的现状，导致了学生数量与教学质量之间的矛盾。我国高校英语教育规模和社会需求的快速发展，但也随之带来了师资不足、教材陈旧、教学手段落后、理论和实际脱离等一系列问题。在飞速发展的大数据时代，如何在保障英语教育规模的同时，建设英语专业教材、深化英语专业教学改革、确保英语专业教学质量已经成为当前迫切需要解决的问题。

二、大数据分析模型在学生英语学习过程中的应用

大数据概念在教育领域的发展体现在：开创教育理念的新思维新视角的同时，也给教育实践探索带来了新技术、新方法。通过数据记录学生学习的能力、效果、时间、水平、成绩、思维流程等，能够直接、具象的掌握学生的学习进度。通过大数据系统，对这些信息和数据进行记录、整理、统计、分析，使得教师能更科学全面地掌握学生的学习动向，也使得学生和家长能及时客观地了解个体发展情况。

通过大数据分析模型着重阐述了如何对学生英语水平进行切面横向的评价，同时进行分析研究，查缺补漏，制定个性化学习方案，教师实行定制化的施教方案，有针对性地对学生的英语学习进行指导和教授知识点，有效提高学生英语水平。

从纵向的时间维度来讲，以学生个体在学习过程中积累的变动数据为根据，横向细分考察点（听说读写译的子考察点）为依托，这样可以绘制出学生个体在学习过程中的数据变化模型，制作出来评分图，对比以前的评分图，可以实现对该学生整个学习过程进行可视化研究，并随时调整学习方法和施教方案，有针对性地加强薄弱点的学习，掌控学生的学习效果。

同前面所述一样可以绘制出学生的学习水平评价表，可以清晰地记录学生的学习轨迹，如果条件允许还可以制定学习记录档案，这不仅能成为学生学习成长的指引工具，也有助于锻炼学生的分析解决问题能力和逻辑思维。

三、大数据分析法在英语教学当中的应用

1.大数据分析模型在学习群体中的分类应用。对一个学习群体来讲，主要从以下四个方面进行分类研究，考查点分别是基础综合水平、学生学习目标要求、英语学习薄弱点和学生的性格特点等。该四个考查点每个以满分100分计，基础综合水平时根据学生目前的学习状况做个全面客观的测试，可以从听说读写译等五个基础点进行测试，为考虑英语教学是为学生英语学习的全面发展，故每个基础点满分为20分，进行考察统计；学生学习目标要求是指根据学生当前状况，同时结合学生家长、学生本人以及学校的期望和要求，制定合理的学习目标；英语学习薄弱点主要通过综合水平的考查就可得出学生学习的评估结论；性格特点是指在英语学习过程当中该学生适合的一种学习方法，以上四个方面具体参考下面表格进行分类：

通过基础综合水平（从听说读写译等五个方面进行考核）、学习薄弱点、性格特点、学习目标要求（学生自己的学习水平，学生家长、学生本人以及学校的期望和要求）这四个方面，将学生群体分成几类，清楚了解他们在英语学习过程中存在的问题，可针对性地进行施教，同时对学习过程进行图表追踪，可以直观反映学生在学习过程中的进步情况。传统的教育教学评价模式和大数据的评价模式有较大的差别，大数据时代的教育，更加注重ρ生多方面的考核，对学生的了解更具有针对性，施教方法和教材的选用都能体现个性化，会更客观和全面地对学生进行考核、评价、分析和研究。

通过对学生群体从以上四个大方向的了解分析，进行有针对性的施教，前三个方面是从学生当前自身的了解，后一项是对其学习目标的确认，首先，在了解以上各方面的状态下，结合学生的基础综合水平高低将其目标分段实现，同时，结合其学习薄弱点，进行重点练习和学习，巩固以前基础，提升重点知识水平，针对不同性格的学生，采用不同的学习和练习方法，比如性格开朗具有语言天赋的学生更能在听说应用中提高知识水平，性格内向的学生在读写和记忆知识方面更能发挥他们的优势。

2.大数据分析模型在学生个性化英语学习中应用。

（1）英语教学评价指标体系介绍。以单个学生为例，由评价老师组成评价小组，取平均值对学生进行横向切面的英语水平数据分析，评价表设计为：听（词0.2、句0.2、文0.2、逻辑关系0.3、习语0.1）说（发音0.5、断句0.3、语气语调0.2）、读（词汇0.3、句型0.3、语法0.4）写（词汇0.5、格式行文0.2、组织结构0.3）译（口译0.4、笔译0.4、速记0.2）。

通过以上表格对学生的英语水平进行全方位的数据分析，需要说明的是评分等级可以是上面模糊指标，也可以是精确的得分，通过建立科学准确的数学模型，可以轻而易举的展现出某一学生的优势和不足，同时上表还可以结合学生的目标要求拆开来用，针对某一或几个大类进行评价分析，最终可视化地得出学生英语水平表，之后针对学生的不足制定出个性化的学习和施教方案。按照英语水平数据分析评价模型表，就某一学生实际英语水平考查得分用柱状图进行可视化分析。

从图1可以看出该学生的能力水平中等偏上，但是翻译水平很差，读写水平良好，听说能力一般，总体水平都有待提高，特别是翻译水平需要特别注意。经过分析，针对该学生教师首先着重从锻炼其翻译能力为重，制定专门能够提高翻译水平的施教方案和策略，同时注意对听说读写等方面能力的学习和提高。

下面再听力水平为例进行分析，研究哪些细分方面能力水低而导致该生的听力水平一般。以听力水平考查得分为例，

由上图可以轻松看出来该生的英语听力水平一般，具体原因除在词汇方面表现良好以外，其他细分能力点的水平都很普通，在全文听力理解表现较差，对语句理解一般，全文逻辑关系掌握较差，英语习语的了解水平低，说明该生需要着重训练语句及全文的听力理解逻辑关系和英语习语的学习，结合英语听力能力的不足点，制定个性化学习和施教方案，有针对性地弥补不足；同时从时间维度来看，可以隔一段时间对该学生的水平进行评价，做出评分图，对比以前的评分图可以看出该学生的提升幅度和当前的能力水平，适时调整学习方法和侧重点，优化调整施教方案。

四、结束语

“数据驱动社会，分析变革教育”的大数据时代已经到来，改变和优化传统的教育教学方法是时代所趋，更是学生学习的内在所需。教育数据资源共享，利用大数据分析模型开展教育和教学工作，提高学生英语学习水平，降低学习成本，实现大数据分析方法的最大的价值。

大数据分析论文:基于“互联网+”和大数据分析的社区老人智能医疗服务系统

【摘要】 互联网医疗助力于分级诊疗，即是要做好“小病到社区，大病到医院”。文章拟选用基于大数据分析技术设计出一种更智能、更快捷的社区老人智能医疗服务系统。该系统采用互联网技术和大数据分析技术，将手机APP与信息协作平台相结合，在社区内建立一个较为完善的医疗服务系统。

【关键词】 “互联网+” 大数据 “三角服务”模型 智能医疗服务系统

在人口快速老龄化、家庭规模日益小型化和机构养老发展不足等多重因素的影响下，发展社区养老逐渐成为一种必然选择。建立起基于“互联网+”和大数据分析的社区老人智能医疗服务系统，在市区大医院、社区医疗站以及社区老年人三者之间建立起信息网络，使社区老年人的健康问题得到更好的保障。

一、系统概述

现如今，大型医院普遍存在床位紧张、人员调配效果不佳、管理体系不健全等问题。建立社区老人智能医疗服务系统是完善现有医疗体系急需解决的主要问题，同时，随着物联网技术的不断发展，将互联网与大数据分析技术用于社区医疗服务系统，已成为该方面的一项新技术。

二、技术分析

根据上述分析，需要开发一套基于“互联网+”和大数据分析的社区老人智能医疗服务系统，此系统可以最优化利用资源，帮助老人方便、快捷的解决突发状况。为满足需求，该方案需要具备以下技术：1）概率统计。收集社区老人的体温、心率等生命体征数据。以河师大社区为例，运用概率统计技术采集社区老人的生命体征数据。2）大数据分析。分析老人生命体征数据。在信息协作平台上，利用大数据分析、数据挖掘和人工智能中不确定性推理技术，对采集到的老年人信息进行分析及推断。3）互联网技术。构建“三角服务”模型。运用互联网技术，构建一个以老人为中心，社区家庭、社区医疗站、市区医院三大子系统相互连接的“三角服务”模型，实现智能管理。

三、设计方案

1、总体流程。整个医疗服务系统可分为线上和线下两种服务方式。线上：系统按照固定方案进行老人身体数据采集；线下：社区医疗站会定期派专业人士到老人家里对其进行全方位检查以及相关医疗知识的普及。

2、数据采集与处理。首先利用智能手环采集社区部分老年人的身体数据，通过社区中建立的互联网网络把数据传输到手机APP以及信息协作平台上。分析老人生命体征数据。在信息协作平台上，利用大数据分析和不确定性推理技术，对采集到的老年人信息进行分析及推断。

3、“三角服务”模型。“互联网+”社区养老中最为核心的就是系统模型的构建，运用互联网技术，构建一个以老人为中心，社区家庭、社区医疗站、市区医院三大系统相互连接的“三角服务”模型（如图1所示）。

若采集到的老人的身体数据发生了变化，则会通过报警系统反馈到社区医疗站，社区医疗站则做出最快的反应，一方面，会到老人家中对老人进行急救，另一方面，会及时将老人的存档发送给医院，并联系医院进行一系列的急救措施，从而节约了救援时间。

4、构建智能医疗服务系统。开发社区老人智能医疗服务系统。即开发一个集智能医疗设备、智能医护终端设备和带有功能模块的智能医护平台为一体的服务系统。将采集到的老人身体数据存于专门的数据库中，在信息协作平台上将社区老人、社区医疗站和市区大医院三者建立成一个相互共享的网络，实现数据信息的共享。手机APP与信息协作平台相联系，能够通过移动设备查看网络平台的信息，市区大医院的医疗系统与社区医疗站的数据库相连接，从而便于实现信息的共享。

结语：本系统是基于“互联网+”和大数据分析的社区老人智能医疗服务系统，是物联网在医疗领域的应用，目的是为社区老人提供更便捷的医疗服务。将大数据分析技术与智能医疗服务系统相结合，在概率统计的基础上，将手机APP与信息协作平台相联系，通过移动设备查看网络平台的信息，便于实现信息的共享与交流，医疗服务更趋于智能化。

大数据分析论文:试论大数据分析在移动通信网络优化过程中的运用

【摘要】 随着我国移动通信网络用户的增加，优化通信网络成为一种必然。大稻菔贝为移动通信网络优化提供了新技术，掌握大数据时代特征，充分利用大数据技术，完成移动通信网络的优化过程，是当下移动运营商发展的主要任务之一。

【关键词】 大数据分析 移动通信网络优化 运用

移动通信网络运行故障具有较多的原因，大数据时代，通信运营商应根据大数据的特征，采取大数据技术对其进行分析和优化。

一、目前网络优化中的困难

移动通信网络优化是利用数据采集等手段分析网络运行慢的原因，并予以解决。这一问题看似简单，但实际上存在很多困难。包括技术上的、资金上的。比如通信网络资源庞杂，2G、3G、4G网同时运行。基站建设需求不断增加，网络产生的数据不断的增多，对庞杂网络运行状态的分析需要掌握云计算等大数据分析技术。再比如，优化网络需求大量的资金，新建基站和网络维护同时运行，给移动通信运营商带来困难。部分通信网络建成后无法及时投入使用，造成大量的资源浪费，对网络运行高峰期，运行差异很难把握，基站的建设存在些许不合理。另外，同一小区的用户类型具有多样化特征，用户的使用需求也有所不同。对于通信运营商而言，要致力于满足所有用户需求，这就对基站和天线的性能具有较高的要求，优化通信频谱率成为主要问题。但是优化网络频谱率并不容易，目前依然受到技术和资金上的限制。对同一时间段，不同业务模型的整理也需要采取大数据分析技术，采用传统的技术无法解决。

二、大数据分析在移动网络优化中的运用

2.1网络性能大数据存储

数据采集是网络优化的首要任务，主要包括对通信网性能的采集、话务量的采集和信号测试三部分。通信网性能主要是指通信网络的接入效果、经纬度以及入载波频点等基本参数，用来判断网络的运行速度和是否存在运行故障。话务量的采集主要包括移动信道的可利用率，接话率和掉话率等，采集话务量有助于运营商正确建立基站和设置天线的频谱参数，使网络输出更加合理。信号测试数据主要是现场测试，是对正在运行的移动通信网络信号状况进行测试。包括DT数据和CQT数据测试。移动通信网络的需求增多，使用人数增多，每天都会产生大量的数据，这些数据包括种不同类型。因此，对于传统的数据分析方式明显不能满足数据分析的需求，无法了解网络运行的基本状态。而要完成对数据的分析，首先系统要具有大数据存储功能，虚拟化技术是目前用于移动大数据存储的主要方式，该方式能够提供高容量，能够对数据进行完整的存储，并且关注存储细节处理和可扩展储存。使用虚拟化存储，能够将内部数据、外部数据和多厂商的全部数据进行统一存储于一个平台之上。并在对数据中心改变其动态容量，大大降低了存储资源的空间，降低成本，满足大数据时代的通信要求。目前，通信公司已经开始着手研发虚拟化技术，来应对大数据处理。

2.2大数据在网络优化中的具体运用

网络优化的关键是正确进行网络定位和网络分析，解决网络运行中的掉话和干扰问题。随着基站建设的增多，建设不合理导致的信号覆盖不全问题大量存在，天线角度设置问题也时有发生。而对于移动通信运行而言，技术的更新始终是最困难的。上文我们分析，网络优化的主要问题就是数据的采集，实际上这一过程包括优化准备、问题查找与分析，优化调整实施和提取印证几部分。其中数据采集、问题分析、优化调整是网络优化的核心，并且需要重复进行，在移动通信网络运行过程中经常发生。按照上文我们分析的移动通信网络优化阶段，并结合大数据的特征，首先将优化目标定位为网络基站的检查，随后进行数据的测试和网络运行的测试。检查基站是否存在露覆盖和重复覆盖现象，通过大数据分析手段获得基站的覆盖信息，并对其进行适当的调整，满足覆盖需求并降低干扰。准备好测试工具，对数据进行相关测试并存储于云盘空间，利用虚拟化技术对网络平台数据进行提取，从而正确分析移动通信网络运行问题所在，重点解决网络信号不足、无主小区和频繁切换问题。将整个优化阶段分为两部分，即天线射频优化调整和后台参数优化。天线射频优化就是对基站天线的调整，基站天线的覆盖角度是影响信号输出的重要原因，将天线调整于合理的范围内，可以保证通信运行合理。后台参数调整则包括邻区、基站扇区功率调整，并且还包括设置信道、切换参数、接入参数的调整。根据调整计划调整后台参数，从才能保证移动通信网络的分布，为移动通信网络优化打下基础。对于网络优化而言，还需要技术人员根据需求不断的调整，逐渐促进移动通信网络优化的合理性，保证参数的合理范围，最终确保通信网的快速运行。

总结：大数据时代已经到来，对于移动通信而言，用户增多，需求增多，每天产生的数据只能用海量来形容。应对大数据时代的特征，移动网络的优化也应充分采用云计算等技术。分析网络运行中存在的问题，对通信网信道衰落，信号影响因素进行处理，促进我国移动通信网络的发展，满足客户需求。

大数据分析论文:大数据分析在通信网络监控系统中的应用

【摘要】 通信网络监控系统在我国有着重要的意义，企业和个人越来越注重隐私。适应这一需求需要企业基于大数据的特征，分析客户需求，满足客户需求，帮助客户建立专业的、优质的通信网络监控体系。

【关键词】 大数据 通信网络监控系统 应用

通信网络监控系统存在的意义是发现通信问题并解决通信问题。移动通信系统快速发展的同时，还应注重用户体验，致力于建立人性化服务体系。通信网络监控包括多种不同模式，其中最常见的是以告警为出发点的设备和以客户感知为出发点的设备。前者主要是关注设备的被破坏程度，但无法反应网络的优良程度，主要用于故障解决。但是要将客户放在第一位，笔者认为，还需要采取更先进的通信网络监控模式，建立从客户体验出发的监控体系，严把质量关。文章将这两种模式进行了对比分析，肯定了大数据时代应该以满足客户为目标的企业发展战略，致力于促进该时期通信网络监控行业的发展。

一、以告警为出发点的网络监控体系

以告警为出发点的网络监控体系目前依然是监控市场的主流，这一监控体系主要用于对网络故障进行及时的处理。移动通信业在发展过程中，监控部门应把握问题的轻重缓急，合理利用时间，提供优质服务以满足客户服务。其主要原理就是在设备出现问题时及时发出警报，这样就可避免一些损失。在故障的处理中，依然要坚持这一原则，从而快速消除故障，确保通信稳定。大数据时代，物联网、云计算等新兴模式的出现使以告警为出发点的网络监控体系稍显落后。这一时期的数据多且复杂，能够促发报警的数据多，一旦出现报警又不能及时出台解决策略，将影响网络用户体验，因此告警系统的功能应进一步拓宽。以告警为出发点的网络监控体系存在一定的问题，比如对报警系统过于依赖，接口不稳定等原因都会导致目标脱离监控。

同时，这一时期的客户感知度无法真实的从客户那里得到，还必须通过破坏程度来判断，但是这中间存在一定的偏差。发出警报要么影响网络安全，要么影响业务输出，因此很难最终确定原因。

当然，以告警为出发点的监控体系能够大量应用，其一是他具有大量的市场需求，其二是技术设计容易实现，第三是一定程度上可以保证用网安全。未来，针对这一网络通信模式，还应致力于提高网络服务质量。并且要做好一定的预防工作，不能总是等到故障出现采取处理。

二、以客户感知为出发点的网络监控系统

以客户感知为出发点的网络监控系统是近年来提出的一种新的监控模式，与大数据时代的要求保持一致，且在大数据背景下很容易实现。其实现的主要流程是通过大数据采集海量客户感知信息，并将其进行整理后形成客户的习惯和兴趣点，从而分析和对比用户需求。结合已有的信息进行告警设备的重新设置或者调整，可以第一时间保证用户的用网安全。建立不同区域的服务质量等级，根据服务数据特征分析原因，提出意见，并且形成客户感知度报告，以此来进行网络的优化，最大化的发挥了监控系统的作用，对其过程进行如下分析。

2.1客户感知信息数据的采集

信息的采集是实现通信网络监控的前提。信息的采集可以是多渠道的，可以动用户终端设备，也可以是宽带客户。可以在终端设备上安装软件，记录用户的位置，并以区域和时间为轴线分析用户移动通信网络的信号强度、掉话次数，下载速度等数据，根据需求对通信网络进行适当的参数调整，可以提高客户的用网体验。宽带用户的收集是将信息收集软件安装于计算机端，记录客户的位置、下载速率等基本信息，并将数据上传至感知信息接收平台。最后在感知终端这一模拟客户终端的收集下获得用户数据，感知终端是一种特殊的终端，他集无线网、宽带网和窄带与一体，是靠模拟的方式完成收集相关参数。可以将其安装于通信网络中的某个节点上，并利用PING测试本节点和下游设备的参数，并且可以收集线下的服务参数。以收集大客网络的情况信息。该系统的安装位置随意，具有特殊性，应用较为广泛，能够正确的反应客户的信息，对通信监控系统的优化具有积极作用。

2.2客户感知信息的处理

在感知信息系统中，对通信网络监控系统的信息进行收集后，还需要采取一定的办法对其进行处理。处理信息是大数据时代，移动通信网络监控的主要目的，处理数据才能解决问题。当然这一过程是复杂的，需要通过数据库、资源库和设备预警等多项技术相结合，并且要不断的更新技术，形成区域网络服务质量图，并且要始终坚持以人文本的原则。Y合已有的网络结构库、资源库、设备告警库等进行分析处理，形成区域网络服务质量视图。

三、总结

网络监控体系在社会发展中发挥着重要作用，促进行业的发展具有必要性。大数据一定程度上改变企业的商业模式和营销模式。因此了解大数据时代的特征，并且基于大数据进行通信网络监控系统的分析，能够促进其发展。文章分析了基于大数据的移动通信网络监控系统的应用。

大数据分析论文:油田生产中大数据分析技术的研究及应用

摘 要：自始以来，由于地理位置的影响我国的石油资源处于紧缺的状态，传统的人工技术已不能满足我国石油需求的问题，那么将大数据技术应用于油田的建设中是一项急不可待的工程。文章以新疆油田公司为例，利用数据挖掘技术发掘油田隐藏的数据价值，提高数据的使用效率，利用数据找到合适油田，指导生产工作，更好地节约成本，提高综合效益。

关键词：油田生产；大数据；数据挖掘

前言

新疆油田重油开发公司是以稠油开采为主的采油厂。有着将近10年的数字油田建设历史。而且中心数据库已经做得很成熟，主要包括五大业务板块数据。即勘探业务板块、开发业务板块、生产业务板块、经营业务板块的数据库。数据库包括的内容主要有单井、区块的日月报数据、试井与生产测井数据、分析化验数据、井下作业和地理信息数据等。数据库的数据资源种类齐全，质量高。2010年新疆油田重油开发公司正式开始进行智能化油田建设工作，利用物联网诊断单井问题，使用大数据技术对油田进行全面感知、分析预测、优化决策找到油水井的生产规律，从而有助于油田生产工作进行。

1 油田大数据的概念及处理流程

大数据有四个特点即量大（Volume）、快速生产（Velocity）、类型丰富（Variety）、真实性（Veracity），被称为4V[1]。由于数据的数量非常大，就将数据组成数据集，进行管理、处理实现数据的价值。大数据对数据库的整理流程是将数据转化为信息，将信息转化为知识，再将知识转化为智慧。这个过程应用于油田可以理解为是对油田的生产和管理工作。大数据的七个处理步骤包括：对数据的提取和收集、清洗数据、分析数据找到潜在的内在价值规律、建立预测模型、对结果进行可视化的估计、验证结果、评估模型。

2 大数据分析平台及体系架构研究

新疆油田为了满足生产应用，构建了一个有效的大数据分析平台及体系架构。此平台主要包括四个基础架构：数据抽取平台、进行分布式的存储平台、大数据的分析与展示平台。最底层是数据抽取平台主要是实现数据的整合，将数据转化成适合进行数据挖掘或者建模的形式，构建可靠的样本数据集。存储平台主要是对数据进行汇总、建模、分析，最后将处理好的数据进行储存。其功能与数据仓库相似。大数据分析层，是在大数据建模的工具和算法基础上，挖掘隐藏的数据模式和关系，利用数据软件进行分类、建模，生成预测的结果，结合专家经验利用测试的样本选定评价方案不断提高模型的精度，更好的用于油田的决策。数据应用层主要是把建立的模型设计为运行软件，运用建模方法实现数据的可视化界面设计，更好的实现人机交互。

3 大数据分析技术研究

进行大数据分析时我们经常采用两大技术即大数据预处理和抽取技术，大数据分析技术。

3.1 大数据抽取及预处理技术

大数据预处理和抽取技术的原理是指将不同名称，不同时间，不同地点的多种不同结构和类别的数据抽取处理成一种所表达的算法和内涵一致便于处理类型的数据结构[2]。在检查数据缺失、数据异常时可以使用数据清洗方法确定有用的数据，一般采用剔除法或估计值法、填补平均值替换错误的数据。为了满足建模所需的大量数据，创建新的字段时需要进行数据库的构建。将原始数据用一定的方法如归一法转换为可用于数据挖掘的数据，这个过程为数据转换。

3.2 大数据分析技术

应用于油田的大数据分析技术为：因子分析技术、聚类分析技术、回归分析技术和数据挖掘技术。其中的因子分析技术是指，利用少数的因子对多个指标和因素间的相关性进行描述，一般将密切相关的多个变量归纳为一类，这一类数据就属于一个影响因子，用较少的因子反应大量数据的信息。聚类分析技术是指把具有某种共同特性的事物或者物体归属于一个类型，并按照这些特性划分为几个类别，同种类型的事物相似性较高。这样更利于辨别预先未知的事物特征。回归分析是指在一组数据的基础之上，研究一个变量和其他变量间隐藏的关系。利用回归方程，进行回归分析，从而有规律地把变量之间的不规则，不确定的复杂关系简单得表示出来。

在使用大数据进行分析时，数据挖掘技术是最关键的一门技术。该技术将大量复杂的、随机性的、模糊的、不完整的数据进行分析，挖掘出对人类未来有用的数据，即提前获得未知信息的过程[3]。数据挖掘功能分为预测功能和描述功能。数据预测是指对数据进行处理推算，完成预测的目的。数据描述是展现集体数据的特性。数据挖掘功能是与数据的目标类型有关，有的功能适用于不同类型的数据，有的功能则只适用于特定功能的数据。数据挖掘的作用就是让人们能够提前得到未知的消息，提升数据的有效性，使其可以应用于不同的领域。

4 大数据分析在油田生产中的应用研究

4.1 异常井自动识别

油田生产过程中影响最大的一个因素是异常井的出现，因此生产管理人员加大了对异常井的重视。最初，异常井的识别主要是依靠生产部门的生产人员，必须经过人工查阅许多关于油田生产的资料才能确定异常井，这种人工检阅的方法存在很多缺陷。比如说大量的检索工作、耗费时间长等，对异常井的诊断和措施制定造成很大的困难。异常井是指油井当天的产油量和上个月相比波动很大，并大于正常的波动范围。目前广泛采用数据挖掘技术和聚类分析技术对异常井进行识别，提高效率。为了实现算法编译使用技术，系统架构B/S模式进行，能够及时发现异常井的存在。

4.2 异常井智能诊断

异常井诊断是油田每天进行生产必须要完成的工序。而大部分油田采用人工方法对其进行异常诊断，工作量极大，影响因素较多，诊断结果的可靠性较低，对后期进行计划实施造成很大的影响。这时可以采用智能诊断方法，利用灰度图像处理技术和人脸识别算法建立抽油井的特征功图库，对比油井当前的功图和所建立的特征功图，实现异常井的诊断。若是相似则不属于异常井，反之，则为异常井。但是有时一种工况可能会有许多中表现方式，致使功图解释存在很多种状况，可以采取因子分析法，分析每个工况下关联的因子间是如何变化，然后建立参数诊断数据库，对比相关因子的指标项，找到异常的原因，采取适合的方案进行修改，从而提高单井的生产效率。

4.3 间抽井开关井计划制订

当油田开发进入后期阶段就会出现很多问题，过度开发使得地层的能量越来越少，致使更多供液不足的井开发出来。将这类井称之为间歇出油井。新疆油田一般会使用人工方法制订间歇出油井的开关时间计划，但是对于计划的合理性没有进行检验。若是能够控制好间歇出油井的开关时间，对油田实现节能减排是至关重要的。这时可以采用因子分析方法和回归分析法进行研究，利用数据挖掘技术找出影响间歇出油井的开关时间的因素，建立合适的分析模型，对模型进行线性回归，进行归一化处理。从而为业务人员提供制订间歇出油井开关时间的合理方案，达到节能减排的效果。

4.4 油井清防蜡预测

目前油田上对于油井清蜡采取平均每口井一个月清洗一次蜡的措施，按照人工计划进行，出现了许多问题。比如，一些井还没有结蜡就已被清洗，有些井已经结蜡，却没有得到及时清洗。这样既浪费大量的人力物力，而且还对油田的生产效率产生不利影响。若是利用因子分析法，将收集的关于结蜡周期、清蜡方式、清蜡用量、油井状况等数据进行分析，建立油井Y蜡模型，再利用回归分析法对建立的模型建立曲线方程，进行预测，找到结蜡时间，推断出结蜡周期，更好的指导油田清蜡工序的进行，提高油田的精细化管理。

5 结束语

总之，对比以前利用人工进行油田生产可以发现大数据对于油田生产是非常必要的，可以更快的挖掘油田的生产作业规律，解决油田生产的困难。而且，可以利用油田数据进行可视化分析，关注问题的主要影响因素找到管理中存在的不足，预防未来问题的出现。大数据的核心价值就是通过以往大量数据进行分析，预测出未来，从而更好地指导油田的生产工作。

大数据分析论文:大数据分析在企业管理中的应用

自改革以来，我国社会经济取得了巨大的发展，同时也带动了各行各业的迅猛崛起和发展，市场竞争日益激烈。而随着大数据时代的到来，大数据分析逐渐成为当今社会各界的谈论热点，各大企业也想通过大数据分析来使自身的竞争力得到有效提升。但是每个企业对大数据分析的理解和应用等方面均存在部分差异，我们该如何使大数据分析充分发挥它应用的作用，进而有效提升企业的管理水平，这点成为企业需要解决的首要任务之一。本文将大数据分析在企业管理中的应用作为论述的重点，希望能为广大的管理人员提供帮助，进而有效促进我国企业管理水平的提升。

由于大数据时代的到来，大数据分析渐渐成为社会各界关注的重点之一，各个行业都或多或少地涉及以及正在应用大数据分析。有人曾说：在二十一世纪中，如果不紧跟大数据时代的发展步伐，就很可能与时代脱轨，在市场竞争中毫无优势可言。但现代很多企业对大数据的相关含义以及作用等的理解不够科学和全面，在这一前提下，要想使大数据分析真正发挥应有的效用是很难的。基于此，本文不但对大数据的含义做了简要介绍，还从企业管理方面出发，说明了大数据分析应用时需要注意的相关事项，旨在提高国内企业的管理水平。

大数据分析简述

近些年来，信息技术得到了惊人的发展和成熟，同时它也真正走入了人们的生产、生活中，各行业的日常运作和发展也离不开现代信息系统的支持。特别是上世纪90年代数据仓库技术产生后，给各行业的发展带来了翻天覆地的变化，同时信息、数据规模开始呈PB级增长的趋势。从前的企业仅仅将信息系统视为企业运行程序的一类辅佐系统，对其中庞大信息、数据并没有足够的重视，所以数据的作用并未得到真正的发挥。但通过长期的观察和研究，企业发现利用数据分析不但能减少工作人员的任务量，还能够对客户的多样化需求进行全面、准确地分析，进而有利于企业效益的增长，因此，“大数据分析”的概念就产生了。大数据分析的根本是在庞大的数据中寻找并发现价值，利用大数据分析充分挖掘潜藏的商业机遇与价值。但如果企业对大数据分析的理解仅仅停留在分析数据与数据分析的话，就会掉进技术的陷阱中，进而严重影响企业的经济效益。大数据分析中的“大”是由企业数据分析的原点和数据处理的方法共同决定的，因此大数据中的重点不该单单放在“大”上。大数据拥有“4V”的特性，也就是Variety多样、Vohame大量、Value价值、Velocity高速。

大数据分析的中心理念是脱离以往数据分析的方式，并在庞大的数据里深入寻找和挖掘企业的潜在价值和机遇，进而提升企业的经济效益。当使用者脱离了信息系统的传统视角。所关心的重点从系统自身成功转移到信息筛选的数据上时，就可以在庞大的数据中充分发现潜在的企业价值和商机。

为了更加清晰全面的了解大数据分析在企业管理中的作用，下面将以CapitalOne公司为例进行说明。长时间以来，Capital One都是通过对客户行为数据的分析来针对客户具体情况制定产品以及相应服务方案的，大数据分析系统会对客户的人口统计特征及消费模式等进行分析，从而为用户指定针对性的服务方案。大数据分析技术在Capital One公司的应用不仅提升了Capital One的利润提升空间，同时对提升其在同类企业中的综合竞争实力也具有积极的意义。大数据分析技术应用之前，Capital One公司制定客户服务项目过程中存在着一定的盲目性，针对性不高，经常出现客户与产品不对应的情况，不仅公司利润增加不明显。同时部分客户也会对产品或者是服务产生一定的反感，对企业长远发展是十分不利的。如表1所示为Capital One公司大数据分析前后数据对比。

企业管理中大数据分析的作用

提高企业内部数据统计的真实性。通常来说，企业内部需要收集的信息、数据是和企业管理或者运营有关的，以利于企业活动的正常开展。在以前，企业收集的数据均采用传统的人工统计，并使用报表方式，这样大大降低了数据统计的工作效率，也存在许多人为失误，导致数据统计的真实性始终得不到提高。数据统计结果的目的是为了帮助企业管理层做出正确、科学、合理的有关决策，但由于数据统计的可信度不高，所以很可能造成管理层的决策失误，进而影响企业的运营效益。但自从大数据分析出现后，操作人员能够对数据统计结果的真实性开展再次检验，并从多方位出l针对数据统计的结果开展深层次的解析，以有效保障统计数据的可靠性和真实性。

从前企业中各个部门为了增加自身的效益和绩效难免会擅自改动上报数据，由于采用的是单口径方式，所以最终将出现多种数据统计结果的现象，存在很大的干扰性。但如果利用了大数据分析，就可以从多方位对数据进行分析，不同部门的上报数据将彼此牵制和影响，从而有效保障了数据的真实性。需要注意的是，要想充分达到数据彼此牵制的目的，就必须利用数据结果的最终效益进行调节。

例如，当生产车间定时上报自身的产量数据时，应当完成当天的产量兑现率、当周兑现率以及当月兑现率，而要想达到上报数据产量，就一定要按时达到产量。然后当月的上报总产量就将自动求和每天的产量，一旦中间过程产生冲突就说明车间上报数据存有问题，最后将准确地反映在企业的财务成本口径中，进而有效提高企业内部数据统计的真实性。

给企业管理提供情报支持。通常来说，大中型的企业均将设立情报部门，它们的工作核心是深入、准确地探究企业产业的前沿情况、市场竞争情况等方面。从前企业的情报分析工作一般仅依靠情报员的相关经验与专业知识技能，由情报员自身的观察力与直觉进行情报收集和判断，进而得出情报探究的最终结果。尽管传统的人工情报分析可以获得一定成果结论，但其中的不确定性和风险性较大，因为情报员的主观洞察力和判断力的准确性是个未知数，不能有效保障结论的可靠性。然而由于近代科学信息技术的飞速发展和成熟，人的主观能动性所具有的局限性愈加突出，企业对情报员的相关标准和要求也在逐渐提升。

这时大数据分析的产生给现代企业的情报分析工作提供了无限可能，在一定程度上促进了企业管理水平的提高。大数据所具有的“4V”特征和现代企业情报分析的高标准、高要求等完全符合。具体来说就是高速化特征符合现代企业情报分析的时间性要求，数据分析注重数据的时效性；大规模特征符合现代企业情报分析的广泛性，数据分析注重数据的数量；多样化特征符合现代企业情报分析的来源广泛性。数据分析注重收集的多渠道化；价值特征符合现代企业情报分析的终极目标，也是大数据分析的本质，从数据中充分挖掘数据的价值。