大数据算法分析与应用（精选8篇）

大数据算法分析与应用 第1篇

“大数据算法及临床应用”学术讲座通知

主题：Big Data Algorithms and Clinical Applications(大数据算法及临床应用）

讲座人：美国华盛顿大学计算机系副教授 陈一昕博士 时间：2014年10月20日（周一）下午14：30 地点：湖北工业大学科技楼二楼圆形报告厅

欢迎全校对讲座主题感兴趣的师生参加！

[陈一昕简介] 陈一昕博士，中国科技大学少年班本科毕业，美国伊利诺大学香槟分校获计算机科学博士学位，导师为华云生教授。现任美国华盛顿大学计算机系副教授，终身教授，北京协和医院卫生统计学博导，中国联通研究院大数据首席科学家。

研究领域为数据挖掘、机器学习、优化算法、规划调度、人工智能、博弈论、云计算等。在AIJ、JAIR、TKDE、TKDD、TIST、TPDS等国际一流期刊和VLDB、AAAI、KDD、IJCAI、ICML、RTSS等国际顶级会议和上发表论文100余篇。其研究连续获得美国国家科学基金委、美国能源部、美国国家卫生局、美国能源研究科学计算中心、美国微软公司、美国斯隆凯特琳癌症中心、美国巴恩犹太医院基金、中国科技部973项目的资助。曾获KDD(2014)、AAAI(2010)、ICTAI(2005)、ICMLC(2004)等国际会议的最佳论文奖，以及ICDM(2013)、RTAS(2012)、KDD(2009)、ITA(2004)等国际会议的最佳论文奖提名。其开创性的研究工作获得了美国微软青年教授奖(2007)和美国能源部杰出青年教授奖(2006)。

现担任美国国家科学基金委，香港研究基金委，奥地利国家科学基金委，瑞士国家科学基金委，卡塔尔国家基金委，中国科技部科技评估中心的评审委员。中国科技大学所承担的教育部111引智计划专家组八位专家成员之一，中国计算机学会大数据专家委员会首届委员之一。数据挖掘和人工智能领域的一流期刊JAIR、TKDE、TIST的编委，以及ICML、KDD、AAAI、IJCAI、ICDM、SDM等一流国际会议的程序委员会委员。[讲座摘要] In the era of big data, we need novel algorithms on top of the supporting platform.In this talk, I will first discuss some key aspects of big data algorithms in general.Then, I will talk about our recent medical big data project as a case study.Early detection of clinical deterioration is essential to improving clinical outcome.In this project, we develop new algorithms for clinical early warning by mining massive clinical records in hospital databases.The research focuses on the large population of patients in the general hospital wards, who are not in the intensive care units and suffer from infrequent monitoring.I will discuss the challenges this big data application poses to traditional machine learning and data mining algorithms, our recent progress, and the lessons we learnt.Promising results on real-life clinical trials at the Barnes-Jewish Hospital(the eighth largest hospital in the United States)will be discussed.邀请人 ： 计算机学院 陈建峡副教授

大数据算法分析与应用 第2篇

网页制作、程序设计Java、JSP程序设计、Oracle、XML程序设计、计算机网络、SSH（Struts+Spring+Hibernate）框架、Java EE程序设计、Ajax程序设计、Linux+PHP+MySQL程序设计、Android手机开发、UML系统分析与设计、性能测试、自动化软件测试、软件质量保证、毕业设计及项目综合实训等。

数据结构、计算机网络、计算机组成原理、操作系统原理、编译原理、数据库原理及应用、金融学概论、西方经济学等基础理论课程；

网页制作、程序设计Java、JSP程序设计、J2EE程序设计、SQL Server数据库、Oracle数据库、Linux操作系统、UML系统分析与设计、软件工程、XML程序设计、SSH框架、金融市场学、ERP财务管理、管理信息系统、投资银行学、商业银行学、国际金融管理、毕业设计及项目综合实训等专业课程。

数据结构、计算机网络、计算机组成原理、操作系统原理、数据库原理及应用、软件工程、软件测试等计算机基础理论课程；

大数据算法分析与应用 第3篇

Hadoop是处理大数据的常用平台,在这种架构中大数据被打散成大小相等的数据块写入到不同的计算机。该方案的优势在于,从存储空间来看,针对大数据处理中大量数据持续写入的特点,可以便捷的加入新计算机增加存储空间;另一方面从数据吞吐量来看,同时从多台计算机并行读写数据大大提高了效率。从计算的角度看,对于分布在不同计算机上的数据,用户可以指定一定数量的分布在不同计算机上的JVM(Java虚拟机)分析处理,这些具体执行计算的JVM被系统命名为Child。Child之间遵循MapReduce[1]范式分工合作实现并行计算, 每个Child完成的工作大致可以分为两类Map或Reduce,工作细节由用户编写代码填充到Hadoop的Map或Reduce类来实现。MapReduce范式还有一项特征,在这种模式下用户根据具体问题自己选择关键字和内容(键/值对)来描述数据,键/值对的定义只在处理作业进行时生效。换句话说,同一份数据用户根据不同的需要在编写代码时定义不同的键/值对来描述,键/值对并不是数据的固有属性。这样做的带来的灵活性和多样性决定了hadoop在处理WEB大数据中的大量文本、图像等非结构化或半结构化数据具有优势。

2 Hadoop平台部署

2.1 硬件平台及其局限性

实验的硬件平台由网络连接的29台计算机组成,这些计算机分别属于两个机架,机架内部通过10GB的交换机连接。具体网络结构以及机器规格参照图1、表1。图表中需要注意的有两点 ①图中描绘的网络连接分两组,上半部是以太网下半部分是infiniband网络,而hadoop使用只有以太网;②每台计算机的本地硬盘容量仅250G,这个值远低于hadoop在2010中采用的典型规格4T。存在这些差异的原因是该硬件平台是为传统的超算应用搭建的,主要用于基于MPI的科学计算,本次实验是从原平台隔离出一部分作为Hadoop平台。从实验效果来看,超算平台和Hadoop平台硬件架构标准还是有相当差异 ,尤其是以上提到的第二点,每台计算机硬盘容量的不足在很大程度上局限了后续计算工作的性能。

2.2 平台实现与调优

我们在上述硬件平台的基础上部署并配置了Hadoop,启动之后可以看到的分布在不同的计算机上的一组JVM,这些JVM之间通过网络通信协同工作实现两部分功能:并行计算、分布式存储,本文将这组JVM统称为守护JVM。有三个守护JVM负责对整个集群的管理,分别是管理计算的JobTracker、管理存储的NameNode以及实现元数据备份的SecondaryNameNode。剩余的守护JVM接受来自以上三个守护JVM的指令负责在本机执行作业,共分两类,一类是执行并行计算的TaskTracker,另一类是执行存储的DataNode。

守护JVM 与Child JVM的区别在于,①守护JVM从Hadoop启动之后就一直运行,Child 只在作业进行时运行,作业结束后Child也终止。从这个角度来看,守护JVM是hadoop的实体;②Child由守护JVM来控制,包括启动或终止。图2,图3分别显示了Hadoop启动后状况以及Hadoop正在执行运算时的状况。

图3 Hadoop执行计算时运行的JVM

目前Hadoop中可以调整的参数约160多项,本次实验根据平台实际情况调整了其中若干项。包括根据每台计算机的中央处理器核数调整了单机运行map child以及reduce child的最大数量。以及为提高HDFS吞吐量改动了DataNode处理文件数量的上限。同时考虑到机架内部计算机之间的网络传输带宽高于不同机架之间的网络传输带宽,Hadoop系统设计从以下两方面提高性能,一方面运行在各台计算机上的计算任务倾向于执行机架内的数据传输而非机跨机架数据传输;另一方面负责数据存储的HDFS依据网络状况智能的放置数据块副本,以取得性能和灵活性的平衡。为达到以上效果先决条件是系统必须知道网络的拓扑结构,我们根据指定格式创建一份文本文件描述集群中计算机-机架之间的映射关系,系统读入该文件根据映射关系构建网络拓扑结构。

2.3 数据处理工具

本次实验的目标是针对大数据集的机器学习和预测,考虑到Hadoop在大数据处理领域的广泛应用,底层平台从一开始就选定使用Hadoop。因此在选择数据处理工具时主要针对基于Hadoop MapReduce的数据处理工具,最初我们选择的是Mahout[2],Mahout是基于Hadoop MapReduce开发的一组个对多种算法包括多种机器学习算法的实现。经过实验发现虽然Mahout在算法上的针对性很强,但是结合底层平台的实际运行性能不高,在小数量级上运行顺利,处理大数据则会发生崩溃。崩溃点出现在所有计算机的硬盘容量全部被耗用完时,这正是底层硬件平台的局限性能。Hive[3]虽然没有针对具体算法的实现,意味着要自己编写代码实现算法,但是Hive运行性能显著优于Mahout,另外Hive采用类SQL的查询语言HiveQL,用户只需输入SQL命令系统就会转化为MapReduce任务由Hadoop执行,使用也非常方便。综合考虑底层平台特点和上层应用的需求,最终我们选择Hive作为数据处理工具。

3 实验

3.1 实验准备

实验的原始数据是Netflix Prize[4]提供的两个数据集,包括训练数据集和测试数据集。训练数据集是从Netflix网站1998年10月到2005年12月的电影评分数据中,随机抽样48万用户对1万7千多部电影的1亿多条评分记录,评分的分值在1-5之间。测试数据集供用户对预测结果的精度进行测试,该数据集的内容是从训练数据集抽取的一部分记录,但是记录不包括评分部分。训练数据集的详细特性:①电影代号是1-17770的流水号;②用户代号的取值范围1-2649429,其中有空缺,共计480189个用户;③评分的分值1-5;④用户评分日期的格式为 年-月-日。

原始训练数据集由17770个文本文件组成,每个文本文件记录了一部电影的评分记录,格式如:①电影ID1:②用户ID11,评分12,评分日期13;③用户ID21,评分22,评分日期23;④用户ID31,评分32,评分日期33。

因为原始数据格式与Hive数据格式不一致,所以首先要将17770个原始数据文件整合成1个Hive格式文件。我们将原始数据读入Hdfs,然后通过Hadoop MapReduce将原始数据格式转换成常见的Hive数据集格式,转换前后的数据格式对比如图4、图5。

图5 转换后的Hive数据格式

3.2 实验设计

实验以slopeone[5]算法为基础,步骤依次为① 预处理;②训练;③预测;④精度测试。最后的精度测试通过计算实际评分与预测结果的均方差来验证实验的精度。首先是预处理,netflix只提供了两个原始数据集,分别是训练数据集(training_set)和测试数据集(probe)。从两个数据集的关系来看,测试数据集是训练数据集的子集,同时测试数据集缺少用户评分,这两点都不符合实验要求。第一步预处理要产生一个新的包括用户评分的测试数据target_probe;第二步要将测试数据集从原始训练数据集中完全剔除,产生一个新的训练数据集training_probe;第三步预处理要充分结合slopeone算法的特点,产生一个预测数据集predict_probe,这个数据集的预测结果必须和测试数据集有交集。

预处理阶段整合为三个模块slopeOne_Pjoin01、slopeOne_Pjoin02、slopeOne_Pjoin03,每个模块产生一个新的数据集分别是target_probe、training_probe、predict_probe,这些数据集之间要满足以下关系:

(1) 训练数据集和验证数据集没有交集;

(2) 预测数据集产生的结果数据集和验证数据集有交集。

训练slopeOne_join04和预测slopejoin05阶段是对slopeone算法的实现,精度测试slopeOne_join06则采用均方根误差,细节不再赘述,完整实验流程参照图6。

3.3 实验结果

整套实验流程产生的数据集大小以及操作耗用时间如表2、表3,实验过程总共耗时约8小时,包括中间结果累计产生30多亿条数据记录,最后的精度测试得到均方根误差为1.53004。需要补充说明的有两点①表3中列出的数据集比实验设计增加了两个分别是training_result_probe0、predict_result_probe0,新产生的两个数据集是在主体连接操作产生training_result_probe、predict_Result_probe的基础上进一步做规约操作得到的结果;②由于数据量过大超出平台处理能力,实验在执行预测slopeOne_join05时发生崩溃。为较小数据处理量,我们对预测数据集predict_probe做了缩减,从中46万多用户中选出5000名用户的数据predict_probe0作为预测数据集,因此最后的均方根误差运算中样本数量也减少至17。

除了应用层的实验结果,通过实验也可以看出底层平台在大数据处理方面的表现。以下截取了实验的核心模块预测slopeOne_join05执行过程中网络、内存以及中央处理器的性能指标。其中,最能体现分布式计算特性的网络使用量峰值达到了约650M;内存使用量的最高值突破500G,虽然从图象上看距离集群总内存量还有差距,但是考虑Hadoop平台实际只是整个集群的一部分,实际可用内存量只有600G,内存的使用也达到了相当高比例;CPU的使用峰值也达到了60%。

4 结束语

针对项目实践中对海量数据处理的需求,一段时间以来我们在大数据挖掘方向开展了大量探索与实践工作。本文选择了其中代表性的一组实验,着重分两阶段对实验进行了概要总结。前期侧重于大数据处理平台Hadoop的搭建以及调优;后期围绕slopeone算法,以公开的Netflix prize数据集为范例样本,设计了一套协同过滤数据处理实验。希望这个阶段性的总结工作,能为后续工作的开展做好铺垫,同时为相关领域的工作提供一些借鉴。

参考文献

[1]Dean,J.,Ghemawat,S.MapReduce:Simplified data processing on large clusters.In 6th OSDI .2004.

[2]http://mahout.apache.org/.

[3]http://hive.apache.org/.

[4]http://www.netflixprize.com/.

大数据处理的算法与应用实践 第4篇

本文将首先讨论非结构数据处理流程涉及到的主要算法和技术，并在最后列出非结构化处理在典型行业的一些实际应用案例。

一 非结构化数据处理流程

非结构化处理流程主要以网页处理为例来阐述，包括三个阶段，分别是信息采集、网页预处理和网页分类。

信息采集是将非结构化的信息从大量的网页中抽取出来保存到结构化的数据库中的过程；网页预处理主要是进行一些数据清洗的工作，保证分类质量；网页分类工作则是通过数据挖掘算法训练出来的分类模型，对分类数据进行分类提炼，得出有价值的信息。

信息采集

信息采集面对的是特定的专业人群，其采集的信息只限定于特定的主题和相关的领域，出于对性能和成本的考虑其不必也不可能对整个互联网进行遍历，因此主题信息采集中通常需要研究以何种方式预测链接指向的页面与主题的相关性，并判断其是否值得访问；需要研究以何种爬行策略访问Web，以在尽可能多地采集到主题相关页面的同时尽可能少地采集到主题无关的页面。

信息采集的基本方法是通过预先设定的种子链接集，利用HTrP协议访问并下载页面，在用各种分析算法分析页面与主题的相关性之后提取出待访问的链接，预测链接指向主题相关页面的可能性，再以各种不同的爬行策略循环迭代地访问网页。

信息采集根据基于主题的不同可分为以下两类：一类是基于内容的主题信息采集：它需要建立一个针对主题的词表。另一类是基于超链接的主题信息采集：它是基于网页之间的引用关系，类似Page rank算法。

网页预处理

网页预处理部分本文主要介绍一下网页去重，网页去重可以归为两类：一类是基于URL的对比去重，它适用哈希算法；另一类是基于内容的对比去重，它适用基于信息指纹的文本相似度算法。

网页去重需要先对文档对象的特征抽取，需要将文档内容分解，由若干组成文档的特征集合表示，该步骤主要是为了方便特征比较计算相似度。之后需要针对特征的压缩编码，主要通过哈希编码等文本向数字串映射方式以方便后续的特征存储以及特征比较，起到减少存储空间，加快比较速度的作用。最后需要进行文档的相似度计算，这一步需要根据文档特征重合比例来确定是否重复文档。一般是对网页提取一个信息特征，通常是一组词，或者是词加权重，调用特定的算法，转化为一组代码，也被称为指纹。若两个页面有相当数量的相同指纹，那么可以认为这两个页面内容重复性很高。

网页分类

分类问题是人类所面临的一个非常重要且具有普遍意义的问题。将事物正确地分类，有助于人们认识世界，使杂乱无章的现实世界变得有条理。自动文本分类就是对大量的自然语言文本按照一定的主题类别进行自动分类，它是自然语言处理的一个十分重要的问题。文本分类主要应用于信息检索，机器翻译，自动文摘，信息过滤，邮件分类等任务。文本分类的一个关键问题是特征词的选择问题及其权重分配。

在搜索引擎中，文本分类主要有以下用途：相关性排序会根据不同的网页类型做相应的排序规则；根据网页是索引页面还是信息页面，下载调度时会做不同的调度策略；在做页面信息抽取的时候，会根据页面分类的结果做不同的抽取策略；在做检索意图识别的时候，会根据用户所点击的URL所属的类别来推断检索串的类别等等。

网页分类方法有SVM分类方法和朴素贝叶斯方法：其中比较推荐的是SVM分类方法，Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（SupportVector Machine，简称SVM）。支持向量机的提出有很深的理论背景。支持向量机方法是在近年来提出的一种新方法。

典型的SVM分类有两种，一种是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；另一种是基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

典型的朴素贝叶斯分类，它可以分为模型训练、模型分类和分类结果评估三个阶段：模型训练阶段，主要计算训练集下所有类别的先验概率，以及所有特征词在每一个类别下的条件概率；模型分类阶段，对训练集建立模型；对每个待分类文档计算后验概率，后验概率大的类别为文档所属类；分类结果评估阶段：对分类结果进行抽样、人工检验。分别计算出每个类别分类的查准率和查全率，通过F—度量公式评估模型准确度。

二 自然语言处理的典型方法与应用

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。研究能实现人与计算机之间用自然语言进行有效通信的理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

自然语言处理部分主要以舆情分析为例，舆情分析系统的数据来源有三个渠道，一是网络上公开的信息，如各大交易所每日评论，社交网络各方观点和财经门户网站。二是从合作方获取的信息，如交易信息等。三是微博、人人网等社交网络信息。

网页信息摘要

网页信息摘要需要将同一主题下的多个文本描述的主要信息，按压缩比提炼出一个文本的自然语言处理技术。对于互联网上海量的期货分析报道，如果能从中提炼出一个覆盖性强、形式简洁的摘要将具有重要的意义。

nlc202309022122

如何收集企业的战略信息？面对海量信息，一个研究员需要花费4个小时阅读相关信息。借助语义引擎，把50篇文献缩略成10余条概要，面对概要信息，一个研究员需要花费3分钟阅读相关信息，并形成思考。借助文字情绪引擎，把概要内容指数化、知识化，面对指数信息，一个研究员需要花费2秒钟阅读相关信息，并获得决策支持所需的知识。

热点事件预测

热点事件的发现与预测的算法有很多，最行之有效的方法是做大规模的逻辑回归。在大数据的背景下，我们拿到的数据是全量并非抽样，这使得类似逻辑回归等简单算法起到事半功倍的效果。通过历史事件传播数据，提取向量，并做逻辑回归出规则，就可以做很多预测。例如美国大选，疾病传播，甚至预测死亡。

维克托·迈尔-舍恩伯格写的《大数据时代》一书中就有这么几个关于热点事件预测的案例：

案例一：华尔街“德温特资本市场”公司首席执行官保罗霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。他的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著——当年第一季度，霍延的公司获得了7%的收益率。

案例二：美国一个超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来，该超市通过调查罗列出几十种购物偏好，当某位顾客的收银条上集中呈现这类商品时，就会被认定为可能是孕妇或家中有孕妇，超市随后向其发送孕妇产品广告。一次，当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后，却发现原来是自己还在上高中的女儿怀孕了。

案例三：2009年甲型H1N1流感病毒出现，在没有疫苗的情况下，公共卫生专家能做的只是减慢传播速度，要做到这一点，专家必须先知道流感出现在哪里，这只能依靠各地医生发现并告知疾控中心，信息肯定是滞后的。可是，Google的工程师们比疾控专家更早地判断出流感从哪里传播出来，他们依靠的就是Google所掌握的大数据。

历史相似事件可使用文档相似度比较。文档相似度比较算法首先采用TF-IDF方法把文档建模为词频向量，然后使用向量距离计算算法求得。常用的距离计算方法如：Jaccard距离、欧式距离、余弦相似度等。

情感分析

正负情感度量化统计分析一般用于分析金融机构和大众对期货产品的态度、情感和观点倾向，对行情走势往往具有十分重要的意义。通过对收集来的信息进行情感度分析后，可以统计出社会舆论对期货未来走势的观点倾向度。通过计算历史舆论观点与走势的相关度可以验证情感度分析模型的有效性。

情感词监测模块是通过对金融期货网站定时采集更新，对舆论话题进行连续监控，提取热点关键词，实现热点信息的实时发现。通过搜索引擎抓取情感关键词热度，计算关键词与趋势相关性。

主题词表的优劣在相当程度上影响了系统后续的信息采集内容和效果。首先，由领域专家给出相关领域的权威网站作为基础语料来源，通过对权威网站网页内容的整站抓取获得领域语料资源。之后对语料资源进行中文切分词和词频统计，获得一张高频词表。再由领域专家对高频词表中的高频词汇进行整理，人工选取出与领域相关的词语。然后，对从高频词表中选取出的领域主题词进行上位词（花是鲜花的上位词，植物是花的上位词）、下位词、同义词、近义词扩展，去除重复词汇，从而最终形成相关领域的主题词表。在信息采集系统后续的采集中还将不断收集相关领域的新词汇，在发现领域新词后加入到领域主题词表中，形成系统性的反馈机制，从而不断对主题词表进行更新维护。

正负情感度量化统计分析是从抓取的文章中进行情感度分析打分，分数范围为不等。负数越大表示负面观点强度越强，正数越大表示正面观点强度越强，0表示持有中立态度；通过情感度分析可以统计出一段时间内社会舆论对于某个话题的正负面态度，舆论压力往往可以导致市场波动。

情感词检测通过对金融期货网站定时采集更新，对舆论话题进行连续监控，提取热点关键词，出现频率较高的词语作为热点信息词，实现金融热点的实时发现。

趋势分析和预测

根据交易的价格曲线走势，与综合指数对比，使舆论指数趋势体现与交易价格曲线的相关性和一定的前瞻性。通过构建时间序列模型，对未来走势进行预测，如图1所示。综合指数包括各个相关因素的变化趋势（天气因素等）以及舆论指数。

三 行业应用案例

数据挖掘和自然语言处理的应用范围广泛，其中也不乏一些有意思的案例，它可能应用于运营商、银行、传统企业和券商，挑选几个具有代表性的案例与大家分享。

电信行业

某城市电信运营商的上网日志分析系统，该系统通过收集用户上网日志历史记录数据，分析出每个用户的偏好。首先该系统通过并行统计清洗出每个人有效历史上网日志URL；然后从日志URL中抓取网页内容，提取正文，并通过文本分类算法计算分类；最后通过统计出每个用户上网关注类别总数，分析出每个用户的偏好。

金融行业

某大型股份制商业银行供应商风险评估系统，该系统通过抓取供应商内部数据，如企业年报、公司变动、领导情况、财务状况等数据，分析公司运营指数；通过计算各供应商社交数据，对其社会影响力做评估；通过同行之间的数据分析对比，对供应商进行实力评估。这些数据指数可以有效协助商业银行进行供应商风险评估。

地产行业

某房地产企业的社会化品牌实时营销系统，该系统通过社交媒体（微信、微博等）数据，进行网络口碑监测，负面情绪被及时发现并制止；通过与客户进行互动，争取客户忠诚度；通过监控同行及竞争对手的各方面资讯，量化评估竞争态势；快速提升品牌知晓度和美誉度，将媒体影响力转换为客户量，缩短人气聚集周期。

证券行业

某券商战略信息监测通过历史回顾与信息摘要，提供题目、摘要、原文URL，今日舆情焦点（今日摘要），今日舆论，展示抓取的所有期货产品相关信息（如大豆）的缩略，并提供全文链接。通过热点事件列表可以看到历史相似事件对趋势的影响。通过天气指数与趋势对应曲线可以看到历史相似天气与历史趋势的对照。

从以上几个非结构化数据处理在典型行业的实际应用案例，我们不难看出，当今社会中的各个行业对数据挖掘和自然语言处理应用的需求量巨大，该领域蕴藏着巨大的商业价值和理论研究价值，在上网日志分析、商风险评估、社会化品牌实时营销和战略信息监测等实际应用领域都有着非常广阔的前景。

大数据时代下数据挖掘技术与应用 第5篇

【摘要】人类进入信息化时代以后，短短的数年时间，积累了大量的数据，步入了大数据时代，数据技术也就应运而生，成为了一种新的主流技术。而研究数据挖掘技术的理念、方法以及应用领域，将对我国各个领域的未来带来更多的机遇和挑战。本文就大数据时代下数据挖掘技术与应用进行探究。

【关键词】大数据，数据挖掘，互联网

数据挖掘是一门新兴的学科，它诞生于20世纪80年代，主要面向商业应用的人工只能研究领域。从技术角度来看，数据挖掘就是从大量的复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值和知识的过程。从商业角度来说，数据挖掘就是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。

1.数据挖掘的基本分析方法

分析方法是数据挖掘的核心工作，通过科学可靠的算法才能实现数据的挖掘，找出数据中潜在的规律，通过不同的分析方法，将解决不同类型的问题。目前常用的方法有聚类分析、特征数据分析法、关联性分析等。

1.1聚类分析法。简单来说聚类分析就是通过将数据对象进行聚类分组，然后形成板块，将毫无逻辑的数据变成了有联系性的分组数据，然后从其中获取具有一定价值的数据内容进行进一步的利用。由于这种分析方法不能够较好的就数据类别、属性进行分类，所以聚类分析法一般都运用心理学、统计学、数据识别等方面。

1.2特征性数据分析法。网络数据随着信息时代的到来变成了数据爆炸式，其数据资源十分广泛并且得到了一定的普及，如何就网络爆炸式数据进行关于特性的分类就成为了当下数据整理分类的主要内容。此外还有很多方法都是通过计算机来进行虚拟数据的分类，寻找数据之间存在的普遍规律性完成数据的特性分析从而进行进一步分类。

1.3关联性分析法。有时数据本身存在一定的隐蔽性使得很难通过普通的数据分析法进行数据挖掘和利用，这就需要通过关联性分析法完成对于数据信息的关联性识别，来帮助人力完成对于数据分辨的任务，这种数据分析方法通常是带着某种目的性进行的，因此比较适用于对数据精准度相对较高的信息管理工作。

2.数据挖掘技术的应用

数据挖掘技术的具体流程就是先通过对于海量数据的保存，然后就已有数据中进行分析、整理、选择、转换等，数据的准备工作是数据挖掘技术的前提，也是决定数据挖掘技术效率及质量的主要因素。在完成数据准备工作后进一步对数据进行挖掘，然后对数据进行评估，最后实现运用。因此，数据挖掘能够运用到很多方面。如数据量巨大的互联网行业、天文学、气象学、生物技术，以及医疗保健、教育教学、银行、金融、零售等行业。通过数据挖掘技术将大数据融合在各种社会应用中，数据挖掘的结果参与到政府、企业、个人的决策中，发挥数据挖掘的社会价值，改变人们的生活方式，最大化数据挖掘的积极作用。以教育行业为例，探究数据挖掘技术在高校教育教学活动中的应用。

2.1在高校管理中的应用。数据挖掘技术在高校管理的内容主要包括：高校招生录取工作、贫困生选定以及优秀生评定等。高校每年的招生工作是学校可持续发展的重要环节，直接影响到高校教学质量以及发展情况。比如数据挖掘技术在高校管理中的应用主要是对学生高考成绩、志愿填报、以及生源来源地等多方面信息进行整理分类汇总。具体步骤是通过进行数据的收集和预处理，建立相关数据模型，采用分类算法，提取和挖掘对用户有用的信息，然后进行数据挖掘的数据存储形式。目前高校数据挖掘技术应用的范围比较广泛，由于高校管理内容比较复杂，因此在其管理内容的每个小部分也开始利用数据挖掘技术进行管理，比如学生成绩管理，课堂教学评价系统等。

2.2在高校课堂教学评价中的应用。数据挖掘技术在高校课堂教学评价系统中的应用主要也是利用关联分析法。首先先对数据进行预处理工作，数据的预处理是数据挖掘技术的关键步骤，并且直接影响着数据挖掘技术的应用效率。数据预处中要将教师的基本信息、教师教授课程以及教师的职称、学历、学生信息以及学生课表相关信息进行数据初始记录。对于教师的评价内容根据高校自身的条件和需求而定，学校教学评价管理部门登录学校教务系统后，将学生所选择的选项对应转换为教师的分值，通过计算机计算总分后得出教师的学期得分。学生对于教师教学的评价在一定程度上也反映了自己的学习情况，如对教师的评价为零分，则说明学生也否定了自己的学习效果。2.3在高校学生信息管理系统中的应用。高校学生信息管理系统中管理要素主要是学校的领导、任课教师、学生以及家长。系统的功能要包括：对不同的用户设置不同的使用权限；对学生的基本信息以及学生浏览管理网站的记录要做到明确记录；各个学院不同专业的学生课程要能准确公布并允许学生根据实际情况修改；成绩管理要能实现大批量添加及修改；还有比如评优活动、党务管理等具体功能。数据挖掘技术在高校学生信息管理系统中的应用主要是利用决策树的方法。学生信息管理的基本数据就是学生入学时填写的基本信息表，内容包括学生的姓名、学号、考勤以及学习成绩等，这些都是学生特有的属性，学生信息管理利用决策树方法就是将学生的这些属性作为决策元素，监理不同的决策节点，实现对学生全方位的考核和评价，完整的了解到每位学生的具体信息。

2.4高校图书馆信息系统中的应用。数据挖掘技术最基本的应用就是通过对现有的数据进行分析来了解学校图书馆现有资源利用情况，为图书馆的未来建设提供可靠数据。数据挖掘技术能够使图书馆资源得到极大程度的优化整合。比如数据挖掘技术可以对检索记录进行整理，将手工数据转变为电子数据记录。其最大的优势就是利用数据挖掘技术更加全面的分析总结数据库资源，帮助图书馆管理人员对于图书馆信息的补充和调整，还能够为高校图书馆的馆藏工作建设提供有效的引导。数据挖掘还能应用于图书馆的多媒体数字资源，多媒体数据挖掘技术能够更为快捷和准确的为读者提供相应的服务。

3.结语

数据挖掘技术是近几年新产生的网络技术，可是它的广泛应用性受到了很多公司以及研究人员的喜爱。这些年来，伴随着时间的推移以及网络技术的不断发展大数据挖掘技术不断的被更新，开发，而且在金融、管理、教学等行业中都得到了广泛的应用。我相信随着网络技术的不断发展，大数据挖掘技术的应用面将会越来越广。

【参考文献】

《大数据：技术与应用》学习心得 第6篇

本次讲座上，梅宏院长从“大数据是什么”、“如何应对大数据”、“如何应用大数据”、“大数据现状和思考”等多个方面，全方位、多角度、立体式地解读了大数据的技术与应用，语言生动、内容详实，既传达了党中央的精神，又谈了自身学习体会，既解读了大数据发展的规律，又提出了学习领会的意见建议，为贵州省各级领导干部、国家机关、公职人员学习互联网知识，熟练掌握大数据知识指出了路径、传授了方法。

通过学习，我们知道信息时代的到来，感受到的是技术变化日新月异，随之而来的是生活方式的转变，我们这样评论着的信息时代已经变为曾经。如今，大数据时代成为炙手可热的话题。

今天，信息是一个高度概括抽象概念，是一个发展中的动态范畴，是进行互相交换的内容和名称，信息的界定没有统一的定义，但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据是描述事物的符号记录，是可定义为意义的实体，它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述，是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”，如图形、声音、文字、数、字符和符号等。从定义看来，数据是原始的处女地，需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发，只是当数据爆发到无法驾驭的状态，大数据时代应运而生。

在大数据时代，大数据时代区别与转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。数据的更多、更杂，导致应用主意只能尽量观察，而不是倾其所有进行推理。小数据停留在说明过去，大数据用驱动过去来预测未来。数据的用途意在何为，与数据本身无关，而与数据的解读者有关，而相关关系更有利于预测未来。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进，理论来创立处理非结构化数据的方法，处理结果与未来进行验证。大数据是在互联网背景下数据从量变到质变的过程。小数据时代也即是信息时代，是大数据时代的前提，大数据时代是升华和进化，本质是相辅相成，而并非相离互斥。客户数据、交易数据、管理数据等海量数据不断增长，海量机遇和挑战也随之而来，适应变革，适者生存。我们可以有更广阔的学习空间、可以有更精准的决策判断能力这些都基于数据的收集、整理、驾驭、分析能力，基于脱颖而出的创新思维和执行。

大数据崛起与数据挖掘分析论文 第7篇

1相关概述

1.1大数据

大数据又被称为巨量数据，其是在物联网、云制造技术影响下产生的一种新型的信息处理模式，通过分析信息资产的变化规律，从而使信息处理具有更高的流程优化能力和决策洞察能力。

1.2大数据崛起

大数据风暴已影响到全世界的各个角落，在社会中的各个领域都需要通过数据分析各行业的运营情况，并根据数据分析结果作好相应的决策与判断，因此，大数据已在社会中得到广泛使用并快速崛起。企业通过将所有的业务数据信息进行整合分析，形成高速、真实及多样的管理模式，将能有效降低企业业务操作的资源损耗，同时还能有效提升企业工作的质量和效率[2]。

1.3数据挖掘

数据挖掘技术是一种新兴的科学技术，是由网络技术发展而来的，其不仅能用来分析具有特定规律的事物，同时对于数据量较大且复杂的数据信息其也能发掘其中的联系，并利用有效的技术手段，将复杂的数据信息从数据库中抽离出来，采用自身的编辑、处理及合成功能集合数据信息，供人们分析和使用[3]。

1.3.1基本特点

数据挖掘也可以被理解为数据分析，它的主要特点是能够对数据库中的各项数据进行分析、抽取、模型处理以及转换等，提取其中的关键性数据辅助人们进行企业生产决策，并能取得良好的效果。相较于传统的数据分析，其是在数据未知的情况下进行信息挖掘，因此，数据挖掘的三大基本特征是未知、实用性强、有效。在进行数据挖掘过程中可采用分类、聚类、决策树、关联规则等多种不同的分析方式进行数据信息发掘。

1.3.2基本步骤

数据挖掘一般分为数据准备、数据挖掘、运用管理、计算知识提取数据信息三个步骤。（1）数据准备，也就是要明确数据目标，在数据库中检索出符合条件且能被运用的数据，并做好分类、编辑等准备工作。（2）数据挖掘，根据数据挖掘的要求和目标，选择科学、合理的分析和计算方法，找出数据信息的特征和数据之间的联系，并归纳数据的应用价值表现[4]。（3）运用管理、计算知识提取数据信息，对于数据信息的总结还需进行实践与评估，也就是将得出的数据结论运用到实践工作中，通过实践结果判定其数据发掘分析过程的正确与否。

2数据挖掘的应用

大数据算法分析与应用 第8篇

一、基本原理

1.1 MR介绍

MR (Measurement Report) 即测量报告, 包含小区的e Node B ID、CI、RSRP、RSRQ、TA、AOA、Sinr UL等信息, 主要是为切换判决和功率控制提供依据。测量报告触发方式可以是事件触发或周期性触发。测量方式采用周期测量时, 可在测量任务定制时对上报周期进行配置。测量报告数据主要来自UE和e Node B的物理层、RLC层, 以及在无线资源管理过程中计算产生的测量报告。原始测量数据或者经过统计计算 (可以在e Node B或OMC-R上实现统计) 报送到OMC-R以统计数据形式 (MRS) 或以样本数据形式 (MRO) 进行存储。

1.2 MR采集周期定义、应用

MR采集周期包括e Node B/UE测量采样周期和OMC-R统计周期。测量采样周期系统配置为5120ms, 每个e Node B全天测量16583次;OMC-R统计周期为15min, 即每个e Node B每15分钟生成一个测量报告文件, 24小时生成96个测量报告文件。一个测量报告文件里包含该ENB下所有e Node B和UE本身约176次测量结果。

MR数据包含MRS和MRO数据, 利用MRS数据可以统计全网小区覆盖率、高干扰小区和UE发射功率余量等信息;利用MRO数据可以进行全网用户定位情况、覆盖情况、干扰情况、重叠度覆盖度情况等问题进行分析和定位。在日常网络优化中, 解析MRO数据利用小区测量得到的邻频点RSRP信号最强次数小区的相关信息可以为邻区优化提供全面和准确的数据支持。

二、基于MR的邻区优化

下面介绍基于MR的邻区思路和操作步骤, 并根据实施的结果得出优化的效果。

2.1优化思路和方法

在TD-LTE系统内, 空闲状态的移动性管理主要通过UE的小区选择/重选过程来实现;连接状态的移动性管理主要通过切换过程来实现, 切换过程完全是由网络控制的。小区选择过程中UE根据S准则只需搜索信道质量最好的小区驻留, 在小区选择之后UE需要持续地进行小区重选, 以便驻留在优先级更高或者信道质量更好的小区, 更好地为其提供服务;为辅助网络作切换判决, UE切换之前上报服务小区及邻区的信道质量, 从而使网络可以更合理地进行判决切换。在小区重选或切换中, UE和网络侧均主要根据测量得到的邻区RSRP强度执行目标小区的重选或切换, 所以邻区配置合理性关系到能否重选或切换到RSRP强度最优邻区, 对UE移动性影响甚大。

1、准备工作:

(1) 工参准备:准确的工参表, 包含全网小区经纬度、Earfcn、PCI等关键信息, 为后续MRO数据

分析做准备;

(2) 性能较好服务器:Intel E5-2xxx系列处理器、至少48G运行内存、2T硬盘以上。由于全网MR数据较多占用空间较大, 大量的MRO文件解析需CPU处理能力高, 故需要服务器性能较好。

(3) MRO解析工具开发:该工具能提取MRO文件内每个小区测量到邻区频点、PCI、RSRP信号强度和TA等相关信息, 并能根据工参自动匹配出邻区小区名称。

2、邻区优化过程

现网MRO数据, 每一个文件内上报UE占用的小区 (包含RSRP强度) 和测量得到的多条邻区相关信息 (包含Earfcn、PCI、RSRP强度和Tadv等) , 利用工具提取邻区的原则如下:

(1) 小区内每个用户上报的测量信息中, 记录邻区RSRP最强的小区, 统计同一小区中每个用户上报相同的RSRP最强邻小区出现的次数, 取前50个邻区;

(2) 利用最强邻小区的Earfcn和PCI在前期准备的工参表中匹配判定小区, 由于全网Earfcn和PCI复用度较大, 通过经纬度定位距离服务小区最近的小区为准确邻区。

(3) 将提取出来的邻区列表制成MAPINFO的图层导入, 结合地理信息最终确定应该添加或者删除的邻区关系。最后制件邻区维护脚本, 导入网管批命令操作台执行即可完成。

3、特殊情况处理

(1) 在MR采集数据期间现网存在故障的站点或小区, 其测量报告也会随之减少或者无上报, 在删除邻区时应注意核对地理位置信息和统计现网切换次数再操作, 避免误删邻区关系;

(2) 现网部分室分站点由于覆盖范围限制用户过少, 上报测量报告数量有限, 统计出来的邻区测量次数会很少, 但这些邻区关系不能删除, 邻区维护时注意该部分室分站点剔除。

2.2邻区优化后的效果

1、优化后小区重选的效果

邻区优化后, UE测量得到的都是有效准确的邻区, 小区重选的时间缩短, 确保了UE在快速移动时不会因重选不及时而导致脱网, 提升全网4G驻留比和流量。

2、优化后小区切换的效果

邻区优化后, 全网切换成功率明显提升。小区切换性能与一个最佳的邻区配置有很大关系。小区邻区列表中定义太多的邻区会导致过多的切换, 容易引起信令负荷过载, 用户感知差。由于UE须测量所有的邻区, 邻区越多UE测量的精确度就越低;邻区过少容易因切换失败导致较差的服务质量甚至掉话。通过MR数据分析来定义邻区, 确保了邻区关系的准确性和完整性, 减少系统的负荷, 同时提高网络的质量和提升用户感知度。具体邻区优化流程图如下:

三、总结

本文提出了一种利用海量MR数据的统计分析对全网小区进行邻区配置优化的方法, 利用MRO数据携带的Earfcn、PCI和RSRP强度等信息输出一份准确性高和完整性好的邻区关系列表。从MR采集、MR解析到邻区优化的过程均由后台进行操作, MR数据来源准确可靠且采集方便, 比传统的邻区优化需要大量的路测、定点采样更节省时间和资源, 同时提升小区的重选和切换性能, 真正摆脱了人力、物力和时间的问题。

摘要：本文主要阐述MR分析在TD-LTE网络中邻区优化的应用, 利用MRO解析, 分析测量得到的邻频点RSRP信号最强小区及邻区优化的建议算法。介绍基于MR邻区优化的实际应用, 有重要的推广意义。

关键词：测量报告,邻区优化,MRO,TD-LTE,小区重选,切换

参考文献

[1]王映民, 孙韶辉等.TD-LTE技术原理与系统设计[M], 北京, 人民邮电出版社, 2010.