正文内容
大数据现状范文
来源:火烈鸟
作者:开心麻花
2025-09-18
1

大数据现状范文(精选12篇)

大数据现状 第1篇

网络以超乎人们设想的速度进入人类社会, 融合了科学、经济、艺术等, 把人们裹挟在虚拟世界中。自上世纪80年代以来, 人们就逐渐在网上交易。曾几何时, 由于网上交易的匿名性和第三方的缺失, 产生了很多投机行为, 随着第三方惩罚 (政府、NGO等) 机制和声誉机制的建立和不断发展完善, 优化了网上交易环境, 吸引了越来越多的人们活跃在网络空间。

网络数据不再是人们上网环节产生的副产品, 相反, 网络折射出十分诱人的前景, 已成为维系社会经济事业的关键纽带。一些业内人士开始运用统计学工具对这些数据进行分析。现如今, 云计算、物联网、社交网络等新兴事物的发展和应用, 使得人类社会更加舒适, 人们生活质量不断提高, 与工作生活相关的信息与数据的种类和规模同时正以前所未有的速度暴涨。

根据ZDNET机构的《数据中心2013:硬件重构与软件定义》年度技术报告可知, 2013年我国产生的数据总量已超过0.8ZB (相当于8亿TB) , 2倍于2012年的数据总量, 相当于2009年全球的数据总量。预计到2020年, 我国产生的数据总量将是2013年的10倍, 超过8.5ZB。大数据已深深地覆盖了人类经济社会的许多角落。这所有的一切宣告着人类正式迈入大数据时代, 数据从简单的处理对象开始转变为一种基础资源, 如何才能更有效地管理和开发是一个具有前瞻性的新命题。

什么是大数据?

大数据其实并不是一个新鲜事物, 早在上世纪80年代伊始, 长期关注科技进展的“最有影响的未来学家”阿尔文·托夫勒 (Alvin Toffler) 就指出, 大数据将成为第三次浪潮中最精彩的篇章。只不过是最近几年更频繁、更迅速地进入人们的视野, 刷新着大众的互联网思维。虽然人们已经对大数据并不感到陌生, 但是很少有人真正地探究过隐藏在大数据背后的神秘王国。

提及大数据这一概念, 很多人只能从数据量上去模糊地感知, 其实大数据离我们一点儿也不远。在Amazon购物每秒会产生72.9笔订单, 在You Tube网站每分钟上传的视频总时长达20小时之多, Google平均每天处理24PB数据量, Facebook用户超过10亿, 每月上传近75亿张照片, 每天生成近300TB日志数据。使用阿里巴巴网站的活跃买家已超过2.31亿人, 每年的订单量约为113亿, 而年商品销售额超过了2960亿美元, 它每天产生几十TB的日志分析数据。

根据艾力·西格尔的估计, 人类如今每天都会增加2.5万亿字节的数据。文字成了数据, 机械的物理状态成了数据, 人们所处的地理位置成了数据, 甚至人与人之间的互动信息也成了数据。

大数据本身是一个比较抽象的概念, 让人不免望文生义, Big Data这种字面翻译可以恰如其分地刻画出其自身庞大的数据规模。如果仅是从数据量考量, 无法让非专业人士把大数据这一当前业界最流行的概念和过去使用的海量数据Massive Data以及超大规模数据Very Large Data概念清楚地区别开来。

到目前为止, 人们对于大数据尚未有一个业界统一的定义。通俗的讲, 人们常把大数据的特性概括为“4V”:一是庞大的数据量 (Volume) 。传统的技术已无法处理庞大的数据量, 例如, 一座中型城市每月就产生数十亿智能电表数据。二是多结构化数据 (Variety) 。不仅有传统的结构化数据, 而且有非结构化、半结构化数据。三是增长速度快 (Velocity) 。大数据所涉及的业务包括海量数据的及时有效分析、实时采集数据等, 目前大数据面临的难题为用户技术庞大, 设备数量众多, 实时数据近乎海量, 数据量呈指数级增长以至于存储备份困难等。四是价值密度低 (Value) 。单条数据并没有太大的价值, 然而庞大的数据量能分析出客户群体的各种趋势, 其本身就是巨大的财富。

大数据的应用现状

现在, 来自世界各国政府和公司、科研机构和院校纷纷把未来的研究方向对准大数据, 殷切期盼挖掘出大数据所蕴含的经济、科研价值。例如, 谷歌、甲骨文、百度、Facebook、IBM、亚马逊、淘宝等全球商业巨头均十分关注大数据处理工具和技术的发展动向, 纷纷向自己的大数据项目投入大笔研发经费, 并且已产生了丰厚的现金流。参加“大数据研究和开发倡议 (Big Data Research and Development Initiative) ”的科研机构将在未来几年受到来自NSF的资金资助, 这无疑将会大幅度提高现有的工具和技术访问、整理、收集、分析海量数据的速度。

奥莱利媒体颇具前瞻性地预测, 未来属于那些有能力把大数据的神奇特性放进产品的公司。

通过对大数据的分析和应用, 可降低行业成本、振兴传统产业的效能。大数据的神奇传檄天下。搜索应用就是一个很好的例子。传统意义上的搜索引擎是基于一些相对简易的数学算法, 只是粗暴地依据搜索量排名列示内容。然而, 搜索量大并不自然地等于用户真正想要。仅就此一条, 现有的搜索技术无法满足顾客饥肠辘辘的胃口, 这一形势形成断崖, 互联网公司需要惊人的一跃, 源于大数据理念的智能搜素等新技术正在实验室中孵化。

企业如能开挖大数据这个矿脉, 对已有市场进行细分, 极大地释放顾客的个性化需求, 量体裁衣, 就会在未来赢得战略优势。例如, 沃尔玛通过数据分析发现, 在飓风袭击某地之前, 不但当地对手电筒的需求会上升, 果塔饼干的销量也会随之上升, 沃尔玛借此大赚了一笔。

现在, 人们的生活水准显著提高了, 从以往一心一意解决“温饱”转变为健康、环保的生活态度。医疗产业的发展前景十分诱人。美国基因组学家埃里克·托普 (Eric J.Topol) 在《颠覆医疗:大数据时代的个人健康革命》指出:“i Phone、云计算、3D打印、基因测序、无线传感器、超级计算机, 这些改变了我们生活的事物, 将再一次地融合在一起, 对医学进行一次‘创造性破坏’。”据Nature新闻报道, 在医疗卫生领域, 迄今最大的一项数据试验终于设定了第一个研究目标。美国华盛顿哥伦比亚特区患者中心成果研究所 (PCORI) 的负责人日前投票决定, 将该所的第一项临床试验聚焦于阿司匹林预防心脏病的疗效。这项斥资1000万美元的先导性研究将由PCORnet负责实施, 后者是PCORI创建的一个网络, 用于在美国采集3000万人的医疗保健数据, 如保险索赔、血液检查和病史等, 这些场景或许在不久的将来会在我国实现普及。

在餐饮行业, 大数据也有用武之地。2008年美国金融危机席卷全球之后, 大多数餐饮企业的收入和利润双双大幅度跳水。然而, 星巴克利用区位数据的数据分析方法十分方便地找到了最合适的地点开设新店。星巴克还利用当地智能手机的用户信息, 决定在美国南方州市的哪一区域开展手机应用优惠推广。有媒体报道, 这家跨国公司正为店内咖啡杯装上数据采集器, 收集顾客喝咖啡所需时间的数据, 从而为喝咖啡较慢的顾客提供保温效果较好的咖啡杯, 提供更优质“顾客第一”温馨服务。星巴克把周到的人性化服务和大数据应用有效地用到一起, 产生了涟漪效应。

大数据展望

2005年, 欧洲工商管理学院的教授金伟灿 (W.Chan Kim) 和勒妮·莫博涅 (Renée Mauborgne) 在其合写的风靡全球的管理类畅销书《蓝海战略:超越产业竞争, 开创全新市场》中, 提出了“蓝海战略”的概念。在传统的商业竞争领域中, 留下一片片猩红的经过非常残酷的厮杀的“红海”, 价格战代价高昂, 往往“杀敌一千自损八百”。在“红海”之外, 存在着一片静谧的“蓝海”, 几乎没有“杀手级”公司, 公司之间的技术、产品“半斤八两”, “逆袭”是完全可能的。在pc时代, 微软取代了IBM的霸主地位, 在智能手机的时代来临时, 苹果公司推出iphone, 颠覆了手机行业的既成格局, 诺基亚手机这颗曾经耀眼的巨星日渐陨落。我国民主革命伟大的先行者孙中山先生在时代更迭风云际会之时说过:“世界潮流浩浩荡荡, 顺之则昌, 逆之则亡。”用在此处恰如其分。

与人类几百万年的漫长历史相比, 公司的历史极为短暂。但毋庸置疑, 公司制是人类历史上一个了不起的发明, 随着经济全球化的日益深入, 公司深刻地改变了世界以政治划分的版图。而大数据正在以“四两拨千斤”之势塑造着全新的全球商业图景。在第二次机器时代, 正如石油为工业输送“血液”, 大数据把所有公司带进了不可预测的未来。谁能更好地驾驭大数据, 谁就更可能拥有未来。为了应对这一世界化的变革, 首席执行官 (CEO) 、首席财务官 (CFO) 、首席运营官 (COO) 、首席技术官 (CYO) 在中国公司中刚开始大行其道之际, 西方工业企业如CocaCola (可口可乐) 、DSM等公司内部就已出现了负责对企业内部信息系统和信息资源规划和整合首席资讯官 (CIO) 。大数据俨然成为发展在21世纪的公司的极富商业应用价值的战略资源。

像谷歌、Facebook、Netflix、搜狐等公司, 可利用现有技术记录用户上网的所有的海量的数据, 如上网时间和频率、浏览内容的类型等, 利用用户留下的痕迹的拼图, 使平时人们不易察觉的不同事物之间隐秘的联系原形毕露, 获得这些珍贵数据的广告商因此也会更懂消费者的需求, 向消费者推送更多符合他们口味的广告;编剧也会因此写出更能满足消费者内在观影需求的剧本。

在现代意义上公司发展的历程中, 我们可寻到一条若隐若现的主线。在公司成长伊始, 商人通常需要亲自或委托他人去当地市场获得实地销售情况、拜访客户、了解他们对产品质量和性能的要求, 只有这样才能生产出迎合人们喜欢的畅销商品。此后, 经济学家通过细致的观察和缜密的逻辑推理出具有因果关系的数量模型, 人们可依据这些模型做出更加科学的商业决策。随着经济学、管理学和其他学科日益紧密的融合, 催生了大量只有研究人员才明白的理论模型。虽然大幅度提高了做出商业决策的准确性, 但是对一家普通的企业而言, 为了得到更好的决策, 需要运用很多模型, 诚然非常繁琐和费时, 无法跟上快速跃动的全球经济脉搏。现在不可否认, 人类历史已经迎来了大数据时代。

如果要用简单的方式比较传统的数据库与大数据的区别, 国内学者孟小峰和慈祥 (2013) 认为, 池塘捕鱼和大海捕鱼是个很好的类比。池塘虽小, 可是没有惊涛骇浪;大海虽大, 但是潜藏着未知的风险。面对前所未有的机遇和潜在的挑战, “成也萧何, 败也萧何”, 大数据虽然好处多多, 但是每家公司要结合自身的实际情况, 分析利弊, 找准关注点, 量力而为。

人类二三十年有记录的社会行为积淀下了储量巨大的“可再生能源”, 在信息技术已经普及应用和飞速发展的今天, 在保护人们隐私的前提下, 让这一度被认为只是副产品的大数据当上科研活动的主角, 回馈社会。

“人、机、物”三元世界融合的网络空间 (Cyberspace) 中的网络大数据存在数据规模巨大、数据关联复杂、数据状态演变等显著特征, 其规模和复杂程度的增长远远超过了符合摩尔定律增长的机器处理和计算能力。

结论

笔者梳理了大数据研究架构, 从大数据存储系统、研究体制和应用平台回顾了相关领域的进展, 探析了大数据未来可能应用方向, 并且提出了大数据发展蓝图。总之, 与以往研究相比, 大数据有自身独有的性质, 大数据对科学提出了新的更高的要求, 需要新的科学以支撑大数据的应用和科研。

摘要:笔者试图通过分析大数据对科学学科和经济领域中事关国计民生的关键行业发展的影响, 增进对大数据的理解。有证据表明, 大数据显著提高了行业的发展。文中分析了大数据的属性和应用现状, 并结合著名公司案例, 展望了大数据的科研经济的发展趋势。

关键词:大数据,数据挖掘,大数据存储,数据处理

参考文献

[1]李国杰, 程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊, 2012 (6) .

[2]鲍宗豪, 宋贵伦.大数据对社会治理带来的冲击与变革[J].决策探索 (下半月) , 2014 (6) .

[3]陶雪娇, 胡晓峰, 刘洋.大数据研究综述[J].系统仿真学报, 2013 (S1) .

[4]俞立平.大数据与大数据经济学[J].中国软科学, 2013 (7) .

[5]涂新莉, 刘波, 林伟伟.大数据研究综述[J].计算机应用研究, 2014 (6) .

大数据现状 第2篇

及对策

大数据背景下大学生信息素养现状及对策

吴思锐,何卫红,张曼,高雅琦

(南京邮电大学,江苏南京210023)

摘要:论文基于大数据的背景设计调查问卷,对大学生的信息素养现状进行了调研,发现目前大学生的信息素养整体较好,不同年级学生的信息素养存在显著差异,但是没有发现专业和性别的显著影响。论文对提升信息素养的教育水平提出了建议。

关键词:信息素养;大数据;实证研究

基金项目:本文是省级大学生创新

训练计划(SYB2014019)、江苏省研究生教育教学改革研究与实践课题(JGLX12_046)、南京邮电大学教育规划课题(GJS-XKT1204)、南京邮电大学教学改革课题(JG00114JX10)的阶段性成果

作者简介:吴思锐,南京邮电大学学生;何卫红,南京邮电大学教授;张曼,南京邮电大学学生;高雅琦,南京邮电大学学生。

自20世纪60年代进入信息社会,信息化、知识化、网络化程度不断加深,信息社会对人才提出了包括信息素养在内的一系列要求。信息素养的培养关系到每个社会成员在信息化社会中的立足于发展,因而引起各个国家的高度重视[1]。进入2012年,随着大数据时代的到来,对信息素养提出了更高的要求。信息的选择、获取、加工处理等直接影响到知识更新及科技成果的转化。大学生作为国家建设的“后备军”,提高大学生的信息素养,对于大学生在大数据时代

获取有效信息、加工处理信息、创造应用信息等具有十分重要意义。

一、信息素养概念界定及研究概述

1.信息素养。信息素养的概念最早是由时任美国信息产业协会主席的Paul Zurkowski于1947年提出的。他把信息素养定义为“利用大量的信息工具及主要的信息源使问题得到解答的技术与技能”,后来又将其解释为“人们在解答问题时利用的技术与技能”[2]。但是信息素养的概念并非一成不变的,不同学者和群体根据本国的实际情况与研究目的定义了诸多概念。1989年美国图书馆协会把信息素养定义成“能够认识到何时需要信息,并拥有寻找、评价和有效利用所需信息的能力”[3]。纵观国外信息素养的研究,不难发现研究重点逐渐由信息技能转向更为综合的信息基本素养。

2.国外研究现状。国外自20世纪70年代开始便对信息素养进行研究。1995年美国图书馆协会和教育传播与技术委员会制定了涵盖信息技能、独立学习和社会责任的学生信息素养九大标准。2004年1月全美大学及研究型图书馆协会ACRL正式通过了“美国高等教育信息素养标准”,提出了针对美国高校大学生信息素养研究的5大标准及22项性能指标。研究主要集中在以下几个领域:一是对于大学生信息素养概况的研究,二是研究信息素养与高校图书馆之间的关系,三是根据国家、专业、年级等进行有针对性的信息素养培训。

3.国内信息素养的研究。我国很早就重视大学生信息素养的培养,近年来,随着信息社会的发展,国内学者对信息素养的研究取得新进展,如2007年霸桂芳结合大学生教育的主要特点,提出高校应通过学校教育、社会环境及大学生自身特点培养大学生的信息素养[4];2011年吴晓伟根据应用型本科大学生人才培养规格和特点设计出了面向应用型本科大学生信息素养能力量表[6]。但是目前国内对于大学生信息素养的研究还有许多不足之处。一方面,研究的内容

与主题主要局限在大学生信息素养与高校图书馆教育之间的关系、大学生信息素养现状的简单分析等方面。另一方面,研究集中讨论大学生信息素养培养策略等方面而较少结合当下时代背景。本研究从大学生信息素养现状出发,结合大数据时代背景,同时考虑移动互联网对于当代大学生的深刻影响,对于大学生信息素养现状进行调查,探索大数据与大学生信息素养的关系,找到影响大学生信息素养的因素并提出相关对策。

二、研究方法及样本说明

1.研究方法。采用实证研究的方法,通过问卷调查及访谈等形式,调查南京地区大学生信息素养现状,再通过SPSS19对问卷进行分析研究大学生信息素养在专业、性别、年级方面的差异,以期为大数据背景下大学生信息素养培养提供可行性的策略。

2.样本。采用随机抽样方法,向位于南京市仙林大学城的高校不同专业的学生(南京大学、南京邮电大学、南京

师范大学、南京财经大学)发放问卷500份,实际回收问卷482份,按照剔除有缺失数据,剔除答案排练完全一致问卷的原则获得有效问卷406份。

三、量表设计

综合国内外大学生信息素养教育的研究,结合大数据时代背景,笔者把大学生信息素养划分为信息意识、信息需求、信息知识与技能、信息伦理与道德四个维度进行研究。量表题项根据五级Likert回答,分别为非常同意、同意、一般、不同意、完全不同意。

1.信息意识。信息意识作为信息素养中的关键一环,指个人对于信息的敏感程度,是整个信息素养的前提。在大数据的时代背景下,大学生会面对众多数据,具备敏锐的信息意识可以帮助大学生将众多的数据转化为相关的信息。信息意识分量表的设计从其定义出发,分别从学生对信息类课程的态度、遇到专业问题时的解决方法、对于高校图书馆检索课程的意见等出发设计。

2.信息需求。信息需求能力主要测量学生能否用总结概括性语言提炼自己所需信息、知晓常见信息源的类型、内容特点、获取条件,将信息源与所需信息相匹配的能力[7]。在大数据背景下,大学生信息需求呈现多样化的特点,主要表现在“休闲娱乐”、“学术学习”、“生活服务”三个方面。信息需求分量表从信息需求的定义出发。分别考量大学本科生在学术学习时对常见信息源的掌握情况和其对高校开设相关信息检索课的需求状况。

3.信息知识与技能。信息知识与技能是大学本科生信息素养的重要组成部分,可以细分为信息知识与信息技能两部分内容。信息知识是指与信息有关的理论、知识与方法,是大学生信息素养的基础。信息技能则是大学本科生信息素养的核心。在大数据时代,信息成几何级数增长,知识更新速度加快,作为国家建设主力军的大学生,每天都要面

对各种形式的信息,既包括传统的结构化数据,又包括文本、图像、音频、视频等半结构和非结构化数据。同时,大学本科生应该掌握一定的文献检索技能、数据分析技能,熟练掌握国内外网络数据库及网络下载工具等。

信息知识与技能分量表从检索技能、网络下载技能、数据库技能、数据分析技能等方面对于大学生信息信息知识与技能进行了考量。

4.信息伦理与道德。信息伦理与道德,是指个体在信息社会应该具备的判断和辨别信息,正确传播信息的能力。它要求个体在国家法律和公民社会道德规范允许范围内进行信息的应用与创造,不得利用现代信息技术侵害社会和他人合法权益。为了得出大学生信息伦理与道德的现状,笔者从其定义出发,结合现实生活中大学本科生遇到的实际情况,如贴吧论坛讨论、网上搜集资料、网络音乐下载、学术论文写作,进行此维度问卷设计。

5.大数据。大数据通常用来形容大量的半结构化和非结构化的数据。大学生作为一个求知群体,与信息的关系日益密切。随着移动互联网的发展,大学本科生对微信、QQ等社交软件的使用频率骤增,利用移动互联网订购火车票、查找旅游目的地信息等已不是新奇事。在大数据时代,大学生会面临更多挑战,能否从纷繁复杂的信息中找到自己所需要的有效信息并进行应用创造显得格外重要。

四、实证结果

1.信度和效度分析。(1)信度,本研究中信息意识,信息需求,信息知识与技能,信息伦理与道德四个分量表的CronbachA 系数分别为,。总量表内部一致性系数为,信度较高。(2)效度,按总均分高低排序,前27%记为组1,后27%记为组2。通过对组1和组2进行独立样本t检验,发现每一题的sig.值都在以下,可见每一题都具有较高的

区分度,从而整张问卷都具有较高的区分度,所以问卷的结构效度较好。

2.描述性统计。如表6所示,对406个个案的平均分进行描述统计,平均分的最大值为,最小值为,平均值为,标准差为。依据Likert五点法,结合均值,可知当前大学生总体信息素养较高。

3.影响因素分析。

(1)专业因素,如表7所示,不同专业大学本科生信息素养差异不大。按照专业分组,利用多独立样本检验,可知不同专业大学本科生信息素养渐进显著性为,远大于,佐证了描述性统计的分析结果。

(2)性别因素,本研究发现男女生信息素养并无显著差异,描述性统计结果显示,男生信息素养总均分为,略高于女生的总均分。

(3)年级因素,本研究发现不同

年级大学本科生信息素养具有显著差异,年级越高,信息素养得分越高。按照年级分组,利用多独立样本检验,显示渐进显著性为,小于,可见不同年级大学本科生信息素养具有显著差别。再根据描述性统计结果,可知大

三、大四学生信息素养得分均值为,大二学生得分均值为,大一学生得分均值为,验证了信息素养的年级差异。

4.大数据与大学生信息素养的关系。为了得到大数据与大学本科生信息素养的关系,笔者通过双变量相关分析,得到两个变量的Pearson系数为,远大于0,呈正相关;且显著性概率为,小于。可见两者的相关性较为显著,可以理解为信息素养较高的大学本科生,对于大数据的把握也较深。

5.研究结论。调查结果显示,目前大学生的信息素养整体较好,但是信息技能水平较低,不同年级学生的信息素养存在显著差异,但是没有发现专业和性别的显著影响。

五、对策及建议

1.建立大学生信息素养标准。信息素养的概念自提出以来就引起了国内外学者的持续关注,但是目前信息素养的内涵及教育范围等还没有一个普遍的标准。为此,应该成立一个全国性的高校信息素养研究组织,制定相关培养标准,针对目前大学生信息意识不强、信息技能较弱的现状开展专门培训,着力提高大学生信息素养,以适应大学生在大数据背景下发展的需要。

2.开展高校图书馆信息技能培训工作。开展图书馆信息技能培训工作,首先应该对高校图书馆工作人员进行相关培训,教师应该探索多种教育手段,激发大学生学习兴趣,并结合一些通识课程进行教学,提高学生科研能力。与此同时,高校图书馆应该定期开设文献检索课、专题讲座等,在学校形成一种信息化氛围。除此之外,还可以用一些信息化手段,如微信平台等,介绍相关知识及预告专题讲座,使其可以惠及更

多的大学本科生。

3.培养大学生自主学习的观念。在大数据时代,信息成几何形增长态势,知识更新迅速,大学生应该积极树立自主学习观念,通过多种渠道获取自己所需信息,提高专业知识储备,扩大自身知识面。通过访谈调查,大学本科生前往图书馆的主要目的是自习,而非阅读大量书籍。针对这一现实问题,相关职能部门应该着力培养大学生自主学习观念和终身学习观念。

4.培养方案增设相关课程。我国对大学生信息素养的培养一直受传统的“重理论轻实践”的影响而发展缓慢,培养出来的本科生动手能力不是很强。高校应该开设相关课程,在理论教学的基础上,开展实践性教学环节。通过理论加实践的教学方式,使大学生可以熟练掌握常见信息检索检索方法,逐步提高信息技能。

参考文献:

[1]郭玮。高校大学生信息素养状

大数据产业发展现状和未来趋势 第3篇

在大数据时代,数据量呈几何级增长,数据类型多样化以及用户对于数据访问、分析与应用的苛刻需求,让传统的数据存储与管理难以应对。大数据时代的到来对国内客户的存储技术升级与革新提出了更高的要求。

一、中国大数据产业市场规模

随着各行业对海量数据存储和应用的需求日益迫切,信息科技特别是大数据应用技术在加速发展。中国政府已经颁布了面向未来十年的国家信息化发展战略纲要,立足于全面打造国际先进、安全可控的核心技术体系,带动集成电路、基础软件、核心元器件等薄弱环节实现根本性突破,着力构筑移动互联网、云计算、大数据、物联网等领域发展优势。

“互联网+”时代下,人类所产生的数据量呈爆炸性增长,大约每两年就翻一番。据中国产业信息网发布的报告显示,从2011年至2015年,中国大数据市场规模以30.1%的复合增长率高速增长。预计未来3年,中国大数据市场规模仍将以36%以上的速度增长(见图1)。其中,在大数据市场中,增长率最高的是存储市场,将以50%以上的速度增长,远远高于其他非大数据产品相关的市场。

二、中国大数据市场发展趋势

中国在大数据领域具有巨大的市场潜力,越来越多的IT供应商将中国大数据业务作为发展的热点。总的来看,未来大数据市场将呈现以下发展趋势:

一是开源软件为大数据市场带来更多机会。大数据市场开源软件的盛行不会抑制市场的商业机会,相反将会给基础架构硬件、应用程序开发工具、应用、服务等各个方面的相关领域带来更多的机会。

二是大数据推动软件公司间的并购。大数据概念覆盖范围非常广,包括非结构化数据从存储、处理到应用的各个环节,与大数据相关的软件厂商也非常多,但是又没有哪一家厂商可以覆盖大数据的各个方面,因此大型IT厂商将为了完善自己的大数据产品线进行并购。

三是针对大数据的一体化设备市场迅速增长。自云计算和大数据概念被提出后,针对该市场推出的软硬件一体化设备就层出不穷。我们认为,在未来几年里,数据仓库一体机、NoSQL一体机以及其他一些将多种技术结合的一体化设备将进一步快速发展。

四是出现打包的大数据行业分析应用。随着大数据逐渐走向各个行业,基于行业的大数据分析应用需求也日益增长。未来几年中针对特定行业和业务流程的分析应用将会以预打包的形式出现,这将为大数据技术供应商打开新的市场。

五是大数据推动基础架构横向拓展。为了支持大数据非结构化、不断刷新的特点,大数据的基础架构层面也会在未来发生变化。大数据的基础架构支撑已经不仅限于高性能计算层面,而且需要硬件产品更好的支持虚拟化和分布式架构的软件。同时,基于固态存储的分层存储解决方案、智能化的负载均衡网络结构也都会得到更多应用。

六是中国成为全球最重要的大数据市场之一。中国的互联网用户和移动互联网用户数量全球最多,这些终端设备每时每刻都在互联网上创造数据。同时,近年来中国企业级存储的出货量也达到全球第二位。庞大的数据容量不但令众多国际厂商重视中国市场,也使得中国的大数据应用具备了不同于国外的特点,我们有理由期待中国的大数据市场将会出现本土化的创新型解决方案。

三、大数据发展面临的挑战

中桥国际调研咨询针对中国455家企业所做的一项研究表明,当前企业在大数据存储方面面临诸多挑战。首先,巨大的数据量将给企业的存储容量带来压力,现有存储容量往往不能满足需求。其次,传统存储资源配置不合理和传统IT分层管理的方式,导致系统IT资源配置和管理的复杂性较高。购买新存储虽然可以满足海量数据和应用多元化对存储容量和性能的需求,但造成了企业存储采购和运营成本高的问题。企业在实现应用多元化的同时还要保证业务处理速度,因而对系统的并行处理能力也提出了更高要求。此外,大数据数据类型的多样化和复杂性,增加了企业非结构化数据分析的难度(见图2)。

四、大数据相关企业案例分析

2016年9月8日,紫光集团旗下紫光股份与美国西部数据举行紫光西部数据有限公司成立庆典活动。紫光西部数据有限公司(以下简称紫光西部数据),是由紫光股份持股比例为51%,西部数据持股比例为49%共同成立,其总部及研发中心位于南京,市场及销售总部位于北京。紫光西部数据将通过本地研发团队,结合西部数据和紫光集团在技术研发、设计生产、市场推广等方面的领先优势,为各行业客户提供更加符合中国市场需求的大数据存储解决方案及服务。

紫光西部数据的价值观

一个企业的价值观是决定一个企业能否长期生存的关键因素。紫光西部数据首席执行官缪刚先生表示,紫光西部数据的价值观在于,注重自主研发,在遵循标准化的基础上,致力于对行业进行深化创新和优化,提供真正适合于中国本土情况的全面的数据解决方案。

紫光西部数据未来发展方向

软件定义一切的最明显的特征就是硬件的标准化,同时高可移植性。缪刚先生表示,紫光西部数据未来将从封闭架构转向开放架构,拥抱先进技术。在未来的路线图上承诺将无厂家限制,希望通过这样的方式还给市场一个自由的未来。具体来说,紫光西部数据将从以下四个方向深入着手:

一是行业优化。由于每个行业都有自己的特点,以互联网为例,互联网今天的发展已经脱离了最早的美国模式,而迅速地进入了一个自主创新的新商业模式,所以深入理解行业的应用,针对具体行业进行开发、推广的应用方案是其未来的发展方向。

二是加强数据安全。相当一部分中国客户的数据是具有商业敏感性的,甚至一些客户的数据具有国家机密性,对这些数据使用基本的存储功能和服务是远远不够的,紫光西部数据将立足于本土,致力于为客户提供安全、可控的加密技术,真正做到让客户的数据自主、安全、可控。

三是提升数据质量。由于大数据数量巨大、来源多样化、处理要求及时(基本上30%客户的数据被用于实时处理),这要求整个IT技术架构由堆站式向扁平和融合方向发展,这样才能更好的对大数据进行存储、分析。紫光西部数据将在此基础上提供进一步的融合,从而提高数据的质量。

四是协同合作。展望未来,为更好的服务好本土市场,紫光西部数据将秉持一种开放的态度,以更加灵活、更加长远的策略,在技术研发、市场推广、客户服务等方面和各类合作伙伴一起合作,共同打造双赢的局面。

紫光西部数据未来发展举措

对于紫光西部数据未来发展举措,紫光西部数据董事长章雷先生、紫光西部数据首席执行官缪刚先生、紫光集团联席总裁齐联先生、西部数据全球高级副总裁Dave Tang给出以下答案。

一是打造集合所有知识产权的优秀平台。首先,紫光西部数据和秦淮区签署了在南京成立数据和存储研发中心的协议,这是一项重要举措。其次,加强与大学的合作。南京有很多优秀的大学,紫光西部数据将充分加强和大学的合作,希望将更多的优秀技术转化成产品。此外,加强中美合作是另一项重要举措。紫光西部数据有计划在硅谷设立分支机构,把世界的先进技术通过这个平台引进到中国。

二是协同发展。紫光股份拥有国内很好的各类客户关系,和遍布全国的分销系统网络,这个系统将对紫光西部数据的产品、服务的推广和应用都有很好的促进和帮助作用。紫光股份对紫光西部数据的支持作用,实际上体现在协同效应上,这是一个最大的支持。而西部数据在存储领域的优秀能力,提升了紫光的整体竞争能力,这对紫光西部数据又是一个最有利的支持。未来,紫光西部数据、紫光股份、西部数据三者将协同发展,共创辉煌。

三是实现创新。紫光西部数据将使用西部数据的系统,针对中国市场做一些定制和增强。中国市场有很多软件开发的工作和机会,比如在媒体和娱乐业,对于这些视频播出公司、电视台,他们需要有更多的资源来管理他们的数字媒体、素材,它们的核心是由西部数据来设计的。这其中需要很多的软件来过渡,而且非常复杂,这正是紫光西部数据的机遇所在。因为中国的解决方案和世界上其他地方还是非常不一样的。此外,在数据安全方面,要给中国客户提供数据保护,需要很强的软件开发能力,这也是紫光西部数据需要创新的领域。

网络大数据现状与展望 第4篇

随着时代的进步和科技的发展,出现了诸如大数据、云计算等一系列的新名词,而互联网、网络终端设备等更是已经大大改变了人们的生活方式,对各个传统的行业产生了很大的影响。在当前这个网络信息时代背景下,网络大数据在我国得到了快速的发展。网络大数据将重新定义我们的生产生活方式,对社会的进步发展带来机遇和挑战,企业的发展运营也将越来越多的受到网络大数据的影响。因此,对网络大数据进行全面深入的研究具有重要的意义。

1 网络大数据的定义

近几年来,大数据这个名词越来越多的被人们提及,对整个IT行业产生了巨大的影响,很多业内人士已经意识到互联网技术将在大数据的引领下迎来新一轮的变革,推动互联网技术更加快速的发展。但是到目前为止,仍有很大一部分人没有充分理解大数据的含义,认为自己在日常生活中很少接触到与网络大数据有关的事物,还没有意识到网络大数据时代即将到来。一些公司企业为了提高企业的知名度,宣传其产品,更是对外宣称他们已经掌握了网络大数据技术,并在实际工作中得到了应用,甚至还不负责任的称他们已经将网络大数据战略作为企业发展的头等大事。由此可见,我们对网络大数据的认识不够全面深刻,总是顾名思义的将其理解为很多的数据、海量的数据,弄不清网络大数据的正确含义。

2 网络大数据的现状

网络大数据指的是在网络空间中将人、物、机互相融合后所产生的大数据。近几年来,随着网络大数据的影响力越来越大,人们的生产生活方式也因为它的出现发生一些变化。《时代》杂志曾分析过奥巴马能够成功连任的原因,其中奥巴马在竞选前作的有关网络数据的挖掘、搜集和分析工作是其能够连任成功的一个关键因素。目前,EBAY为了能够对消费者的购买行为做一个全面准确地分析,每天要处理超过100PB的数据,这个数据处理量比纳斯达克每天的数据处理量还要多,EBAY还定义了500多种类型的数据,以便能及时的跟踪分析消费者的购买行为。在中国,自从阿里巴巴推出“双十一”狂欢购物活动以来,淘宝每年的销售额相比前一年都有大幅的增长,2015年的双十一销售额更是超过了912亿元人民币,淘宝之所以能够将网上购物消费额做到这么高,并能够成功的应对如此巨大的网上交易量,主要就是因为其对影响消费者网购的网络大数据做了大量的分析研究,例如对有关消费者搜索习惯、浏览习惯和消费习惯等网络大数据的分析研究。

网络大数据不仅正在改变着我们的生产生活方式,还给学术界带来了前所未有的机遇和挑战。随着网络大数据技术的发展,其与其他诸如社会科学、信息科学、网络技术等科学领域交叉融合后形成了一些新兴的学科领域,且这些新出现的学科领域逐渐的成为人们研究探索的新的热点领域。早在2008年《Nature》杂志就发表过一篇名为“BBigData”的专刊,介绍了大数据时代下,环境科学、生物医药、互联网技术、超级计算技术和网络经济学等学科领域面临的冲击和挑战。2011年《Science》发表了一篇关于数据处理的名为“DDealing with Data”的专刊,指出了随着大数据时代的到来,数据洪流将给现有的科学领域带来一些前所未有的机遇和挑战。

3 网络大数据的影响

大数据时代的带来,不仅对计算机领域产生了巨大的影响,也推动了网络技术发展和进步。目前,各个科研机构、高等院校、金融界、学术界以及各国政府高度重视网络大数据技术,投入了大量的精力研究这个新性的科学领域,迫切的希望这个新兴的学科领域能够为给我们带来新的经济价值和科研成果。我国近几年发展起来的几家主要的互联网公司,例如阿里巴巴、百度等,十分重视大数据技术的开发和应用,并将其视为影响公司发展的战略性项目。再放眼世界,许多闻名世界的公司企业将大数据视为决定公司前途命运的重要因素,并投入大量的资源对其进行开发研究。今天,我们会发现大数据的身影已经遍及当前这个经济社会的每一个角落。据相关统计,我国2013年产生的总数据量就已超过了0.8z B,大约是2012年的十倍,与2009年全球产生的总数据量基本持平。以现在这个趋势,到2020年,中国产生的数据量将在2013年的基础上翻十倍。这所有的一切证明,我们已经处在一个以大数据为主要特征的全新时代。我们的生活生产方式和科研工作受到大数据的深远影响,而大数据本身也必将成为人类科技发展史中浓墨重彩的一笔。在大数据时代中,收集和处理数据的性质已成为一种方便有效的基础资源,还可以通过对有关大数据进行科学的分析,更加深入的了解认识人类的上网行为,进而建立健全有效安全的预警机制。

4 网络大数据的展望

当今社会,网络大数据发展趋势是结构更加复杂、规模更加庞大、种类更加繁多。面对这样的现状,我们要更加的努力,进行更深层次的研究;同时根据可能出现的危机,制定应对措施,做到未雨绸缪。随着网络大数据的发展,分布式数据库将成为其发展基础,因此我们需优化存储方式,提高数据统计和处理的效率。

5 结语

网络大数据的出现大大改变了人们的生产生活方式,也对学术界和各个行业带来了前所未有的机遇和挑战。本文分析了网络大数据的现状和对我国社会的影响,加强对网络大数据的研究,可以进一步实现社会的稳定,为我国经济发展注入新的动力,提高我国的综合竞争力。文章最后对网络大数据的未来做了科学合理的展望。

摘要:网络大数据指的是在网络空间中将人、物、机互相融合后所产生的大数据,并且人们可以在网络中接触或并得到这些数据。随着网络大数据的发展,其复杂度和规模有了很大程度的增长,这对计算机的计算和数据处理能力提出了更高的要求,同时也是我们对网络大数据及其价值进行深入挖掘利用的一个难得的机遇。本文对网络大数据的现状进行了分析,并用发展的眼光,对网络大数据的发展趋势做了展望。

关键词:网络大数据,现状,展望

参考文献

[1]王珊,王会举,覃雄派等.架构大数据:挑战、现状与展望[司.计算机报,2011,34(10):1741一1752.

[2]黄恒君,漆威.海量半结构化数据采集、存储及分析-基于实时空气质量数据处理的实践}J j.统计研究

大数据现状 第5篇

一、前言

对地观测是人类利用卫星、飞船、航天飞机、飞机以及近空间飞行器等空间平台和地面、地下的各种传感器设备获取观测数据,结合各个学科的专业知识,对地面物体和地理过程进行监测和预测的科学活动,其目的是更加深刻和科学地揭示人类社会活动所依赖的地球环境和人地环境的规律和变化,增强人类对地球的利用和适应能力。对地观测研究工作具有非常明显的信息学特征。因此,除了地球科学方法论外,信息科学方法论也对对地观测科学活动有非常重要的指导意义。对地观测研究很大程度上是围绕着“信号数据信息知识”的数字化信息过程来展开的,并构成了“信息获取信息传输信息存储信息加工信息挖掘信息呈现”的数据全生命周期。

从信息科学的角度来看,对地观测领域知识发现的方法主要是确定模型分析方法。在遥感技术的发展初期,观测数据量较小,用于数据挖掘分析的理论和模型也不够成熟,因此更多是依靠专业人员的目视判读进行信息解译和勾绘制图,然后再利用其他学科的知识对获得的信息进行修正。这种方法显然不能满足日益增大的观测数据量和日益复杂的应用模式需求。在数据量不断增大、信息提取精度不断提高的情况下,依赖于计算机处理的数据分析新模式出现了。遥感信息反演的定量化成为对地观测信息深度应用的趋势,这种能力也随着计算机处理能力的提升不断提高,逐步满足了 MB(220 字节)、GB(230 字节)、TB(240字节)甚至部分 PB(250 字节)量级的数据分析和信息挖掘工作,从应用上解决了较大地理尺度上的复杂地学问题。提升计算机的处理速度和存储设备的规模已经成为解决观测数据量增大和信息模型复杂化所带来的问题的一个很好的途径。进入 21 世纪以后,对地观测技术又呈现出很多新的发展趋势,其中大数据的出现给对地观测的研究带来了全新的挑战和发展机遇。近年来,随着对地观测需求的增加和技术的进步,各种类型传感器获取数据的能力不断提高,使得国内外以专业化、行业化为特征的各类数据中心迅速崛起,对地观测领域成为数据密集型计算的一个典型应用。整个对地观测系统流程突出体现了“需求牵引知识驱动”的概念和原则,形成了以社会需求为先导来发展对地观测卫星、传感器、平台、数据传输、信息处理、应用模型及相应科学理论的发展模式。

二、对地观测领域的大数据现象

在对地观测领域,各类分辨率的卫星产生的遥感信息无疑属于大数据。以我国遥感卫星为例, 年发射的风云三号 A 星搭载着 20 通道的中分辨率光谱成像仪和 10 通道的可见光近红外扫描辐射计,实现了对整个地球进行连续观测,随后与 年和 年发射的风云三号 B 星和 C 星组网,对地球开展每天 6 次的观测。卫星观测数据切割成 5 分钟段的数据文件,又将 250m 和 1000m 中分辨率光谱成像仪的数据分别存放,每天产生的数据文件和数据量均非常巨大。要管理、处理和分发这些全球数据需要运用“大数据”的方式,而且需要大量的数据科学家开展基础研究工作,研究算法,从数据中实时提取地球参数信息,进而为科研、业务的数据信息需求服务。这一事实充分说明了从海量遥感数据的获取、存储、提取与分发、数值处理,到数据挖掘和知识发现,对地观测活动的整个生命周期体现了大数据的“4V”特性:数据体量大 (volume)、数据来源和类型繁多(variety)、数据的真实性难以保证(veracity)、数据增加和变化的速度快(velocity)。

国际上,美国和欧洲处理和分发中分辨率数据较中国稍早几年,美国处理 MODIS 数据和产品的方式、欧洲处理 ENVISAT/MERIS 数据和产品的方式可为我们借鉴。由于美国没有 MODIS 的后续卫星计划,数据的供给将随着传感器的失效而终止。欧洲的 ENVISAT/MERIS 于 年失效,只能提供 -2012 年间的数据。中国风云气象卫星规划已持续到 年,因而,在未来几年,中国的风云卫星中分辨率遥感数据在国际上将是重要的数据源,向全球用户提供优质的数据和产品,将是中国数据科学家肩上的重任。

1. 观测平台和传感器的数据获取

遥感数据获取是由载有成像传感器的遥感飞行平台来完成的。遥感飞行平台的`发展体现在:①先进的卫星对地观测系统,包括大型的综合卫星平台与小卫星星座;②先进的集成高中低空飞行作业的航空遥感平台;③全面一体化的对地观测综合系统。未来的传感器搭载平台将是由相辅相成的高中低轨道上的大小卫星平台和高中低航空平台组成的,天地一体化、全球性、立体和多维的观测体系。与此同时,对地观测传感器的数据获取能力将向着“三高”(高空间分辨率、高光谱分辨率和高时相分辨率)和全天候方向发展。遥感平台和传感器的技术进步使得获取的数据量大幅度增大。比如刚刚退役的 Landsat -5 卫星在其29 年的在轨工作期间,平均每年获取 8.6 万景影像,每天获取 67GB 的观测数据。而 2012 年发射的资源 3 号卫星,每天的观测数据获取量可以达到 10TB 以上。类似的传感器现在已经大量部署在卫星、飞机等飞行平台上,未来 10 年全球天、空、地空间中部署的百万计传感器每天获取的观测数据将超过 10PB。

2.天- 空- 地一体化的对地观测数据网络传输

巨大的观测能力需要通过覆盖天-空-地的高速数据传输网来实现对地观测平台和全球地面接收站网络之间的数据传递。这种传输能力要通过一个由光缆、地面微波、蜂窝移动通信和低、中以及静止轨道的卫星通信系统组成的、服务于全球的、无缝隙覆盖的、全球一体化的高速天-空-地对地观测数据传输网络实现。现在,单个传感器的信号下传速率已经突破了 Gbit/s。

3. 海量数据的快速处理

标准遥感产品的快速生成需要高吞吐量、高精度及自动化的分布式数据处理能力,以满足规模化、业务化的标准产品生产的要求。标准产品快速处理的突出特点是即时性和大吞吐量,兼有数据密集、计算密集的性质。海量遥感数据的处理需要利用庞大的网络计算资源,通过并行计算、分布式处理以及集群计算技术来实现网络化大数据量处理及多机分布式并行处理,以满足应用的需求。我们可以利用网格技术把分散在不同地理位置的计算机组织成一个“虚拟的超级计算机”,来提供高性能和高吞吐量的计算环境,为完成计算密集型任务提供有力的手段;同时充分利用网络上多种闲置计算设备的处理能力,完成传统计算模式下不能完成的各种大数据量的计算任务,从而保证标准产品的快速处理和生成。

4. 下一代空间数据设施

下一代空间数据设施建设将以全球尺度问题求解和多样化实体数据设施建设为前提,基于传统空间数据设施和联邦数据设施,通过松耦合形式建立一种非中心化、虚拟化、按需服务化和全球化的数据服务体系。分布在世界各地的各种对地观测数据中心,将在下一代空间数据设施的连接下,面向特定专题,与高性能的信息化设施结合,动态形成大量专业化的虚拟数据设施。这些设施不仅可以汇聚和提供超大规模的数据,还具备对数据进行深度加工和挖掘的计算能力。地球观测组织(GEO)所推动建立的全球综合地球观测系统(GEOSS)就是一种下一代空间数据设施,这种设施管理和处理的都是超大规模的对地观测数据和空间数据。

5. 数字地球与未来地球

作为和对地观测衔接的科学框架,数字地球是一个广泛的以信息高速公路和空间基础设施为依托的概念,其核心思想是用数字化手段整体性解决地球的各种科学问题,并最大限度地利用信息资源。未来的数字地球不再局限于进行地学数据的表达和呈现,而将成为一种对地球的各种学科的数据和模型进行综合分析的平台。同时,由国际科学理事会(ICSU)和国际社会科学理事会(ISSC) 共同发起的“未来地球”计划将多学科交叉研究推向更加重要的位置。不论数字地球还是未来地球,其多学科的高度数据复杂性是非常显著的信息特征。和常规的单学科研究不同,在这种综合研究场景中,信息技术要面对的是多学科复杂数据类型之间的数据建模、数据发现和数据整合问题。

三、大数据在对地观测领域应用的典型案例

大数据时代的对地观测技术为发展空间地球信息科学奠定了基础,从对地观测过程的信息学特征可以清晰地看到此领域大数据的发展趋势。但目前大数据研究普遍存在着“只有数据、没有利用”的问题,导致搜集数据、存储数据付出的成本被浪费。据报道,通过遥感卫星获得的影像数据中,目前得到应用的不到 5%,多半数企业不知如何从数据中获得价值,因此这个问题急需解决,下面将介绍一些国内外创新企业利用大数据技术为遥感图像应用找出路的典型案例,希望能够扩宽我们的视野并从中得到有价值的借鉴。

1.Digital Globle: 遥感图像 + 大数据分析助力寻找马航 MH370 迷踪

马航失联客机 MH370 去哪儿的问题,牵动着全世界的心。为了找出谜题的答案,寻回239名乘客的信息,各方为此动用了许多手段,包括直接分析飞机上设备发出的各种信号,卫星和雷达的天罗地网等先进的科技方式,调遣各类船只前往可能事故区域搜网式调查,可惜都无果而终,就在失联事件发生的 12 天后,澳大利亚宣布从卫星影像中找到了疑似马航 MH370 失联航班残骸,广袤的洋面找一架飞机如同大海捞针实属不易,虽然还未能确定残骸是否来自于 MH370,但在短短几天内在能够通过海量的卫星图片发现如此重要的线索可见其背后的数据分析能力之强大,支撑这一能力的正是大数据技术,快速定位残骸坐标体现了大数据技术在处理海量高分遥感图像上的速度优势,展示了大数据与遥感技术的融合将在灾难救援方面的关键作用。

2.Skybox Imaging:迈向大数据时代的商业遥感成像公司

Skybox 成像公司成立于 年,目前员工不到 60人,是名副其实的“小”公司,但却在多轮融资中备受风投的青睐,麻省理工学院技术评论将其评为 最具“摧毁性”的 50 家公司之一。

3. 禾讯科技:商业化卫星遥感服务现代化农业生产

农业是生命之源、发展之基。由于农业资源、环境及多样化的生产经营方式,农业大数据涉及到水、土、光、热、气候资源,作物育种、种植、施肥、植保、过程管理、收获、加工、存储、机械化等环节会产生大量结构化和非结构化数据,而且随着农业科技创新发展和物联网的应用,非结构化数据呈现快速增长的势头,其数量将大大超过结构化数据,为保障“舌尖上的安全”,利用大数据技术对不断产生的大批非结构化数据的信息获取、挖掘、存贮、处理与智慧应用是农业现代化不可或缺的手段。

四、大数据情境下对地观测研究的发展趋势

1.从量变到质变

对地观测领域的大数据现象,在不同尺度上对现有的技术水平提出了挑战。对地观测领域的大数据现象包括 4 个方面:①数据量剧增,已经达到 PB 量级;②数据类型多样,来自空基、天基的各种不同成像机理及数据获取方式、不同时空分辨率和光谱特性的传感器数据和地面台站的观测数据及实验模拟数据、统计数据等构成了纷繁复杂的数据类型;③应用场景众多,目前对地观测数据在气象、水文、能源、农林种植、工矿开发及灾害应急等诸多领域体现了其应用价值;④应用服务时间尺度多种多样,天气预报、灾害应急等需要实时或准实时的数据分发反馈,而地图测绘、土地变化等则需要中长期的对地观测数据,不需要高时效性。

2.多数据中心协同处理

传统的对地观测知识发现的科研模式在大数据情境下已经不再适用,原因是传统的科研模型不具有普适性且支持的数据量受限,受到数据传输、存储及时效性需求的制约等。因此,新知识正更多来自于大数据的使用,数据生命周期中信息学流程的变化正引发传统科研模式的变化。以“用户需求”为导向的对地观测活动,需要为有不同应用需求的用户提供恰当的数据产品及信息资源,要求对地观测数据实时处理及快速分发。实现这一目标的关键是多中心协同计算,通过构建分布式多中心计算环境,将大量松散绑定或独立的数据处理任务动态分配给闲置计算资源,实现资源动态调度及任务分配。目前需要解决的问题是如何实现有效地调度计算资源及跨异构系统计算时如何维持系统的高性能等。

3.模型驱动到数据中的知识发现模式

传统的数据生命周期信息学流程是从数据到信息,再通过模型进行知识发现。而随着数据量的爆炸式增长,可用模型已不能对海量数据进行模拟推演,因此由模型发现知识的传统方法已经不能适应大数据时代的需求。

4.多学科交叉的科学研究

大数据现状 第6篇

大数据基本概述

当前比较主流的大数据定义是美国国家科学基金会给出的,将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件等多种数据源生成的大规模、多元化、复杂、长期的分布数据集”。由于国内在大数据的研究上起步较晚。因此也是借鉴美国国家科学基金会给出的定义,通过结合国内具体的发展情况,对国内行业发展中大数据的作用于使用方法进行探究。其中彭晗、赵焕炎表示“大数据时代的来历,对于酒店经营营销的挑战,就是传统产品、价格、促销、渠道的4P理论转换到成本、顾客、沟通、便利的4C理论的过程”。而李建中、刘显敏则认为大数据具有五个基本性质,分别为一致性、精确性、完蛰陛、时效性以及实体性。

当前国内度假型酒店经营与管理现状

在酒店管理中没有对大数据给予足够的重视。目前,国内旅游者正处于从观光旅游向度假旅游转型升级阶段,旅游者的度假休闲欲望日益高涨,度假型酒店成为旅游者出门住宿的热门场所。从当前国内很多的度假型酒店对大数据的理解上还处于一种懵懂的状态,在实际管理中很少借助大数据。整个酒店管理行业也没有形成一个比较完整、明确的大数据管理思维,导致在酒店的实际管理中,领导者与领导者之间、部门与部门之间、酒店与酒店之间缺乏有效的沟通与交流,造成信息交流的不流畅,这对整个行业发展都有较大的影响。

缺乏大数据相应技术。虽然国内很多度假型酒店已经逐步将大数据引入到实际管理中。但是大数据使用过程中出现的最常见的问题就是酒店已有的技术很难跟上当前数据的扩张速度,对数据的掌握不充分、技术更新慢、专业人才缺乏,必然会制约大数据技术在管理中扩张。

信息与数据处理的标准化缺失。在使用大数据进行酒店管理时,有一个很大的问题需要处理:业内的大数据处理与信息标准。如果信息与数据没有统一的标准,酒店行业内的信息与数据就会有很大的差异,这也是制约大数据时代背景下酒店行业发展的问题。

大数据时代背景下度假酒店营销管理模式创新策略

在大数据时代以前,酒店的管理系统通常是使用CRM系统来进行各项经营数据的分析。这种形式的业务分析只能反映酒店各项业务的运转情况,很难发展并了解酒店管理中存在相关问题以及酒店的发展进度。而借助大数据的优势,则能够通过长期的数据与经验积累,帮助酒店管理者及时调整经营管理策略,提高盈利水平。

Tableau是一款智能化的酒店管理软件,主系统能够达到监测信息与分析信息的功能,具有高度的动态性,且操作简单,非常容易上手,在酒店管理中,操作人员只需要将公司的业务系统信息输入到系统中,通过系统的自主分析,就能形成可视化的图形。基于大数据构建的管理系统,能够帮助酒店充分挖掘客户的需求与习惯,找出酒店管理中存在的问题,通过为客户提供优质的服务,提高酒店的行业信誉。该系统包含了几个基本模块:酒店预订模块、客户入住模块、客户结算模块,这几个模块的搭建,真正改变了传统酒店经营管理模式。

客户预订模块。酒店预订是客户选择酒店的第一个环节,将酒店的信息发布到相应的网站中,使客户掌握酒店的最前端信息,是酒店管理的良好开端。随着网络购物的快速发展,酒店网络预订也成为常态,各种酒店预订层出不同,怎样在形式多样的酒店中脱颖而出,酒店管理者就必须掌握客户的需求、分析酒店预订的优劣势、提高酒店服务质量。利用大数据对客户的订房习惯进行分析,订单预订到入住时间中,发现多数提前4-6天预订酒店,而当前入住或者提前1-2天的数量较少,通过数据分析,管理者可以考虑不断扩大自己的信息推送量,及时更新预订数量与客房信息,增加优惠活动,提高竞争力。

客户入住模块。酒店要提高竞争力,就应想方法提高入住率,而入住率的提升与酒店服务水平存在很大的关系。酒店一般会举办会员入住活动,按客户的消费额度吸纳客户成为酒店的会员,大数据分析,一般会员等级较高的会员都会采取网络预订的方式,并且此类会员往往对酒店的品牌与服务认可,而会员对经济房的需求量也更好,说明酒店消费仍以大众消费为主,因此酒店应加强经济客房的配比,通过提高客房的性价比与舒适度,使客户的入住满意度提升,尤其是在经济优惠上,通过推荐性价比较高的客房,让客户享受价格优惠与居住舒适两方面的服务,提高入住率。

客户结算模块。酒店结算是酒店盈利的根本,怎样让客户快捷、方便的完成结算业务,对提高酒店的竞争力非常关键。通过大数据分析,发现即刻入住的客户使用信用卡与存储卡消费的比例较高,而网络预订用户使用支付宝或者微信的比例较高。根据客户结算方式的多样性。酒店在结算管理中,应结合本身實际情况,研究制定最佳的管理措施,提高客户结算业务满意度。

总之,在大数据时代,酒店一定要认识到大数据对酒店管理与行业发展的积极意义,通过积极改革原有的酒店经营管理模式,将行业内的信息与数据标准化。酒店通过合理利用大数据,能够帮助酒店准确定位自我,创造出新的客户价值与商业模式,推动酒店业的发展与经营模式的更新换代。

网络大数据的应用现状与前景 第7篇

近年来, 随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展, 数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇。 因而信息社会已经进入了网络大数据时代。 大数据不仅改变着人们的生活与工作方式、企业的运作模式, 甚至还引起科学研究模式的根本性改变。国内外涌现出一大批依靠商业模式创新而创造辉煌的企业:苹果、IBM、Facebook、Google、亚马逊、阿里巴巴等, 纵观这些商业模式创新的典范, 可以看出这些企业的创新大都与无限接近消费者有关、与跨界有关、都直接或间接地与信息数字化技术和互联网有关, 而大数据成为商业模式创新的基本时代背景。

对于大数据 ( Big Data) , 目前还没有一个权威的定义, 其基本上应包括三层含义:一是, 社会生活泛数据化, 互联网化将受众的各种信息数据都暴露在网络之上;二是, 数据规模及生成速度之大, 数据信息传播方式也由单中心、单向传播向多中心、网状裂变转变, 数据量呈爆炸式增长;三是, 大数据技术之大, 随着数据量级的飞跃, 数据处理从关系型数据库到数据仓库、再到联机分析、数据挖掘、数据可视化等迅猛发展。 在各种技术不断发展与演变的基础之上大数据专门技术出现。

1 网络大数据的应用

近几年, 网络大数据越来越显示出巨大的影响作用, 正在改变着人们的工作与生活。 2012 年11 月“ 时代”杂志撰文指出奥巴马总统连任成功背后的秘密, 其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘。Ebay的分析平台每天处理的数据量高达100pb, 超过了纳斯达克交易所每天的数据处理量。 为了准确分析用户的购物行为, Ebay定义了超过500 种类型的数据, 对顾客的行为进行跟踪分析。 而由阿里巴巴推出的“ 双十一”, 现在已经毫不低调地潜入了全球各地, 标志着“ 双十一”成功走向国际化。截至11 日24 时, 全网总销售额1229.4 亿, 比2014 年增长52.7%, 产生包裹数6.8 亿个。 天猫“ 双十一”单日交易总额达到921.17 亿元, 再次取得突破性成功。 这些应用的实现, 得益于企业对其往年的情况, 特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析。 大体来说, 网络的大数据的应用包括以下方面:

( 1) 大数据为企业获得消费者的真实需求提供可能。 利用网络大数据, 企业能够洞悉消费者的真实需求, 对消费者进行准确细分, 并将企业产品进行即时、精准、动态定位。零售业就是一个典型的数据驱动定制化的行业, 目前在线零售商利用实时数据提供精准的商品推介已经十分普遍。

( 2) 企业业务活动的“ 大数据”化。 比如, 电子商务, 就是将传统的商业流通交易流程用网络数据交换替换的结果。

( 3) 大数据带来的消费者对商品需求从拥有商品变成使用商品。出售模式改为出租模式, 与此相对应的收益模式从一次性支付向微支付转变。 在软件行业, 应用软件泛互联网化改变了消费者获得和使用软件的方式, 例如, 开源软件模式、App Store模式等。 企业利用“ 门户化”建立排他性, 提高客户粘性。

目前以数据产品为基本提供物的数据公司, 按照其不同定位, 可以分为三种基本商业模式:

( 1) 数据租售模式, 是向客户提供原始数据的租售, 对数据进行采集、传输和整理。 例如, 2010 年在深圳中小板上市的四维图新公司, 精准的导航数据是公司的核心产品, 这家公司因此成为国内第一家上市的导航电子地图生产企业。

( 2) 信息租售模式, 是向客户提供代表某种主题的相关数据集, 诸如数据包租售等。 例如, 彭博 ( Bloomberg) 公司, 核心竞争力在于积累了丰富的金融行业数据和交易数据, 拥有强大的专家和咨询网络, 构建了整合专业服务与媒体服务的全球性服务平台。

( 3) 知识租售模式, 为客户提供一体化的业务问题解决方案, 其关键流程是将大数据与行业知识利用相结合, 通过行业专家深度介入客户的业务流程提供业务问题解决方案。 比如, 为银行信用卡部门设计新的产品和营销方案, 帮助保险部门确定寿险、车险等的赔率, 帮助投行确定应该对哪些用户推出新的产品等等。

( 4) 应用租售模式。 这一模式建立在“ 大数据”行业垂直整合的基础上, 需要企业与客户进行深度合作, 其价值主张是为客户提供一体化的问题解决方案。 例如, IBM公司, 已经由硬件供应商转变为服务提供商, 提出为用户提供完整解决方案的价值主张。面对大数据的到来, 又提出“ 智慧地球”的愿景, 部署自己的“ 大数据”战略。 通过收购SPSS、Cognos等公司, 使公司业务极大扩展和丰富。

总之, 网络大数据的应用是基于数据, 基于互联网等技术的普及, 和新技术在用户生活中的极大渗透, 正如谷歌研究部主任彼得·诺维奇所说, “ 我们没有更好的算法, 我们只有更多的数据”。

2 网络大数据带来的挑战

网络大数据面临着来自诸多方面的挑战:复杂性、不确定性和随机涌现性, 而根本挑战在于其复杂性。复杂性造成网络大数据存储、分析、挖掘等多个环节的困难。

2.1 数据类型复杂性

信息技术的发展使得数据产生的途径不断增加, 数据类型持续增多。 相应地, 则需要开发新的数据采集、存储与处理技术, 给传统的文本挖掘带来很大的困难。 另一方面, 不同数据类型的有机融合给传统的数据处理方法带来了新的挑战。

2.2 数据结构的复杂性

传统上处理的数据对象都是有结构的, 能够存储到关系数据库中, 但随着数据生成方式的多样化, 如社交网络、移动计算和传感器等技术的发展和应用, 非结构化数据成为大数据的主流形式。 目前相关的研究热点包括开发非关系型数据库 ( 如Google的Big Table, 开源的HBase等) 来存储非结构化数据。 Google提出了Map Reduce计算框架, Yahoo! 、Facebook等公司在此基础上实现了Hadoop、Hive之类的分布式架构, 对非结构化数据做基本的分析工作。

国内各大公司和科研单位也启动了用于支撑非结构化处理的基础设施研发, 如百度的云计算平台、中国科学院计算技术研究所的凌云 ( Ling Cloud) 系统等。

2.3 数据模式的复杂性

随着数据规模的增大, 描述和刻画数据的特征必然随之增大, 而由其组成的数据内在模式将会以指数形式增长。这种面向多模式学习的研究则需要综合利用各个方面的知识。

3 大数据的发展前景

据著名咨询公司IDC发布的研究报告, 未来10 年全球大数据将增加50 倍, 管理数据仓库的服务器的数量将增加10 倍以迎合50 倍的大数据增长。网络大数据不仅数据量大、类型繁多, 为未来的商业社会和个人生活提供了无限可能和机遇, 同时也带来了诸多挑战。 大数据将包括结构化数据、半结构化数据和非结构化数据。 在现代互联网应用中, 表现出非结构化数据大幅增长的特点。 这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用。再次, 网络大数据往往呈现出突发涌现等非线性状态演变现象。因此难以对其变化进行有效评估和预测。网络大数据还常常以数据流的形式动态、快速地产生, 具有很强的时效性, 用户只有把握好对数据流的掌控才能充分利用这些数据。

如果说上一轮网络大数据的应用是基于泛互联网化, 那么新一轮的应用将要建立在超越互联网、超越大数据的思维之上。 连接、跨界、融合, 不仅带来许多新的商业模式, 而且使行业边界呈现模糊化趋势。

参考文献

[1]王元卓, 靳小龙, 程学旗.网络大数据:现状与展望[J].计算机学报, 2013年6月第36卷第6期.

[2]李文莲, 夏健明.基于“大数据”的商业模式创新[J].中国工业经济, 2013年5月第5期.

[3]http://review.ec.com.cn (中国国际电子商务网) [OL].

论大数据的现状及其发展研究 第8篇

一、大数据的现状

随着网络技术、信息技术的发展, 人类产生的数据成指数增长。资料显示, 2011年, 全球数据规模为1.8ZB, 可以填满575亿个32GB的i Pad。到2020年, 全球数据达到40ZB。我国, 2010年新存储的数据为250PB, 2012年中国的数据存储量达到364EB, 约为日本的60%, 北美的7%。全球互联网行业巨头以百度、阿里巴巴、腾讯等为代表的国内互联网企业开始创建自己的数据中心, 并在IT基础设施和创新方面有显著的成就。由此看来, 大数据慢慢走向成熟, 即将成为社会、生活不可缺少的一部分。

二、大数据的概念及特点

大数据 (Big Data) , 可以认为, 它所涉及的资料量规模巨大, 通过一些方法和手段, 在合理时间内达到获取、管理、处理并整理这些大量的资料数据, 进一步帮助企业高层做出经营决策。“大数据”的出现不是偶然事件, 它是在社会发展的推动下, 逐渐网络化、信息化。比如各种二维码、虹膜等都可以认为是大数据。对于数据的识别和分析是很有难度的。大数据的特点如下。 (1) 数据类别大。大数据一般包括以事务为代表的结构化数据, 以网页为代表的半结构化数据和以视频和语音信息为代表的非结构多类数据, 并且它们的处理和分析方式区别很大。 (2) 数据量大。通过各种方式, 比如市场、信息、网络等产生的一系列大量数据。所谓大数据, 数量肯定是很大的了。 (3) 数据快速化。有些数据是具有时效性的。比如电商行业, 数据是有时间限制的, 否则数据无意义, 或者会造成误差。 (4) 数据的灵活性与复杂性。数据更新迅速, 是变化的, 数据的类型、用途不同, 分析方式的不同、需求的不同导致了数据的灵活性和复杂性。

三、大数据的关键技术

大数据的处理主要是从一大堆的数据当中筛选出有价值的数据, 然后进行对比、分析、处理等。解决大数据问题的核心是大数据技术, 主要可分为:数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等8种技术。大数据技术主要形成了批处理、流处理和交互分析三种计算模式。大数据的关键技术主要还是对海量数据的存储和计算处理等, 特别是对数据的分类, 根据用途需求的不同, 筛选出对于某一个领域某一个用途有意义、有价值的一系列数据, 抛弃相对而言无用的数据。

四、大数据面临的机遇和挑战

1. 用户的个人隐私问题。

比如日常生活中我们经常使用的微信、旺信以及一些其他如淘粉吧、团购网等需要授权的网站和软件应用, 都需要读取使用者的个人信息等数据, 有可能会导致数据的泄露。

2. 在未来的社会中, 大数据即将成为未来交易的对象。

特别是大数据中的价值数据, 当然价值包括数据本身的价值和其使用价值, 价值也分为绝对价值和相对价值, 企业可以通过这些数据分析未来的发展趋势。国内三大巨头BAT坐拥数据金矿, 我们来看百度、阿里巴巴、腾讯三大巨头的大数据利用以及三者的不同之处 (如下页表1) 。

3. 大数据的挖掘和应用成为核心。

大数据的重心将从存储和传输, 过渡到数据的挖掘和应用。索取我们的个人位置信息可创造潜在价值6000亿美元。沃尔玛为其网站Walmart.com自行设计了最新的搜索引擎Polaris, 利用语义分析、数据挖掘等使得购物完成率提升了10%~20%, 这意味着数十亿的金额。

五、如何适应“大数据”时代

1. 加强领域合作。

加强各个领域之间的合作关系, 加强企业商业智能、社会服务、市场营销等各大领域的合作。企业服务于民众和政府, 政府也推动企业的发展, 激励市场的需求, 企业根据商业智能对数据的分析了解当今市场发展趋势, 进行产品的生产和市场分配, 根据用户的需求了解当今社会的发展要求, 政府把握公民动态, 了解民生。

2. 数据安全性。

防止数据被非法交易、倒卖、窃取、泄漏或者纂改。大量的数据通过云端存储, 数据管理比较分散。数据从产生到获取, 再到分析、处理等每一个过程都牵扯用户的隐私和安全问题, 整个过程中, 如不采取相应措施, 非法用户容易入侵, 窃取和纂改数据, 数据的正确性没有了保障。因此, 如何保证大数据的安全以及分析结果的可靠是信息安全领域所要解决的问题。

3. 加强大数据人才的培养。

大数据发展离不开人才的需求。大数据兴起的时间不算长, 这方面的人才还是急缺的。可以根据社会的需求培养具有大数据思维和创新能力的复合型人才, 企业可以根据企业自身的需要对企业内部人员进行教育培训, 另外可以通过招聘引进一些具有大数据经验的人士。引导员工职业发展, 采用员工激励制等, 鼓励员工不断地学习提升自我。加强大数据人才的培养也是大数据发展的重点之一。

六、大数据的应用

大数据通过互联网渠道, 遍布全球的各个角落。互联网企业与其他数据传播手段相比, 开展大数据应用存在“近水楼台先得月”的优势。百度、阿里巴巴、腾讯、谷歌、亚马逊等都拥有强大的数据资源和数据技术平台。美国等先进国家政府部门投资2亿美元开展大数据应用。我们要向美国学习推进大数据的应用实践。大数据的应用主要体现在互联网应用、电信应用、金融应用和政府应用。大数据应用的核心思想是将数学算法运用到海量数据中预测事情发生的可能性。

作为高校的一名教师, 我们可以将大数据运用到高校教学中, 以院系的软件工程专业为例 (图1) , 该专业的学生毕业初期76.52%都是选择在公司处理IT编程相关领域, 4.45%选择了考研, 5.27%选择考公务员等, 五年之后他们的选择又如何, 仍然坚守在IT岗位上的人又有多少?这些数据, 我们都可以进行统计分析, 了解每一年的毕业生就业情况。

大数据在大学生就业中的应用体现在:根据毕业生的就业情况统计出的数据反映社会对软件技术专业人才的需求以及学生就业选择的方向, 发现未来软件方向的就业趋势。同时, 在高校开设的《职业生涯规划课》上可以根据往届学生的就业情况给予新生更好地引导, 让学生产生良好的认识, 不会盲目地做出选择。大数据应用在毕业生就业上的指导有一定参考性, 数据证明了趋势, 更加生动、真实。

七、总结

大数据已被越来越多的人熟悉, 在未来的日子里, 大数据将迎来一场激烈的竞争。我们应该抓住大数据的关键点, 跟上时代的步伐, 适应科技时代的发展, 顺应大数据时代的需求, 从国家战略制定、人才培养、基础技术研究、信息安全保障体系建设等方面开展相应的工作。大数据的共享是未来的发展趋势, 如何更好地保护好数据, 如何更好地存储、分析数据, 都还需要继续探索。我们要充分有效地利用和组织大数据推动社会的发展。

参考文献

[2]大数据时代[J].中国电子科学研究院学报, 2013, (1) .

[3]淄博市经济和信息化委员会.“大数据”现状及发展浅谈[Z].2013-08-27.

[4]严霄凤, 张徳馨.大数据研究[J].计算机技术与发展, 2013, 23 (4) :170.

[5]刘菊香.大数据分析在大学生就业中的应用[J].文教资料, 2013, (28) :145.

[6]栗蔚, 魏凯.大数据的技术、应用和价值变革[J].电信网技术, 2013, (7) :9.

[7]王秀磊, 刘鹏.大数据关键技术[J].中兴通讯技术, 2013, 19 (4) .

[8]关志刚.IT经理网[EB/OL].http://detail.tmall.com/item.htm?id=36959152604.

浅谈大数据应用现状及发展前景 第9篇

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息, 而在于对这些含有意义的数据进行专业化处理。

从技术上看, 大数据必然无法用单台的计算机进行处理, 必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘, 但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临, 大数据也吸引了越来越多的关注。《著云台》的分析师团队认为, 大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据, 这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起, 因为实时的大型数据集分析需要Map Reduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

2 大数据应用现状

大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。

商业智能:过去几十年, 分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题:“某某人本季度的销售业绩是多少?” (基于结构化数据) , 但如果涉及决策和规划方面的问题, 由于不能快速处理非结构化数据, 传统的BI会非常吃力和昂贵。

公共服务:大数据另外一个重大的应用领域是社会和政府。目前, 城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题, 而城市, 也正是大数据计划的绝佳实验室。以纽约这样的大都市为例, 政府公共数据公开化、以及市民生活的高度数字化 (购物、交通、医疗等) 等都是大数据分析的理想对象。

客观的市政数据, 是消除争端, 维系公民社会的最佳纽带。当然, 前提是让公民能够访问这些数据。苹果的Siri和谷歌的Google Now都具备成为个人化助理的潜力。

智能手机 (以及Twitter等社交网络) 的普及让人类社会首次实现了公民的联网。应用程序商店实时上已经打通了政府和公民之间的应用层面的通道。伴随着各国政务的数字化进程, 以及政务数据的透明化, 公民将能准确了解政府的运作效率。这是不可逆转的历史潮流, 同时也是大数据最具潜力的应用领域之一。

市场营销:大数据的第三大应用领域是市场营销。具体来说, 是提升消费者与企业之间的关系。 (卖得更多、更快、更有效率) 。今天, 最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

大数据已经与在线营销交织在一起, 其应用可以分为两大类:

首先, 从线上到线下。配备了NFC近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流, 把在线零售的分析优化应用于线下。

其次, 数据分析工具将更加容易使用 (面向中小企业应用的大数据创业非常火爆) , 中小企业也许没有BI平台, 但他们都有平板电脑和智能手机, 移动版客户智能分析将会改变企业使用营销工具的方式。

3 大数据的发展前景

大数据的意义是由人类日益普及的网络行为所伴生的, 受到相关部门、企业采集的, 蕴含数据生产者真实意图、喜好的, 非传统结构和意义的数据。

2013年5月10日, 阿里巴巴集团董事局主席马云在淘宝十周年晚会上, 将卸任阿里集团CEO的职位, 并在晚会上做卸任前的演讲, 马云说, 大家还没搞清PC时代的时候, 移动互联网来了, 还没搞清移动互联网的时候, 大数据时代来了。

借着大数据时代的热潮, 微软公司生产了一款数据驱动的软件, 主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看, 从微软团队致力于研究开始, 可以看他们的目标不仅是为了节约了能源, 更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据, 捕捉如何杜绝能源浪费。“给我提供一些数据, 我就能做一些改变。如果给我提供所有数据, 我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。

从海量数据中“提纯”出有用的信息, 这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后, 大数据终于迎来了属于它的时代。2012年3月22日, 奥巴马政府宣布投资2亿美元拉动大数据相关产业发展, 将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。

4 推进大数据建设应做好的工作

大数据有巨大的社会和商业价值, 就看会不会挖掘, 是否善于运用数据分析的结果。同时, 它又是一个应用驱动性很强的服务, 要做好大数据产业, 为经济发展提供更大的动力, 需要从以下几人方面入手。

4.1 建立一套运行机制。

大数据建设是一项有序的、动态的、可持续发展的系统工程, 必须建立良好的运行机制, 以促进建设过程中各个环节的正规有序, 实现统合, 搞好顶层设计。

4.2 规范一套建设标准。

没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准, 为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。

4.3 搭建一个共享平台。

数据只有不断流动和充分共享, 才有生命力。应在各专用数据库建设的基础上, 通过数据集成, 实现各级各类指挥信息系统的数据交换和数据共享。

4.4 培养一支专业队伍。

大数据建设的每个环节都需要依靠专业人员完成, 因此, 必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

5 结论

随着大数据应用的爆发性增长, 它已经衍生出了自己独特的架构, 而且也直接推动了存储、网络以及计算技术的发展。大数据的出现, 开启了一次重大的时代转型。在IT时代, 以前技术才是大家关注的重点, 是技术推动了数据的发展;如今数据的价值凸显, 信息的重要性日益提高, 今后将是数据推动技术的进步.大数据不仅改变了社会经济生活, 也在影响了每个人的生活和思维方式, 而这样的改变才刚刚开始。

摘要:大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法, 从大数据中挖掘有效信息, 为用户提供辅助决策, 实现大数据价值的过程。本文主要介绍了大数据定义、大数据应用领域及对大数据的展望。

关键词:大数据,大数据展望,大数据典型应用

参考文献

[1]高明, 金澈清, 王晓玲等.数据世系管理技术研究综述[J].计算机学报, 2010, 33.

[2]盛杨燕, 周涛译.大数据时代[M].杭州:浙江人民出版社, 2013.

[3]宋国杰, 唐世渭, 杨冬青等.数据流中异常模式的提取与趋势监测[J].计算机研究与发展, 2004, 41.

[4]梅宏, 王千祥, 张路等.软件分析技术进展[J].计算机学报, 2009, 32

大数据现状 第10篇

1基于大数据的数字油田发展现状

数字油田的概念是我国的大庆油田1999年首次提出来的,不过那时还只是一个模糊的概念, 但是其思想理念还是受到业界许多人的肯定,经过多年的研究和发展,我国数字油田的发展经过不断的完善,已经初具规模。近几年来,随着信息技术的不断发展,油田在信息化和数字化中涉及到的数据越来越多,在数字油田中,与大数据有直接关系的就是“数据中心”,我国在“十一五”期间明确提出了,在石油信息技术中建设绿色数据中心的规划。我国石油数据中心的总体架构主要分3个层次:一是集团级数据中心;二是区域级数据中心,这个主要是包括吉林、大庆新疆等11个区域数据中心;三是地区公司级数据中心,这主要是以销售为主的各地区公司的机房和企业联合机房。由此可以看出,我国的石油数据中心体系是相当庞大的,所以在油田中推行基于“大数据”下发展数字油田战略是很有必要的,也是现代油田发展的一个新方向。

2基于大数据的数字油田发展所面临的问题

从数字油田的提出一直到现在, 无论是国外还是我国的数字油田都取得了一定的成绩, 不过从整个油田的信息化以及对于油田资源的整合利用,加之在数字油田大数据的背景下而言,数字油田在发展的同时还是存在着一些问题:

(1)在油田的管理上 ,我国主要的模式是按照专业划分的条块式管理,所以在一些技术和管理上,有些专业之间无法实现资源的实时共享,存在一定的间隙。

(2) 目前我国的油田企业 , 无论是勘探还是开发 , 所使用的软件基本上都是引进式的, 从而就出现了一个油田的信息化工作平台是由多个公司的软件系统支撑起来的现象, 又由于这多家公司的的软件之间的互通性很低,甚至不能互通,在基于大数据的数字油田中, 在进行数据的准备和迁移的时候就不能实现无缝连接, 这是目前基于大数据的数字油田发展中面临的最主要的问题。

(3) 在勘探的时候 , 需要面对大量的数据 , 尤其是测井和地震数据的时候,传统的信息技术就显现出了不足,无法对数据进行实时、智能的整合和集成。

3基于大数据的数字油田发展趋势

基于大数据背景下的数字油田, 由于需要面临的数据量比较庞大,因此在油田的发展中,对这些信息数据的处理必须更加的智能化才能满足其发展要求, 所以智能油田就是数字油田下一步的发展趋势。运用先进的管理理念和信息技术构建一个智能化的油田,在油田企业的各个领域都能够实现智能化工作、智能化管理以及智能化业务等。智能油田从一定程度上说是数字油田的升级版本,但又不仅仅是,在技术上,数字油田是在互联网基础上实现的, 而智能油田是在基于云计算以及物联网等许多先进的信息技术上得以实现的。

在油田的生产流程中,运用云计算和物联网技术,然后利用先进的网络和传感系统,将传感设备、视频监控设备等布置到井下、计量间等厂区各个位置,就能对油气站库、油气藏等资产的动态进行实时的数据监测和采集, 人员以及设备之间的信息交换和通讯也可以通过物联网来实现,从而实现智能化管理。

目前,国际上比较成功的智能油田有挪威国家石油公司,其与IBM公司合作,在油田开发中创建了全新的业务流程框架,运用各种先进的技术, 使智能油田取得了良好的效果和巨大的收益, 这种创新的合作模式也为我国的智能油田发展提供了一个思路。而在我国的智能油田研究中,新疆油田公司是起步比较早的,在2008年,新疆油田公司就已率先建成数字油田,而目前智能油田的建设也已经启动,建成智能油田以后,油田企业中的大数据可以实现智能化管理, 达到真正意义上的用信息化技术管理油田的目的。

4结语

综上所述,目前是一个信息大爆炸的时代,信息技术的发展日新月异,在油田的发展中,尤其是大数据背景下的数字油田,必须充分依靠现代化的信息技术来进行数据的处理, 从而逐渐建设成为一个智能化管理的油田运作模式, 从而在提高油田企业产量和采收率的同时还降低了生产的运营成本,可以说,智能油田是未来数字油田发展的必然趋势, 虽然在我国可能还会经历一个比较长的时间, 但是在借鉴国外成功经验以及结合我国的实际情况下,对智能油田的研究已经有了很明显的效果,相信在不久之后我国的油田就能真正实现智能化管理。

摘要:从1998年数字地球的概念被提出以后,我国的油田企业也开始了向数字油田方向的发展,经过几年的发展,中石油、中石化等石油公司在这方面的建设已经取得了不小的成绩。而近几年来,随着“大数据”发展战略的推动,许多的学者开始探索基于大数据背景下的数字油田的发展。本文就从其发展现状入手分析,简要阐述了基于大数据背景下的数字油田的发展以及前景,以其为我国实现数字油田的发展提供一些帮助。

大数据现状 第11篇

在过去一年里,《数字商业时代》在对全国范围内的100多位CEO/CIO进行了调研,了解了他们对互联经济大格局下企业如何可持续发展的看法,发现CEO/CIO们并不满足于日益加强的IT管理,而是希望充分发挥大数据和互联科技的潜力,重新思考人与人互联后对企业带来的价值。

尤其在今天的环境里,数据量的爆发和以前完全不一样,有90%的数据是在过去两年创造的,到了2010年时,全世界要消化的数据量是现在的44倍以上。

而有越来越多的企业愿意投资在大数据的分析上,根据Gartner调查,目前有27%的企业已经投资了大数据分析系统,也有31%的企业预计在接下来的2年内投资,希望能加强大数据分析相关硬件和软件的能力。

如果能把大量的数据,用科学化的方式做到更优化的预估,那么,在面对复杂环境所带来的诸多挑战下,不管是企业或政府就有可能运用这些经过提炼的智慧,创造新的增长机遇以及全新的价值。

评选标准:

我们将从几个维度评估那些在大数据掘金的企业:

1 能否通过大数据进行预测

大数据的核心就是预测,它通常被视为人工智能的一部分,或者更确切的说是一种机器学习。在大数据时代,我们可以分析更多地数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。

案例:对冲基金通过剖析社交网络Twitter上的数据信息来预测股市的表现;亚马逊和奈飞(Netflix)根据用户在其网站上的类似查询来进行产品推荐;Twitter,Facebook和LinkedIn通过用户的社交网络图来得知用户的特别喜好。

2 能否将混杂的数据化繁为简

据估计,只有5%的数字数据是结构化的且能适用于传统数据库。如果不接受混乱,剩下的95%的非结构化数据都无法被利用,比如王业和视频资源。通过接受不精确性,我们打开了一个从未涉足的世界的窗户。

案例:2012年,让ZestFinance引以为豪的就是,它的贷款拖欠率比行业平均水平要低三分之一左右,制胜之道在于“拥抱”了混杂的数据。舉个例子,有10%的客户属性信息显示“已经死亡”,但是依然可以从他们身上收回贷款。ZestFinance的数据显示,房贷给“僵尸”是一项不错的生意。

3 能否将数据“量化”

大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见,但是如今的信息技术变革的重点在“T”(技术)上,而不是在“I”(信息)上。现在,我们是时候把聚光灯打向“I”,开始关注信息本身了。

案例:UPS快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障,它的货车上装有传感器、无线适配器和GPS。同时,这些设备也方便了公司监督管理员工并优化行车路线。2011年,UPS的驾驶员们少跑了近4828万公里的路程,节省了300万加仑的燃料并且减少了3万公吨的二氧化碳排放。

4 能否利用数据创新挖掘真正价值

数据就像一个神奇的钻石矿,当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而绝大部分都隐藏在表面之下。

案例:Farecast利用机票销售数据来预测未来的机票价格;谷歌重复使用搜索关键词来监测流感的传播;麦格雷戈博士用婴儿的生命体征来预测传染病的发生;莫里重新利用老船长的日志而发现了洋流。

5 是否拥有独立的数据“中间商”

在未来,我们可以利用数据做更多的事情,而数据的拥有者们也会真正意识到他们所拥有的财富。因此,他们可能会把他们手中的数据抓的更紧,也会以更高的价格再出售。

案例:微软以1.1亿美元的价格购买了大数据公司Farecast,而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITASoftware公司。

大数据农业的发展现状、问题与对策 第12篇

一、我国大数据农业发展现状

大数据农业是近年来发展起来的新课题,这种技术广泛应用在多个领域。通过运用大数据处理技术,科学家已经在农业育种、农业栽培、病虫害防治、农业环境监测等方面取得了显著成就。

(一)在农业育种上应用大数据技术

传统的育种手段需要占用大量的时间成本与经济成本。据统计,成功培育出一个新品种并投入商用大约需要10年时间。然而,在SNP分子标记检测设备的辅助下,运用大数据技术对基因组测序数据处理,科学家就可以在短时间内成功检测出大量基因型,快速筛选出目标基因片段,大幅度地提高了优良性状的识别速度与效率。

(二)大数据技术与农业栽培相结合

精准农业(Precision agriculture)是大数据技术与农业栽培技术的完美结合。它是一种基于全球定位系统(GPS)、地理信息系统(GIS)和遥感系统(RS)的大数据信息传输技术的现代化农业管理系统。大数据技术能够对作物生长过程中的时空变动给予监测与反馈,系统地评估作物生长状态、合理地优化施肥配方,全面地调动土壤生产力,高效地调控各类农业资源,大幅地提高经济效益和生态效益。

(三)运用大数据处理技术防治病虫害

农业技术人员根据设在田间地头的监测站提供的海量数据,运用大数据处理技术,对气候、菌源基数和害虫越冬基数、种植业结构等病虫害监测系统主要因素进行综合统计与分析,预测本季发生病虫害的概率与区域,及时提供病虫害预报,并提供有效的治理方案,最大程度降低农业自然灾害损失。

(四)通过大数据分析实现农业环境监测

农业环境监测的对象包括大气、水、土壤和生态状态等环境要素。大数据通过对海量信息进行相关性分析,计算特定要素之间存在的关联性,最终为农业发展提供准确的预测与判断。例如,农业技术人员可以通过传感器更加详细地监测土壤中的农作物需肥量,指导农民掌握施肥的最佳时机,节省肥料资源,避免过量施肥引起的环境污染。

虽然大数据技术已经应用到农业生产的多个方面,但是在普及大数据农业的道路上,也遇到了许多问题。我们必须认清现实:我国大数据农业发展还处在起步阶段,未来任重而道远。

二、大数据农业发展中的问题

(一)网络基础服务设施不完善

网络基础设施是实现大数据农业发展的先决条件,只有高速畅通的网络环境才能将实时采集的海量农业数据信息及时有效地汇总至农业大数据处理中心,从而为数据统计筛选与分析预测赢得宝贵时间。数据的时效性决定了大数据农业精准与高效。然而,由于我国农村尤其是偏远农村地区经济发展落后、地质条件相对复杂、人口分布大多分散,这导致了网络信息基础设施建设和运行维护的成本收益比不合理,造成了一定程度的市场失灵,网络数字鸿沟呈现扩大趋势。据统计,目前我国仍有5万多个行政村未能接通宽带,这一短板极大地阻碍了大数据农业的发展进程。发展大数据农业先完善网络服务设施成为亟待解决的首要问题。

(二)大数据人才匮乏

大数据农业的发展离不开雄厚的人力资源保障,不仅需要精通农业的相关人才还需要懂得大数据挖掘处理的计算机人才、农业数据网络人才和信息管理人才,这些人才集聚在一起共同构成一个有机的大数据农业技术团队。但是就目前的农村现状而言,发展大数据农业的人力资本并不乐观。一方面,随着城市化进程不断加快,大量青壮年劳动力涌入城市务工,有能力掌握新技术的劳动力不断流失,造成农村空心化,土地撂荒现象时有发生。另一方面,由于政治、经济、社会、自然等多方面的综合原因,导致广大农村地区难以引进到急需的专业技术人才;即使幸运地引进到相关技术人,往往也由于没有完善的配套激励措施等原因致使大量专业技术人才逃离农村,造成大数据农业的实践主体严重缺位。

(三)大数据共享度低

大数据资源是人类社会的共同财富。大数据共享是现代科学迅速发展的重要推动力量。然而我国在大数据资源共享,尤其是农业大数据资源共享方面与国外的差距很大。例如在美国,政府大力投资建立农业大数据库共享平台,并且科研院所可以免费共享这些数据资源。这种方式有效保障了数据资源在科研部门自由流通,显著降低了科研成本,大幅提升了科研效率。反观我国,农业大数据的开发利用水平还很低,数据标准不一、规模不大,部分数据仍然处在分散的状态,无法实现共享。即使部分研究单位拥有相关数据库,但是由于小农意识严重,部门利益冲突等原因,造成了一个个数据部门割据的信息孤岛,致使农业大数据资源难以在大数据时代得到共享。

(四)法律保障机制不健全

相关法律法规的制定与完善是农业大数据共享的坚实保障,也是实现大数据高度共享的关键性因素。例如,联邦德国在1977年就已经制定并颁布了数据保护的相关法律。由于拥有完善的法律法规和行业指导规范,国外的数据共享也较为充分,从而使得在大数据到来之前,西方国家早已在金融领域的风控与征信等方面实现数据共享。纵观我国,数据保护方面的法律法规较为滞后。虽然近年来我国也加快了对数据信息的保护与立法工作,但是其中大多局限在个人隐私信息保护方面,对大数据分享与利用的法律规定阐述较少、界定不清,导致在这方面形成了相对的“法律真空”,极大地阻碍了我国农业大数据共享的进程。

三、大数据农业发展的对策

(一)加快完善网络配套服务设施

农村网络基础设施的建设,是发展大数据农业的先决条件。首先,增加农村网络基础设施建设的投入。中央财政应该拨专项资金大力支持发展农村网络基础设施建设,扩大通信管网、增加无线基站、提高各级机房等设施的覆盖面,保证网络覆盖到每一个行政村,为实现大数据农业提供坚实的物质基础。其次,电信企业需要提高服务能力,实现网络提速降费。目前,各大网络运营商的网络资费相对偏高,这一问题已经成为农民接入网络的一大顾虑。政府有关部门需要协调各方面利益,切实降低网络资费,打通网络入户“最后一公里”。

(二)不断提高农民大数据意识

农民是大数据农业的实践者更是受益者,必须使农民在大数据农业中得到实实在在的好处,只有腰包鼓了,才能充分调动农民推进大数据农业的积极性。一方面,加大对农民大数据农业相关知识技能的培训力度,运用农民通俗易懂的语言,喜闻乐见的方式,深入浅出地传授大数据农业的技术手段和管理方法,要让农民“听得懂,学得会,记得牢,做得好”。另一方面,成立大数据农业技术推广组,邀请大数据农业技术人员随时为农民答疑解惑,提供技术咨询服务,保证大数据农业技术得到有效普及与推广。

(三)大力推进农业大数据共享开放

国家应该对农业大数据产业进行全面、细致、强力地规划,减少大数据资源共享的屏障。首先,建立农业大数据共享中心,将原本分散存储的数据统一汇集到公共数据中心,强力推进数据共建共享。其次,鉴于部门利益割据是阻碍推行农业大数据技术的藩篱,政府有义务通过财政、税收等手段对相关主体进行必要的经济补贴,从而引导相关利益部门开放农业大数据共享平台,实现农业大数据资源无障碍流通。第三,制定大数据使用管理规范,出台相应的数据版权保护的规定,相关部门签署数据使用协议,打破不同部门之间的大数据藩篱,做到真正的大数据共享,造福于社会。

(四)全面健全法律保障机制

大数据农业的健康持续发展需要有完善的法律法规作为保障。大数据农业已经成为现代农业发展的大趋势,农业大数据的开发与利用将涉及数据生产者、数据收集者、数据加工者以及数据使用者等各个农业大数据的相关者。第一,农业大数据共享平台有保护农业大数据安全的责任和义务;第二,农业大数据的收集途径和手段必须合法,相关主体充分享有知情权;第三,明确规定农业大数据相关主体隐私泄漏后的法律援助和救济渠道。只有通过立法厘清各个利益相关方的权利与义务关系,明晰各方的法律边界,大数据农业的发展才有法可依,农业大数据的各方利益才能得到全面保护。

四、展望

目前,大数据浪潮席卷全球,为我国大数据农业发展带来了崭新的机遇。尽管我国大数据农业还处在试点阶段,农业大数据技术还没有实现全面推广,但是只要我们牢牢把握大数据这一时代主题,充分调动广大劳动者的积极性与创造性,虚心借鉴各国成功经验,全面运用各种数据资源和先进技术,不断加强大数据农业技术的研发与改进,就一定能够进一步推进我国大数据农业的发展进程,为实现我国由农业大国成功转型为农业强国奠定坚实的基础。

摘要:大数据农业是我国农业现代化进程的必由之路,也是我国农业产业布局调整、结构优化升级的具体体现。对我国发展大数据农业目前在网络基础服务设施、大数据人才、大数据共享及法律保障机制等方面所面临的问题,提出加快完善网络配套服务设施,不断提高农民大数据意识,大力推进农业大数据共享开放,全面健全法律保障机制的对策,以进一步推进我国大数据农业的发展,为实现我国由农业大国成功转型为农业强国奠定坚实的基础。

关键词:大数据,农业发展现状,问题,对策

参考文献

[1]肖湘雄.大数据:农产品质量安全治理的机遇、挑战及对策[J].中国行政管理,2015(11):25-29

[2]张璋.数据共享是实现科学创新的根本保障——农学家畅谈农业数据共享问题[J].科学咨询,2003(3):10-11

相关文章
创新公共服务范文

创新公共服务范文

创新公共服务范文(精选12篇)创新公共服务 第1篇科学技术是第一生产力,科技公共服务平台对国家或区域的技术创新具有巨大的推动作用。科技...

3
2025-10-24
匆匆中学生读后有感

匆匆中学生读后有感

匆匆中学生读后有感(精选9篇)匆匆中学生读后有感 第1篇匆匆读后感500字_读《匆匆》有感当细细地品读完一本名著后,大家心中一定有不少感...

1
2025-10-24
草莓教学范文

草莓教学范文

草莓教学范文(精选17篇)草莓教学 第1篇“风儿轻轻吹,彩蝶翩翩飞,有位小姑娘上山摘草莓,一串串哟红草莓,好像……”优美的歌词,动听...

3
2025-10-24
仓储类课程范文

仓储类课程范文

仓储类课程范文(精选7篇)仓储类课程 第1篇物流产业是复合型产业,发达的物流能加速传统运输、仓储和零售等行业向现代物流服务领域延伸。...

1
2025-10-24
创造性批评:解说与解读

创造性批评:解说与解读

创造性批评:解说与解读(精选8篇)创造性批评:解说与解读 第1篇创造性批评:解说与解读作为诗性文化重要组成部分的审美批评,同文学艺术实践...

2
2025-10-24
初二地理试卷分析

初二地理试卷分析

初二地理试卷分析(精选6篇)初二地理试卷分析 第1篇莲山 课件 w ww.5 YK J.COM 4 初二地理试卷分析二、试题所体现的新课程理念和...

3
2025-10-24
常州市河海中学文明班小结

常州市河海中学文明班小结

常州市河海中学文明班小结(精选2篇)常州市河海中学文明班小结 第1篇常州市河海中学2008~2009学年第一学期 八(1)班创 文 明 班 ...

2
2025-10-24
财务负责人身份证明

财务负责人身份证明

财务负责人身份证明(精选14篇)财务负责人身份证明 第1篇财务负责人身份证明及签字样本兹证明为我公司财务负责人。特此证明。身份证复印...

1
2025-10-24
付费阅读
确认删除?
回到顶部