设为首页收藏本站

大数据论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 60|回复: 2

安晖:大数据在当前为何受到前所未有的重视

[复制链接]
发表于 2019-7-9 16:28:44 | 显示全部楼层 |阅读模式
大数据以其“浅显易懂”的概念和巨大的应用前景,正成为继云计算、物联网之后信息技术领域的又一热点。为把握大数据带来的新机遇,需要全面深入地理解大数据,并在此基础上推动大数据发展与应用。
大数据在当前为何受到前所未有的重视
大数据的概念并非近期才出现。20世纪90年代初,数据仓库之父比尔·恩门就对此津津乐道。2005年,约翰·韦伯斯特和克里斯·斯塔库提斯联合撰写的书籍《无所不包的数据》中,讲述了大规模收集数据如何改变企业的业务和人们的生活。但受限于当时的信息技术水平,大数据的理念未能真正落地。之所以大数据在当前受到前所未有的重视,归纳起来有三方面原因。
首先,大数据已成为一种普遍现象。全球的数据总量正呈指数增长,过去3年间产生的数据量超过以往总和。2011年,全球被创建和被复制的数据总量达1.8ZB;预计2020年将增至35.2ZB。同时,企业级用户的数据拥有量快速增长,搜索引擎企业百度拥有的数据总量已达到100PB,每天要处理30PB的数据量;电子商务网站淘宝每天的活跃数据量已经超过50TB。随着移动互联网、物联网等的迅速发展,新的数据源将不断出现,GPS、传感器等数据会持续、大量产生。而数据产生成本、获取成本、存储成本和处理成本的下降,也推动了数据体量的膨胀。
其次,发展大数据已成为经济增长的重要途径。麦肯锡全球研究院指出,数据正成为与物质资产和人力资本相提并论的重要生产要素,大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素,成为领军企业与其他企业之间最显著的差别。与之相呼应,各类企业也越来越重视对规模化数据的分析和使用。电信、金融等行业已经达到“数据就是业务本身”的发展阶段;社交媒体、电子商务、云计算、物联网等新应用的兴起,要求企业不能再仅对价值链单个环节的数据进行分析。这种情况下,企业用户迫切需要借助大数据战略,更为全面地了解运营情况及运营环境,获得更多经济价值。
第三,发展大数据已成为国家发展的重要战略。美国政府宣布“大数据的研究和发展计划”,涉及6个联邦政府部门,承诺投资超过2亿美元。如此兴师动众,是因为美国政府认为大数据技术事关美国国家安全、科学和研究的步伐。美国对大数据的重视引发了世界各国的广泛关注,各国均认为,未来国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力,数字主权将成为继边防、海防、空防之后另一个大国博弈的空间。
大数据的内涵应当是数据、技术与应用三者的统一
尽管“大数据”一词已被广泛使用和讨论,但目前尚无统一的定义,不同厂商、不同用户,所处角度不同,对大数据的理解也不一样。全面来看,大数据应当是数据、技术与应用三者的统一。
其一,从对象角度看,大数据是大小超出传统软硬件采集、储存、管理和分析等能力的数据集合。大规模的数据集合是大数据分析的对象和基础,正是由于使用常规的软硬件技术和产品无法对大数据进行全面处理,所以必须采用新技术。但同时,大数据也是一个相对的概念,没有一个严格的标准限定多大规模的数据集合才称得上是大数据。事实上,随着时间推移和数据管理与处理技术的进步,符合大数据标准的数据集合的规模也在并将继续增长。而对于不同行业领域和不同应用而言,“大数据”的规模也不统一。这就要求不能简单地用PB、EB等规模标准去衡量大数据。
其二,从技术角度看,大数据技术是从各种各样类型的大数据中,快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的重要区别之一,就在于“大数据”这一概念中包含着对数据对象的处理行为。为能从大数据对象中快速挖掘更多有价值的信息,使大数据对象“活起来”,就需要综合运用先进的、多学科的技术方法,包括数据分析、数据挖掘、分布式处理等,而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见,大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。
其三,从应用角度看,大数据是对特定的大数据集合,集成应用大数据技术,获得有价值信息的行为。一方面,“大数据”本身和“数据挖掘”、“智能分析”等技术都已存在较长时间,所以大数据成为当前热点,就在于各个行业领域具有了对大数据分析和利用的巨大现实需求和具体应用需求。如果不与具体应用相联系,大数据的作用和价值就无从谈起。另一方面,由于业务需求存在差异,对于不同领域、不同业务,甚至同一领域不同企业的相同业务来说,由于数据集合和分析挖掘目标存在差异,所运用的大数据技术和大数据分析处理系统也可能存在相当大不同。正由于与具体应用紧密联系,甚至是一对一的联系,才使“应用”成为大数据不可或缺的内涵之一。
可见,对象、技术与应用是相互关联、互为支撑的,忽视了任何一个,大数据的价值就无法充分发挥。
国内大数据领域已显示出或多或少的“泡沫”
在各界的加倍关注中,国内大数据领域的明显进展未现,却已经显示出或多或少的“泡沫”。借大数据之名圈钱、圈地或进行重复建设的苗头已然出现。这种情况下,需要清醒认识大数据发展与应用的重点。
第一,大数据发展的重点在于对数据对象的分析与应用。有专家建言,建设大规模数据中心,开展数据存储业务,就是发展大数据产业;也有机构提出发展大数据必须重点加强基础设施建设。这些观点都偏离了大数据的本意。
从根本上看,“大数据”并非一个科学、严格的概念,它来自于对数据规模的爆炸性增长这一现象的归纳。但在“海量数据”、“大规模数据”等概念已经存在的前提下,之所以还要提出新的概念,就是因为需要将对数据对象的处理和应用包含进来。再者,就数据的整个生命周期看,大数据的重点不在于对数据的传输、收集、存储,而是重在对数据的分析挖掘,并由此获得凭直觉难以发现的有用信息。可见,不盲目追求数据掌握量,而是将重点放在数据的分析挖掘与应用上,才能最大程度地实现大数据的真正价值。
第二,大数据对象的重点在于获取与使用。若仅就大数据对象而言,有专业机构提出,应做好源数据集合的建设。这种观点有一定道理,但也不完全正确。例如,要想运用大数据手段实现智能交通,需要有城市的道路规划、车辆、停车场等数据,这些数据多由政府部门所掌握,对相应数据库确实需要加强建设。但是,要想根据实际情况实时、灵活地管理交通,还必须随时跟踪和整理道路流量数据、停车场容量数据、天气数据、道路事故信息等,而这些数据,不仅可以来自于交管等政府部门,还能够通过微博、微信等渠道获取,甚至很多时候从微博上获取信息要比从管理部门更加迅速。而众所周知,微博等信息源是开放式的,任何部门都无法“拥有”这些数据,惟一能做的就是尽力抓取,尽快收集整理。
通过类似的事例可以发现,由微博、社交网络、搜索引擎等公开来源动态、实时获取的“外部数据”能够让数据使用部门所掌握的内部数据发挥更大价值。因此,对于大数据所涉及的数据对象,必须分类对待。对政府部门、公共服务机构、企业等所掌握和持续更新的数据,需要加强建设,作为大数据应用的基础。但同时,必须重视微博、微信、社交网络、搜索引擎等新兴数据源,做好对相关数据的跟踪、抓取、整理和应用。
第三,大数据作用的重点在于启发与辅助决策。社会关注大数据,是期望能够由其带来经济社会方面的收益,但同时,不应也不能苛求大数据分析结果的完全准确,更不能因为其不完全准确而否定其重要作用。
从数据对象看,大数据涉及微博数据、社交网络数据、搜索引擎数据等,其中不可避免地包括错误数据和无用数据。虽然能够通过一定的数据清洗、数据过滤手段去筛选,但也无法完全确保其真实性和准确性。这是客观存在的事实。
从分析结果看,大数据所完成的是数据与数据之间关联规则的发现,而非对规则的论证,它对研究人员、对决策者的价值,在于能够引导和启发大数据应用者的创新思维,辅助决策。简单点说,若是处理一个问题,通常人能够想到一种方法,而大数据能够提供十种参考方法,哪怕其中只有三种可行,也将解决问题的思路拓展了三倍。正如淘宝网给用户提供的产品推荐,不一定完全准确,但可以帮助用户更方便地选择商品一样。
大数据发展的策略
大数据领域的革新,标志着国家、行业、企业对于数据的应用需求和应用水平都在进入新的发展阶段。面对我国“大国、大市场”所天然具有的对大数据的分析应用需求,我们需要将大数据作为新一轮科技竞争和产业竞争的战略重点和制高点,顺应社会应用需求和产业发展趋势,加快大数据应用示范,推动经济社会各领域的大数据开发与利用。
一是选择百度、阿里巴巴、腾讯等拥有丰富数据资源和技术优势的互联网信息服务企业,开展大数据挖掘、分析、应用,并以之为基础面向公众提供各种类型的信息服务。支持互联网信息服务企业与专门的数据服务机构、企业合作,开展对互联网上的公开源数据的初步分析整理,开放数据整理与数据初步挖掘成果,促进各领域大数据的应用。
二是结合智慧城市建设,以政府和医疗卫生、文化教育、交通运输、公共安全等社会服务机构为切入点,加速各部门、各领域信息资源的融合共享,并接入微博、微信、社交网络等公开信息,为智慧城市各个领域提供强大决策支持,强化社会管理与服务的科学性和前瞻性。例如,通过对城市地理信息和经济、社会、文化、人口等人文社会信息的挖掘,为城市规划提供辅助;通过对城市道路、车辆信息和实时道路交通信息的挖掘,支持交通管理,缓解交通拥堵;通过对自然灾害历史信息和实时天气信息的挖掘,提高对自然灾害的安全防范能力和应急处理能力。
三是选择能源、金融、电信、交通、商业零售、工业制造、现代农业等领域的重点企业或机构,鼓励其基于企业积累的数据进行挖掘,为企业战略制定提供帮助,提高经营决策水平和业务效率,提升创新能力和服务质量,降低运营成本。例如,零售企业可通过对数据的实时分析掌握市场动态并迅速做出应对,通过精准营销增加营业收入;工业制造企业可通过整合来自研发、工程和制造部门的数据,实行并行工程,显著缩短产品上市时间并提高质量。各类企业还可从产品开发、生产和销售的历史大数据中找到创新的源泉,从客户和消费者的大数据中寻找新的合作伙伴,以及从售后反馈大数据中发现额外的增值服务,从而改善现有产品和服务,创新业务模式。

点评

海!外直播 t.cn/RxmJTrC 禁闻视频 t.cn/RxrADkq 国际上完全孤立,臭名昭著;国内贪官横行,流氓成性;富人恐惧,争相移民;文人折腰,见风使舵;只剩互联网上那仅存的一丝火焰,为未来,为后代,在顽强的呐喊..  发表于 6 天前
回复

使用道具 举报

发表于 2019-7-9 16:28:46 | 显示全部楼层
鼎力支持!!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|大数据论坛 ( 京ICP备10002193号-4 京公海网安备110108001289号  

GMT+8, 2019-7-18 08:28 , Processed in 0.304302 second(s), 29 queries , Gzip On.

Powered by Discuz! X3.1

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表