中国自动化学会专家咨询工作委员会指定宣传媒体
新闻详情
isee-

大数据时代已经到来

http://www.gkong.com 2012-09-14 17:26 来源:中国自动化学会专家咨询工作委员会

  中国工程院院士邬贺铨认为,大数据时代已经到来。

  为什么是“大数据”时代?

  据邬贺铨介绍,工业革命以后,书籍以文字为载体,知识量大约十年翻一番,迄今翻番的周期已经缩短为两年左右。目前,医疗卫生、地理信息、电子商务、影视娱乐每天都有大量数据产生。因此,到2012年年底,全球数据总量将达到2.7ZB,到2015年将达到8ZB。麦肯锡预测,到2020年,全球数据使用量要暴增44倍(不是生产量,而是使用量)达到35.2ZB。

  上海世博会期间,将近1万辆公交车都装上了摄像头,这些摄像头1个小时将产生3.6GB的数据量,每天只有一半的车传数据,每天两分钟,一个月就产生18TB。北京目前装了80万以上的高清摄像头,每天产生的数据量相当可观。

  由此可见,“数据爆炸”已经出现。大数据会使全球制造业、政府、零售商、金融机构获得很多数据,并由此产生巨大的商业价值。例如全球个人用户使用地理信息数据的商业价值就高达6000亿美元,美国医疗行业数据价值每年可达3000亿美元。

  那么,该如何应对大数据时代的到来?

  邬贺铨认为,首先,大数据需要大管道和超高速的网络连接。大数据通常都是非结构性的,其中视频、音频等数据对实时性提出了很高的要求。因此,网络需要宽带化。大数据的存储、分析也给运营商带来了新挑战,例如移动网络此前优化的主要目的是语音业务,但现在数据业务在网络中已经占有主导地位,考虑到数据业务具有突发性的特点,也需要在网络层面加以考虑。在投资方面,数据业务投资比语音业务高5倍,电信运营商不得不对核心网进行虚拟化,以便有效利用网络资源。

  然而,在宽带网建设方面,我国的国际互联网干线带宽、国内带宽以及移动互联网下载速率的国际排名都比较靠后,这和中国在世界的政治地位相比太不相称。

  其次,大数据时代的网络优化需要以内容为中心。过去互联网的浏览是要访问一个网站,但访问网站不是目的,我们需要的是内容。过去的网络结构并不是以内容为核心的,现在把内容分配在边缘路由器上,我们就可以快速地找到内容,而不必考虑这个内容来自于哪个网站。同时,互联网既然是以数据为主,为了减少时延提高吞吐量,移动网络就要尽量做到扁平化。移动通信,顾名思义,是为了人在移动过程中通信。现在移动通信70%~80%的话务量都产生在室内,因此,应该理解为个人通信更合适,而且现在的移动通信主要消耗的不是语音带宽,而是数据带宽。所以,没有必要让所有的用户都去访问网络中间的服务器,而是把很多操作放在网络边缘。

  此外,大数据时代期待新的商业模式。据邬贺铨介绍,目前移动互联网的流量相当于8年前的固网流量。面对移动数据流量猛增的态势,需要改变完全按照下载流量而不区别下载速度的资费方式。例如同样的数据,5秒钟下载完成和5分钟下载完成的用户体验是截然不同的,因此在资费方面也需要区别对待。

  应对“大数据”挑战

  仅管理数据量是不够的

  2011-07-1917:22 中国信息产业网官方微博

  全球技术研究和咨询公司Gartner最近指出,许多IT领袖通过排斥信息管理的其他方面,而侧重在信息的大容量上来管理“大数据”带来的挑战,这留下了大量的问题需要在以后解决。

  大数据是一个流行的术语, 用来代表在未来丰富数据格局中信息的指数增长、获取和使用。所谓“大数据”过度集中在信息量上(从存储通过转换/传输直到分析的每一个层面)。随着IT领袖试图扩大和改变,以满足不断变化的业务需求,大数据极大地侧重在目前的问题上并导致短视的决策,这将有害于企业的信息架构。

  当信息管理人员同时失去数据访问和资格方面的控制时,他们可能将侧重点放在量上。Gartner分析师告诫,过于狭窄的侧重点将迫使两到三年后进行大规模的再投资,以解决大数据其他方面的问题。

  Gartner研究副总裁Mark Beyer表示:“当今的信息管理准则和技术根本无法完成处理所有动态信息的任务。信息管理人员必须通过规划信息管理的所有层面,从根本上重新考虑他们的方法。访问大数据浩瀚资源的业务需求为信息管理人员提供了企业改变使用信息方式的机会。IT领袖一定要教育业务同行直面挑战,同时确保一定程度的控制和协调,以使大数据机会不会变成大数据混乱, 这也许会提高合规风险,增加成本并造成许多信息孤岛。”

  当前,全球信息量正在以59%以上的年增长率增长,量显然是管理数据、业务方面的一个最重要的挑战,但IT领袖也必须在重视信息量管理的同时,关注信息的种类和信息处理的速度。

  量:企业系统内部的数据量的增加是由交易量、其他传统数据类型和新的数据类型引发的。过多的量是一个存储的问题,过多的数据是一个大量分析的问题。

  种类:IT领袖在将大量的交易信息转化为决策上一直存在的困扰——现在有更多类型的信息需要分析——主要来自社交媒体和移动(情景感知)。种类包括表格数据(数据库)、分层数据、文件、电子邮件、计量数据、视频、静态图像、音频、股票行情数据、金融交易和其他种类。

  速度:这涉及数据流、结构化记录的创建,以及访问和交付的可用性。速度意味着正在被生成的数据有多快和数据必须被多快地处理以满足需求。

  Gartner分析师表示,虽然大数据是一个重大问题,但真正的问题是让大数据更有意义,在大数据里面寻找模式帮助组织机构作出更好的商业决策。

  Gartner副总裁兼著名分析师Yvonne Genovese表示:“企业正日益使用新形式的信息,例如文本、社交和情景。在我们所说的基于模式的战略中寻找支持业务决策的模式。对这些企业来说,管理极端数据的能力是他们的核心竞争力。基于模式的战略是作为变化的一个引擎,利用其模式选择流程中的所有维数。它提供新业务解决方案建模的基础,允许企业采用。可以在包括社交计算分析或情景感知计算引擎在内的多种媒介中完成‘寻找模型并采用’的周期。”

  来源:中国信息产业网-人民邮电报 作者:洪林

版权所有 中华工控网 Copyright©2024 Gkong.com, All Rights Reserved