当前位置: 主页 > 建站知识 > 网站建设

互联网与大数据:浅谈大数据与云计算逐步“云”化

发布时间:2023-06-22 03:56   浏览次数:次   作者:小编

  在云计算时代背景下,数据中心需要向集中大规模共享平台推进,并且,数据中心要能实现实时动态扩容,实现自助和自动部署服务。

  从中长期来看,数据中心需要逐渐过渡到“云基础架构为主流企业所采用,专有架构为关键应用所采用”阶段,并最终实现“强壮的云架构为所有负载所采用”,无论大型机还是x86都融入到云端,实现软硬件资源的高度整合。

  数据中心逐步过渡到“云”,这既包括私有云又包括公有云。私有云,就是对企业现有的数据中心进行改造和架构调整,通过云计算对资源进行自动调度和分配,实现一个自动部署、自动管理和自动运维的数据中心架构。而公有云则是由服务商建立IT基础架构,并向外部用户提供商业服务,而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比,公有云的所有应用程序、服务和数据都存放在云端,用户数据也并不存放在企业内部数据中心。

  正所谓“梅虽逊雪三分白,雪却输梅一段香”,相比之下,私有云会比公有云在数据安全性方面有更好的表现,但公有云却会比私有云有更“强壮的云架构”。因此,从数据中心演进的角度来看,讨论何种“云”并无实质意义,我们更应该重视的是数据中心在未来发展中所扮演的角色和出现的历史性变革。

  移动互联网等是大数据的来源,而大数据分析则是为和移动互联网提供有用的分析,获取价值。云计算又与大数据有什么关系呢?这个问题其实早在2011年,就有人分析,例如EMC World 2011的大会主题就是“当云计算遇见大数据”。

  云计算与大数据两者之间有很多的交集,业界主要做云的公司有谷歌、亚马逊等都拥有大量大数据。EMC总裁基辛格强调大数据应用必须在云设施上跑,这就是两者的关系——大数据离不开云。同时,支撑大数据以及云计算的底层原则是一样的,即规模化、自动化、资源配置、自愈性,这些都是底层的技术原则。因此基辛格认为大数据和云之间存在很多合力的地方。

  另一方面,随着互联网信息量的激增,用户单个数据集达到数以TB计,有的客户甚至已达到Pera级了,用现有的存储系统结构处理数据量级较小,而且只能处理单一数据源数据,面对大数据的压力。在处理大量级以及多数据源的数据能力非常弱。这也就是为什么EMC收购Greenplum,支持开源的Hadoop计划的目的所在。基辛格很明白,大数据的挑战不仅仅在于存储和保护,数据分析能力的强弱,将成为这个时代的关键点:我们已经解决了数据存储和保护的问题,所需要的只是时间,但是海量数据分析的问题,我们还没有在大数据到来时做好准备。

  谈到大数据的特点,一是数据规模是PB级,二是多数据源,能够把半结构化、非结构化和结构化的数据很好地融合起来。同时具有实时、可迭代的特点。具体形容就是大数据环境类似于Facebook环境,随时可以添加变量。基辛格一再的支出,数据分析的历史已有30年,现在我们已进入大数据时代。