1大数据时代到来 CIO们遇到的挑战
在日前举办的Interop2013东京展上,大数据成为了现场最为热门的话题,无论是网络厂商还是IT厂商,都不约而同的展示了各自针对大数据应用的产品以及解决方案,其中华为展示的N9000大数据存储产品尤为引人瞩目。
华为大数据存储产品OceanStor N9000
大数据时代到来
随着信息化技术的不断发展,数字化现在已经深深的渗透进了我们生活中的点点滴滴。生活在Web 2.0 时代的我们,已经不仅仅是一个信息的被动接受者,同时还是一个信息的创造者。全球每秒钟发送 290万封电子邮件,一分钟读一篇的话,足够一个人昼夜不息的读5.5 年;Twitter上每天发布 5 千万条消息,假设10 秒钟浏览一条,那么足够一个人昼夜不息的浏览16 年;每天亚马逊上将产生 630万笔订单;每个月网民在Facebook 上要花费7 千亿分钟;一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB;一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
由于数据产生成本急速下降,人类产生的数据量正在呈指数级增长,而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长,数据的结构正在日趋复杂。全球在2010 年正式进入ZB 时代,根据IDC监测,全球数据量大约每两年翻一番,预计到2020 年,全球将总共拥有40ZB 的数据量,相较于2009 年,数据量将增长近50倍。我们正处于大数据时代的边缘。
CIO们遇到的挑战
1、新生代客户群的需求推动企业业务面临转型挑战,驱动企业IT基础设施变革适应大数据时代要求。影响企业命脉的,永远都是客户需求。新生代客户手持Post-PC,除了工资以外使用各种投资方式积累财富,每天关注微博,在社交网站中维系人际关系,青睐网购,要求享受自由的、共享的、娱乐的、完美的信息生活。
大数据的来源包括:
日渐复杂的企业客户信息数据,分类数据,网店交易记录;
复杂的终端设备(例Post-PC、视频监控终端、物联网传感器等)产生的信息数据,终端设备日志等;
丰富的社会生活数据,博客、微博、照片、自创视频、客户反馈信息等。
这些ZB级的数据管理和数据分析,将不是传统的IT服务器、磁带、纵向扩展设备能够承载的。
2、世界经济形势趋紧,高额的IT预算,究竟应该在哪里投入?据调查,企业目前73%的预算都用在基本业务运转上,剩下的27%才对商业运营有支撑作用。CIO的难处在于IT设施不断的膨胀,仅仅是因为业务的数量涨了,但是没有给企业经营带来真正的增值。值得注意的,未来一到两年,70%的客户都将部署私有云,当大数据遇到云,会同时对私有云架构提出要求和挑战。同时公有云会继续扩张和蔓延,催生新型企业和新型业务。另外值得探讨的是,为了应对"大数据"浪潮,很多企业在具备一定结构化处理能力的基础上,将85%以上非结构化数据依托给了Hadoop,随着对Hadoop的深入探索,有投资人给出这样的感受--使用Hadoop构建分析性查询,会变成类似用锤子来建造房屋的活动,不是不可能,但是会带来不必要的痛苦和可笑的低效成本。主要的痛点在于:
Hadoop适合处理流水线任务,但是对于特定的数据模式分析任务性能极低;
Hadoop的前期投入低廉,但是后期开发成本和维护成本非常昂贵;
Hadoop导致企业信息孤岛;
Hadoop的数据容易产生单点故障。
2大数据解决之道:应需而变 融易致远
华为大数据解决之道:应需而变 融易致远
大数据时代,华为推出了“三位一体”的大数据解决方案:N9000存储系统。N9000以“应需而变,融易致远”的理念帮助客户从容应对大数据的挑战。
“三位一体”示意图
N9000是在一个系统内融合数据存储、数据分析和数据归档,三种功能集于一体:
解决信息孤岛;
统一的并行任务调度框架支撑结构化、非结构化海量数据清洗、数据分析;
海量数据的生命周期管理,支持历史数据的归档、压缩、下电策略;
基于海量非结构化数据的内容感知(元数据管理),建立海量非结构化数据的搜索引擎,加速热点数据的快速访问;
初始配置低,随着客户业务的发展,容量和性能可以随需扩展,并实现性能线性增长,保护客户初始投资,降低TCO。
华为N9000存储系统的产品特点:
弹性空间
N9000采用Scale-Out架构,全冗余部署,无单点故障,分布式RAID保证数据节点间高可靠。在保证数据高可靠的同时,系统支持3节点至288节点弹性无缝扩展,单一文件系统可扩容至40PB,整个扩容过程业务无中断。对于新兴的企业,在起步阶段,业务量不大,需要的IT设施规模也不大,更不可能有大手笔的IT预算,但对性能方面的要求可能还很高。华为N9000系统的起步配置可以以较低的TCO,满足企业在容量和性能方面的需求;随着企业发展壮大,对IT的需求也在不断攀升,这时不用把原有的IT投资打水漂,只需简单的扩容N9000系统,轻松搞定对存储空间和性能的更高需求。
为了既满足客户性能容量需求,又最大程度的为客户节约投资,N9000提供满足不同场景的节点:高性能节点、高带宽节点和大容量节点,客户按需配置,资源统一调度,实现轻松管理。
卓越性能
众所周知,数据从缓存中读写远比从硬盘直接读写速度快。N9000通过全局缓存技术,为业务系统提供高达55TB超大缓存池,有效提高数据访问命中率,提升整体系统性能;采用海量元数据搜索引擎,SSD盘加速元数据访问效率,有效提升数据访问速度;同时系统内部适配10GE/Infiniband网络互联,把系统内部网络延迟降到最小,最终向上层业务提供极低时延的响应。N9000向客户提供业界领先的超过500万的OPS,超过170GB的系统总带宽,极低的时延,充分满足HPC、生命科学、媒体编辑等应用的高性能要求;不仅仅单节点性能高,整系统性能也会随着节点扩容线性增长,从容满足客户随业务不断增长带来的更高性能要求。
智慧融合
大数据带来的挑战不仅仅是数据的存储,还有数据归档,以及如何从海量数据中提取出价值。N9000是业界首款创新融合存储、分析、归档,实现多位一体的存储系统,一套系统完成数据从存储、查询、分析、归档的全生命周期管理。N9000提供对多种接口、多数据类型的支撑,支持NFS/CIFS,SMBV1/V2,HTTP/FTP ,S3,JDBC,ODBC,SQL92、NDMP等多种协议,支持对结构化数据,非结构化数据的存储,归档,分析。N9000通过多功能,多协议的智慧融合,消除数据孤岛,为客户搭建完整解决方案,轻松面对大数据时代。
简化管理
高效、简洁、一致的用户体验是N9000对产品易用性的至高追求。只需一套管理系统,对硬件、软件、网络统一管理,统一界面,让管理员不再抓狂;单一文件系统、统一命名空间,自动精简配置,精细化的配额管理,提高存储利用率,轻松应对空间规划;当出现硬盘预警时,无需立即更换,系统可快速自愈,让维护更从容;自动化的性能统计和智能分析,让决策不再盲目。
作为业界领先的新一代存储产品,N9000融海量数据存储、分析、归档于一体,以业界领先的性能、大规模横向扩展能力和超大单一文件系统为用户提供结构化与非结构化数据共享资源池、基于数据全生命周期管理的存储与归档解决方案,充分切合广电媒体、高性能计算、地质能源、数据中心存储、互联网运营等多种大数据业务应用的需求,帮助客户轻松应对大数据挑战。
如果需要了解更多关于华为存储产品的信息,请点击链接http://enterprise.huawei.com/cn/products/itapp/storage/index.htm