登陆注册
2841100000004

第4章 大数据,你还不知道的部分(2)

如果你正确地使用了大数据,收集、整理、分析和进行预测,它将为你提供梦寐以求的情报和洞察力。它的控制功用是如此强大,既能够让你掌握最全面的信息,也足以使你从容引导--使自己免受威胁,保护企业,解决潜在问题,并通过自检和优化提升效率。

现在全世界每天都要产生超过3EB的数据,我们有理由相信,随着互联网、各种移动平台越来越广的拥有率和使用频率,这个数字正在不断升高。从棱镜门事件中我们已经知道,美国政府千方百计要加以运用的就是这些数据--以大数据技术来把它们吸纳进去,除了用于正面(反恐),也在试图监控和控制民众。

有一家美国的顾问公司预测,在今后,美国国内还需要10多万个数据分析专才,以及100多万名能够运用数据的经理人。由此可见,大数据的应用在美国已经十分普及,他们将大数据大量地运用于社交媒体、移动网络和对舆情的分析上,进而达到控制选民、管理资讯和监控敌国的目的。

谁对大数据的研究越早,准备越充分,谁体现出来的控制力就越强。毫无疑问,美国人已经走在了最前面。

控制的基础是管理好这些大量的非结构数据,假如管理得当,我们就能从中挖掘出有效信息,实现企业和政府的管理革新。有先见之明的公司都正在从内部的各种来源以及云基础设施中收集越来越多的数据,它们构建可自控的数据中心,聘用和培养自己的大数据工程师。但还有更多的企业仍然徘徊在门外。后者注定会让自己的企业远远落后于人,它们没有办法获取及时有效与海量的信息,以及由此产生的洞察力,自然也就做不出明智的决定。

2013年,我们与安全公司EOA北美分公司在东亚地区共同完成了一项大数据调查。调查的对象是300位来自中国各行各业的高级主管。结果发现,已经有49%的中国公司关注或者非常关心大数据管理问题,但还有38%的中国公司并不明白什么是大数据,对大数据还是一头雾水;另外有27%的中国公司表示他们对此并没获知太多信息,只知道细枝末节或停留在看客阶段。

另外,我们还发现76%的中国公司没有使用恰当的工具来管理自身的系统数据(IT系统),而是采取其他的独立或缺乏互联功能的系统。有的公司甚至还在采用电子表格的方法对数据进行记录和管理。

这是一次令人灰心的调查,但可喜的是,我们看到了积极的增长速度。相比于2012年或更早的时间,投身于大数据的中国公司正以疯狂的速度增加。随着设身处地感受到它的好处的公司越来越多,人们已不再准备持观望态度,而是立刻参与进来。

要实现大数据控制的关键之一是“日志管理”,整合与自己有关的所有数据,比如企业日志,建立索引库,然后设计用户易于理解和使用的界面。要把数据充分利用起来,就必须使数据关联化和规范化,具备报告、反馈与防卫入侵的能力。每一家成功的电商网站和面向用户的企业官网,都是这么做的。

现实的情况是,国内目前只有56%的受访者使用日志管理的解决方案来管理他们的数据。很多公司使用电脑系统自带的普通日志或者建立一个电子表格进行这项工作。更有39%的受访者向我们表示,他们根本没有对日志(数据)进行管理。

“有什么用吗?”他们问。这表明,国内对大数据核心的认识和应用任重而道远。提高认识和加强推广成为了当务之急。

此外,相关的技术更新、方案和平台必须跟上新信息产生的速度。数据的产量以几何级的速度增加,它比宇宙中的星星还要浩瀚。如果我们检索数据的时间太长,分析和预测就失去了意义,控制与管理更无从谈起,还会造成严重问题。

大数据先行者

中国正处于大数据的起步阶段,国外先行者的经验对我们具有十分重要的参考和借鉴价值。全世界的富有远见者早在多年前就已经开始了你追我赶,在自己大数据中心的建设上各显神通,力争在这场战争中取得先发优势。

☆英特尔(Intel)

英特尔公司是全球最大的半导体芯片制造商,成立于1968年,具有几十年产品创新和市场领导的历史。全球第一个微处理器就由它在1971年推出,从而引发了计算机和互联网革命。从硬件入手以配备大数据需求是英特尔首先做的准备,同时对于软件也毫不放松,在Hadoop系统、Hbase、HDFS上都做了增强和优化,并且推出了IntelHadoopManager2.0。

2012年7月,英特尔对外发布了自己的Hadoop商业发行版(ApacheHadoopDistribution),成为几家大型厂商中唯一拥有自身发行版Hadoop的公司。

☆IBM

IBM以对数据挖掘和数据分析领域的收购展开了大数据时代的布局,后来正式推出名为“3A5步”的动态路线,然后结合信息管理、业务分析等软件提出了属于IBM的大数据平台架构。

该公司的大数据架构涵盖了IBM在大数据领域的四大核心能力和相应的产品线,包括:Hadoop领域的InfoSphereBigInsights,流计算领域的InfoSphereStreams,数据仓库方面的InfoSphereWarehouse和etezza以及信息整合与治理(InformationIntegrationandGovernance)方面的产品Optim及Guardium。

☆Hortonworks

2011年从雅虎剥离后,Hortonworks公司在当年8月份就发布了一款基于Hadoop的数据平台的技术预览版(HortonworksDataPlatform,HDP)。仅过几周,该公司又推出了基于Hadoop0.23的HDP2.0版本,该版本的Hadoop获得极大提升,实现了下一代的MapReduce。

尽管成立时间很短,但Hortonworks行动迅速,就在IBM宣布了基于Hadoop的大数据分析平台后不久,它便开启了自己的大数据战略。此外,它还与Talend公司达成协议,将在其数据平台上提供给Talend公司OpenStudioforBigData工具,以全面应对大数据处理。

☆微软(MicrosoftCorporation)

微软公司作为传统的IT业旗帜企业、当之无愧的垄断巨头,进入大数据领域看起来却并不是第一位的。它经常被人们认为起步较晚,但其实微软早在2006年就致力于研究类似Hadoop的开发计划Dryad,并使其获得产品化。微软一直保持自己的独特风格,不紧不慢,但从不在关键领域落后于人。

2011年初,微软公司发布了自己的并行数据仓库项目(SQL)。一年后,正式发布了SQLServer2012数据库平台,把业务延伸到了非结构化数据领域。当WindowsAzureMarketplace和SharePoint等工具推出以后,微软公司厚积薄发,已完全具备了打造大数据平台的能力。

☆思爱普(SAP)

成立于1972年的思爱普公司在软件领域一向具有极大的优势,而且其产品大多聚焦在对数据的分析能力上。这使它在大数据时代开启的一瞬间,就已处在领跑者的位置。2012年8月,思爱普推出了SAPBusinessObjectsBI解决方案4.0版本的第三功能包,简称featurepack3,随后又进行了改进整合。

以SAPHANA为基础,思爱普还打造了强大的实时数据平台,为用户提供全面的数据分析和处理服务。

☆甲骨文(Oracle)

自2009年收购SunMicrosystems公司(主要生产工作站和服务器)之后,甲骨文一直在进行硬件与软件的整合。该公司于2011年推出的大数据机(BDA)和Exalytics商务智能服务器,被认为是甲骨文强势进入大数据市场的标志。2012年初,正式供货的BDA和Exalytics预示甲骨文大数据平台解决方案的出台。

2012年12月13日,甲骨文宣布收购服务于石油、电气、供水行业的DataRaker公司,标志着大数据应用达到了一个新的趋势,开始向传统行业渗透,产生深入和全面的应用效果。

☆威睿(VMware)

威睿是全球桌面到数据中心虚拟化解决方案的领导厂商,它的虚拟化产品除了针对Hadoop进行优化外,还有围绕大数据分析和处理的项目。此外,Cetas和vFabricData系列产品都降低了人们在进行数据处理分析时的复杂度。除了最为核心和拿手的虚拟化产品之外,威睿公司近几年也通过收购和自我研发推出了众多开源产品。比如HVE(HadoopVirtualizationEssential)的插件以及Serengeti的产品,都是威睿推出的开源的虚拟化产品。

☆Cloudera

Cloudera公司由来自脸书(Facebook)、谷歌和雅虎的前工程师杰夫·哈默巴切(JeffHammerbacher)、克里斯托弗·比塞格利亚(ChristopheBisciglia)、埃姆·阿瓦达拉(AmrAwadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(MikeOlson)在2008年创建。公司采用了NoSQL和Hadoop两种技术,由此获得了7600万美元的融资。

在2010年6月份,该公司正式推出了自己的企业产品。随后,Cloudera为其ApacheHadoop软件发行版增添了Cloudera管理器控制台及企业级的支持。现在它也与甲骨文进行密切合作,互相增加客户数量,推动彼此在大数据市场的份额。

☆MapR

MapR公司始终专注于可用性和数据安全的优化,它有自己的优势和独一无二的特性。比如,虽然和其他公司一样,MapR将基于开源的Hadoop产品商品化并进行销售,但它提供了很多不同于Hadoop的特性。它的产品为EMC的GreenplumHD企业版Hadoop提供技术支持。

不久前,MapR公司宣布了新的大数据平台MapRM7,这将为Hadoop与NoSQL提供更为方便、可靠和快速的服务。

☆Splunk

2003年成立并于2012年上市的美国商业智能软件提供商Splunk公司是公认的“大数据概念第一股”,它主要的业务就是向企业及客户提供数据引擎。它旗下的MachineData软件的搜索功能具有强大的优势,而SplunkFree则专供个人用户使用,SplunkEnterprise则添加了支持多用户和分布式部署的功能。

在上述产品大获成功以后,Splunk公司随即又推出新的SplunkforCitrixXenDesktop解决方案,并在2012年的中旬将SplunkAppforPCICompliance2.0全面推向市场。

谨慎:不是所有人都需要

诸如我们听到的、看到的和正在自觉或不自觉地参与的,大数据已成为一项大工程,它无处不在。我们对待它就像在迎接自己的终生伴侣,兴奋之情溢于言表。每个人都在想:“嘿,大数据时代来了,我能从中得到什么好处呢?”从社交媒体、初创公司到北京的中关村,人们都在研究和部署大数据。

但是,正如前面我们提到的,大数据不是无源之水,你需要一个充足的理由来为它打开大门,让它进入你的世界;同时,你还需要为此付出不菲的代价。大多数公司缺乏预算,它们花不了大价钱来部署大数据技术解决方案,也请不起相关团队和大数据工程师。

大数据首先是一项产业,根据一份报告显示,2012年大数据带动了全球近300亿美元的IT支出,预计再过4年这个数字将超过2500亿美元。还有许多新兴国家难以预料的市场空间没有计算在内。要知道,这几乎是一个中等发达国家的全年国内经济总产值了。

那些使用大数据的辉煌案例到处都是,但距离某些特定人群总是如此遥远。比如,脸书的推广人员骄傲地说,他们每天要存储大约100TB的用户数据;美国国家安全局(NSA)每天要处理约24TB的数据。惊人的数字!确实令我们印象深刻。可是处理这些数据所需要的成本是多少呢?根据一项公开资料显示,NSA需要为45天的数据存储服务支付超过百万美元的费用,这个成本还在继续增加。在我几年的走访中,大多数公司的CIO也对我说,他们的预算支付不起大数据部署的成本。

所以,这是昂贵的门槛--公司如果想获得大数据服务,第一件要解决的事情就是提供充足的财务预算。

没钱?对不起,这不是卖白菜,也不是批发廉价商品或请几个经理人那么简单。因此我经常听到人们抱怨:“大数据太贵了!”个人和企业都在仰天叹息,但同时又充满渴望。问题是,你真的需要它吗?

数据存储和处理的成本如此之高,成本变成了阻碍每一个人拥抱大数据的最大障碍,就像其他一切新生事物一样。以至于我们普通人--中小企业需要寻求其他的解决方案,让规模较小的公司和个体不被“大数据”拒之门外。

方案一:大数据的关键不是“大”。

大数据就一定“大”吗?虽然全球最大的科技公司都需要和PB级规模的数据打交道,它们当之无愧地成为对海量数据处理达到星级服务的用户。然而,我们的研究也表明,另外有95%的公司通常只需要使用0.5TB到40TB的数据,甚至更少。

脸书和NSA的故事并不能拿来作为普及版案例,它们不是常态。事实是,大公司的方案没有必要成为中小公司效仿的版本。在全美有5万多家公司的员工只有20到500人,它们大部分都有解决数据问题的需求,但它们并没有向脸书和NSA看齐,去建立一个成本高昂的数据帝国。

所以你看到,大数据市场最大的需求并不是那些居于世界前500强的大公司,而是排名在500到5万之间的公司。我们为何只关注那些极少数的例外,而忽视了普通的需求者呢?

将自己排除在PB级规模数据需求的用户之外,我们才有可能找到真正的方案。当大数据向我们走来时,我们应尽可能选择一个较小的接口,一样能享受同等的服务和便捷。

方案二:确定你是否真的需要它。

同类推荐
  • 大客户销售24大妙招

    大客户销售24大妙招

    要赢得这些大客户并牢牢抓住他们,是每一个企业最关键的重要任务,本书行文简洁,同时借助画龙点睛的框架语言,详细论述如何收集大客户资料、制定有效的大客户拜访计划,如何与大客面议洽谈,如何进行大客户关系管理,如何贡献更多的利润,获得更大的竞争优势...
  • 波段炒股就这几招

    波段炒股就这几招

    股市是充满智慧和富有挑战性的竞技场。如果你想在股市一显身手,甚至成为股市中的风云人物,通过阅读本书,你将知道:通过股票投资成为百万富翁不是梦。中国股市跌宕起伏,投机性强,只要善于把握中线机会,波段操作,肯定会体会到投资盈利的喜悦。
  • 马斯洛论管理

    马斯洛论管理

    亚伯拉罕?马斯洛是人本主义心理学的祖师,他再造了心理学,在心理学的第三思潮中力图把全部的性回归到科学中去。他最著名的理论:需求层次理论、自我实现、峰值体验等,已为大家耳熟能详,成为现代心理学不可或缺的一部分。本书是马斯洛挑战美国60年代的管理大师之作。当时的管理大师,如杜拉克、麦格莱高等都注意力集中于工业化的工作场地,而很少有人关注人的因素。马斯洛最早认识到这个问题,他说:“工业领域也许能够当作心理动力学研究、高级人类发展研究和人类思想生态学研究的新实验室。”本书中马斯洛阐述了他的著名理论在管理中的应用,以及他对于经济学和管理学的心理学思考。
  • 在北大听的12堂管理课

    在北大听的12堂管理课

    作为享誉百年的世界名校,北京大学获得了世人的一致赞誉,能够参加北大的课程学习是一件颇有意义的事。1994年,北大光华管理学院正式成立,至今不到20年的时间培养了一大批在管理上独当一面的优秀毕业生。正因如此,学习一下北大的管理课,对很多身在职场的人来说大有裨益。
  • 看懂财务报表的28个绝招

    看懂财务报表的28个绝招

    金多多,从一本院校财经科班出身,也考过了几门CPA,拥有了初级会计职称.多多上班的单位是成都市一家小有名气的会计师事务所,在成都市属于中上水平。本书通过多多的工作实践,传授看懂和分析资产负债表、利润表、现金流量表等财务报表的28个绝招。
热门推荐
  • 教你学跳水

    教你学跳水

    水上运动是集竞争性、观赏性和刺激性于一体的、富有现代文明特征的竞技体育项目。它是为了区别于陆上和空中体育项目,全部过程或主要过程都在水下、水面或水上进行的体育项目。
  • 家庭生活医学小常识(最实用的居家小书)

    家庭生活医学小常识(最实用的居家小书)

    人一生总会有生病的时候,家庭常备药物是很多人都需要的。但在备药时,要明确自己得的是什么病症,应该选用哪种药,明确后再去药店购买。《家庭生活医学小常识》告诉你用药上的注意事项,更有食物中毒、急救、伤风感冒、呼吸类疾病等日常处理的小常识。
  • 洪昭光健康新观念

    洪昭光健康新观念

    本书分为“阳光观念”、“四大基石”、“家庭健康”、“男人健康”、“女人健康”、“健康箴言”六个部分,向读者讲授了最新了健康观念、科学的保健方式及最佳的生活方式等普及知识。
  • 千年一坊:水井坊千年醇香

    千年一坊:水井坊千年醇香

    成都两大珍世活体文物——都江堰和水井坊。都历经千年而今仍在辛勤劳作,为人类奉献,一个灌溉着美丽富饶的天府之国,一个灌溉着中华民族的精神家园。我们可以这样形容,都江堰是成都农耕文明的后坊,水井坊则成为成都农耕文明的前店。汉代古井在成都市区范围内数量众多,它们就像草垛布满田野一样布满壮丽的汉代成都城郭。正是这些潜移默化的耳濡目染,奠定了千年成都独特的魅力与气质。就像一个人所在的家族需要追根溯源一样,血脉的尽头便是一个人真正的根脉所在。《千年一坊:水井坊千年醇香》中,水井街酒坊遗址所揭露的遗迹、遗物现象,为我们展示了一幅中国传统白酒酿造工艺演进历程的生动画卷。
  • 我们三个都是穿越来的

    我们三个都是穿越来的

    我是因为看了很多的穿越小说,也很想穿越。谁想我想想就能穿越,穿越就穿越吧,居然穿成怀孕九月的待产产妇,开玩笑嘛!人家在二十一世纪还是黄花一枚呢。这也可以接受,可是明明是丞相之女,堂堂四皇子的正牌王妃怎么会居住在这么一个几十平米得破落小院子里,她怎么混的,亏她还一身绝世武功,再是医毒双绝。哎。没关系,既然让我继承了这么多优越条件,一个王爷算得了什么?生下一对龙凤胎,居然都是穿过来的,神啊,你对我太好了吧?且看我们母子三人在古代风生水起笑料百出的古代生活吧。片段一在我走出大门时,突然转身对着轩辕心安说道:“王爷,若是哪天不幸你爱上了我,我定会让你生不如死的。”然后魅惑地一笑,潇洒地走了出去。片段二当我对着铜镜里的美人自恋地哼出不着调地歌时。“别哼了,难听死了。”一个清脆的声音响起。~~~接着一声尖叫紧跟着另一声尖叫。我用上轻功躲进了被子里.~~~"我和你一样是二十一世纪来的。”“你好,娘亲,哥哥,以后要多多指教。”来自两个婴儿的嘴里,我摸摸额头,没高烧啊。片段三“小鱼儿,我可是你孩子的爹,况且我没有写休书,你还是我的王妃。我会对你好的。”安王爷霸道地说道。“你们认识他吗?他说是你们的爹?”我问着脚边的两个孩子。“不认识,”女孩说道。“我们的爹不是埋在土里了吗?怎么他一点也不脏?”男孩问道。那个男人满头黑线。“对不起,我们不认识你。”说完拉着孩子转身就走。片段四“爹爹,这是我娘,你看漂亮吧?”南宫心乐拉着一个白衣帅哥进来问道。我无语中。“爹爹,你看我娘亲厉害吧?“南宫心馨拉着另外一个妖精似地男人走了进来。我想晕。“这才是我们的爹。”“才不是呢,这个才是”两人开始吵起来了。“我才是你们的爹。”安王爷气急地吼道。“滚一边去。”两个小孩同时说道。屋里顿时混乱之中。转头,回屋睡觉去了。推荐完结文《别哭黛玉》完结文《穿越之无泪潇湘》新文,《极品花痴》
  • 随身带着星际争霸

    随身带着星际争霸

    一觉醒来,唐方穿越到253年后的星河时代,成为一名前线炮灰士兵。他发现自己竟然随身带着一款即时战略游戏《星际争霸2》的三族基地。更让他欣喜若狂的是,他能够召唤游戏空间里建造的战斗兵种。虫族;巢虫领主,雷兽……人族;女妖战机,战列巡洋舰……神族;黑暗圣堂武士,航空母舰……看唐方带领他的三族舰队,震烁星空,颤栗银河。PS:新书期求收藏,推荐。
  • 高校学系:学园禁地,校内惊悚事件(新惊魂六计)

    高校学系:学园禁地,校内惊悚事件(新惊魂六计)

    死亡的气味,让人如此胆寒心惊!绝对恐惧、凄婉、离奇、诡异!身临其境的感觉、凄婉的场景、恐怖的气氛、奇异的故事,一切,就发生在你我身边。吓到你胆颤-吓到你神经错乱!阅读时务必当心,胆小者切勿尝试!越恐怖越上瘾,让你冷彻骨髓、胆寒崩溃的恐怖故事。
  • 王爷,我饿了!

    王爷,我饿了!

    你丫的阎罗王,居然勾错魂,我不过睡一觉也能睡死,天底下有比我更倒楣的吗?穿越,来了...哇!好帅的美男子,什么!他是我家相公,挖喀喀!赚到了...不过,怎么怪怪的。妖孽的脸蛋上却有着对比的无辜双眸,那性感的薄唇吐出来的第一句话,更是让某女看傻了眼。“娘子,我要尿尿...”“尿尿?你不会自己去啊!”某妞嘴角抽了抽,最后转身带他到茅厕。“娘子,我要吃面面...”“吃吃吃,你是猪啊!”某妞气炸的瞪着他,最后转身到厨房煮了一碗面。“娘子,我的嘴巴好干,好渴啊....”“渴了不会自己去喝水啊!”转身到桌边晃着空空的水壶,“没水了!”“娘子,我好渴啊!我要渴死了....”某男任性的鬼吼鬼叫。某女无奈下,回到他身边,俯下头去,喂他口水喝。“娘子,我要吃奶....”“够了!你再吵我将你休......啊!!”某女忍无可忍的指着他大骂。“娘子,我要一个孩子....”
  • 幸福的闪电

    幸福的闪电

    单身女子蓝翎从小县城考研到了北京,工作、生活。以蓝翎为中心,存在三个三角,蓝翎、左恩与楼下的男人,蓝翎、左恩与左恩的太太,蓝翎、楼下的男人和楼下男人的太太。蓝翎是三个三角的旋涡,蓝翎与左恩之间的纠葛是真实的,左恩苦苦追求蓝翎已好多年,但蓝翎与楼下的男人之间无其实,唯存在于蓝翎的梦中和潜意识中……
  • 傻子王爷无情妃

    傻子王爷无情妃

    一只毒蝎子,彻底断送了她年轻的生命!别人只知道,那个软弱没主见的女人被迫嫁给一个痴傻呆闷的七皇子。殊不知,她早已不再是“她”!面对痴傻只会憨笑的美男,她气愤难填!你傻,本美女就医好你,谁知医好后,遭到嫌弃,却换来一纸休书,气愤之下,她恨不得与他同归于尽……