登陆注册
2841100000004

第4章 大数据,你还不知道的部分(2)

如果你正确地使用了大数据,收集、整理、分析和进行预测,它将为你提供梦寐以求的情报和洞察力。它的控制功用是如此强大,既能够让你掌握最全面的信息,也足以使你从容引导--使自己免受威胁,保护企业,解决潜在问题,并通过自检和优化提升效率。

现在全世界每天都要产生超过3EB的数据,我们有理由相信,随着互联网、各种移动平台越来越广的拥有率和使用频率,这个数字正在不断升高。从棱镜门事件中我们已经知道,美国政府千方百计要加以运用的就是这些数据--以大数据技术来把它们吸纳进去,除了用于正面(反恐),也在试图监控和控制民众。

有一家美国的顾问公司预测,在今后,美国国内还需要10多万个数据分析专才,以及100多万名能够运用数据的经理人。由此可见,大数据的应用在美国已经十分普及,他们将大数据大量地运用于社交媒体、移动网络和对舆情的分析上,进而达到控制选民、管理资讯和监控敌国的目的。

谁对大数据的研究越早,准备越充分,谁体现出来的控制力就越强。毫无疑问,美国人已经走在了最前面。

控制的基础是管理好这些大量的非结构数据,假如管理得当,我们就能从中挖掘出有效信息,实现企业和政府的管理革新。有先见之明的公司都正在从内部的各种来源以及云基础设施中收集越来越多的数据,它们构建可自控的数据中心,聘用和培养自己的大数据工程师。但还有更多的企业仍然徘徊在门外。后者注定会让自己的企业远远落后于人,它们没有办法获取及时有效与海量的信息,以及由此产生的洞察力,自然也就做不出明智的决定。

2013年,我们与安全公司EOA北美分公司在东亚地区共同完成了一项大数据调查。调查的对象是300位来自中国各行各业的高级主管。结果发现,已经有49%的中国公司关注或者非常关心大数据管理问题,但还有38%的中国公司并不明白什么是大数据,对大数据还是一头雾水;另外有27%的中国公司表示他们对此并没获知太多信息,只知道细枝末节或停留在看客阶段。

另外,我们还发现76%的中国公司没有使用恰当的工具来管理自身的系统数据(IT系统),而是采取其他的独立或缺乏互联功能的系统。有的公司甚至还在采用电子表格的方法对数据进行记录和管理。

这是一次令人灰心的调查,但可喜的是,我们看到了积极的增长速度。相比于2012年或更早的时间,投身于大数据的中国公司正以疯狂的速度增加。随着设身处地感受到它的好处的公司越来越多,人们已不再准备持观望态度,而是立刻参与进来。

要实现大数据控制的关键之一是“日志管理”,整合与自己有关的所有数据,比如企业日志,建立索引库,然后设计用户易于理解和使用的界面。要把数据充分利用起来,就必须使数据关联化和规范化,具备报告、反馈与防卫入侵的能力。每一家成功的电商网站和面向用户的企业官网,都是这么做的。

现实的情况是,国内目前只有56%的受访者使用日志管理的解决方案来管理他们的数据。很多公司使用电脑系统自带的普通日志或者建立一个电子表格进行这项工作。更有39%的受访者向我们表示,他们根本没有对日志(数据)进行管理。

“有什么用吗?”他们问。这表明,国内对大数据核心的认识和应用任重而道远。提高认识和加强推广成为了当务之急。

此外,相关的技术更新、方案和平台必须跟上新信息产生的速度。数据的产量以几何级的速度增加,它比宇宙中的星星还要浩瀚。如果我们检索数据的时间太长,分析和预测就失去了意义,控制与管理更无从谈起,还会造成严重问题。

大数据先行者

中国正处于大数据的起步阶段,国外先行者的经验对我们具有十分重要的参考和借鉴价值。全世界的富有远见者早在多年前就已经开始了你追我赶,在自己大数据中心的建设上各显神通,力争在这场战争中取得先发优势。

☆英特尔(Intel)

英特尔公司是全球最大的半导体芯片制造商,成立于1968年,具有几十年产品创新和市场领导的历史。全球第一个微处理器就由它在1971年推出,从而引发了计算机和互联网革命。从硬件入手以配备大数据需求是英特尔首先做的准备,同时对于软件也毫不放松,在Hadoop系统、Hbase、HDFS上都做了增强和优化,并且推出了IntelHadoopManager2.0。

2012年7月,英特尔对外发布了自己的Hadoop商业发行版(ApacheHadoopDistribution),成为几家大型厂商中唯一拥有自身发行版Hadoop的公司。

☆IBM

IBM以对数据挖掘和数据分析领域的收购展开了大数据时代的布局,后来正式推出名为“3A5步”的动态路线,然后结合信息管理、业务分析等软件提出了属于IBM的大数据平台架构。

该公司的大数据架构涵盖了IBM在大数据领域的四大核心能力和相应的产品线,包括:Hadoop领域的InfoSphereBigInsights,流计算领域的InfoSphereStreams,数据仓库方面的InfoSphereWarehouse和etezza以及信息整合与治理(InformationIntegrationandGovernance)方面的产品Optim及Guardium。

☆Hortonworks

2011年从雅虎剥离后,Hortonworks公司在当年8月份就发布了一款基于Hadoop的数据平台的技术预览版(HortonworksDataPlatform,HDP)。仅过几周,该公司又推出了基于Hadoop0.23的HDP2.0版本,该版本的Hadoop获得极大提升,实现了下一代的MapReduce。

尽管成立时间很短,但Hortonworks行动迅速,就在IBM宣布了基于Hadoop的大数据分析平台后不久,它便开启了自己的大数据战略。此外,它还与Talend公司达成协议,将在其数据平台上提供给Talend公司OpenStudioforBigData工具,以全面应对大数据处理。

☆微软(MicrosoftCorporation)

微软公司作为传统的IT业旗帜企业、当之无愧的垄断巨头,进入大数据领域看起来却并不是第一位的。它经常被人们认为起步较晚,但其实微软早在2006年就致力于研究类似Hadoop的开发计划Dryad,并使其获得产品化。微软一直保持自己的独特风格,不紧不慢,但从不在关键领域落后于人。

2011年初,微软公司发布了自己的并行数据仓库项目(SQL)。一年后,正式发布了SQLServer2012数据库平台,把业务延伸到了非结构化数据领域。当WindowsAzureMarketplace和SharePoint等工具推出以后,微软公司厚积薄发,已完全具备了打造大数据平台的能力。

☆思爱普(SAP)

成立于1972年的思爱普公司在软件领域一向具有极大的优势,而且其产品大多聚焦在对数据的分析能力上。这使它在大数据时代开启的一瞬间,就已处在领跑者的位置。2012年8月,思爱普推出了SAPBusinessObjectsBI解决方案4.0版本的第三功能包,简称featurepack3,随后又进行了改进整合。

以SAPHANA为基础,思爱普还打造了强大的实时数据平台,为用户提供全面的数据分析和处理服务。

☆甲骨文(Oracle)

自2009年收购SunMicrosystems公司(主要生产工作站和服务器)之后,甲骨文一直在进行硬件与软件的整合。该公司于2011年推出的大数据机(BDA)和Exalytics商务智能服务器,被认为是甲骨文强势进入大数据市场的标志。2012年初,正式供货的BDA和Exalytics预示甲骨文大数据平台解决方案的出台。

2012年12月13日,甲骨文宣布收购服务于石油、电气、供水行业的DataRaker公司,标志着大数据应用达到了一个新的趋势,开始向传统行业渗透,产生深入和全面的应用效果。

☆威睿(VMware)

威睿是全球桌面到数据中心虚拟化解决方案的领导厂商,它的虚拟化产品除了针对Hadoop进行优化外,还有围绕大数据分析和处理的项目。此外,Cetas和vFabricData系列产品都降低了人们在进行数据处理分析时的复杂度。除了最为核心和拿手的虚拟化产品之外,威睿公司近几年也通过收购和自我研发推出了众多开源产品。比如HVE(HadoopVirtualizationEssential)的插件以及Serengeti的产品,都是威睿推出的开源的虚拟化产品。

☆Cloudera

Cloudera公司由来自脸书(Facebook)、谷歌和雅虎的前工程师杰夫·哈默巴切(JeffHammerbacher)、克里斯托弗·比塞格利亚(ChristopheBisciglia)、埃姆·阿瓦达拉(AmrAwadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(MikeOlson)在2008年创建。公司采用了NoSQL和Hadoop两种技术,由此获得了7600万美元的融资。

在2010年6月份,该公司正式推出了自己的企业产品。随后,Cloudera为其ApacheHadoop软件发行版增添了Cloudera管理器控制台及企业级的支持。现在它也与甲骨文进行密切合作,互相增加客户数量,推动彼此在大数据市场的份额。

☆MapR

MapR公司始终专注于可用性和数据安全的优化,它有自己的优势和独一无二的特性。比如,虽然和其他公司一样,MapR将基于开源的Hadoop产品商品化并进行销售,但它提供了很多不同于Hadoop的特性。它的产品为EMC的GreenplumHD企业版Hadoop提供技术支持。

不久前,MapR公司宣布了新的大数据平台MapRM7,这将为Hadoop与NoSQL提供更为方便、可靠和快速的服务。

☆Splunk

2003年成立并于2012年上市的美国商业智能软件提供商Splunk公司是公认的“大数据概念第一股”,它主要的业务就是向企业及客户提供数据引擎。它旗下的MachineData软件的搜索功能具有强大的优势,而SplunkFree则专供个人用户使用,SplunkEnterprise则添加了支持多用户和分布式部署的功能。

在上述产品大获成功以后,Splunk公司随即又推出新的SplunkforCitrixXenDesktop解决方案,并在2012年的中旬将SplunkAppforPCICompliance2.0全面推向市场。

谨慎:不是所有人都需要

诸如我们听到的、看到的和正在自觉或不自觉地参与的,大数据已成为一项大工程,它无处不在。我们对待它就像在迎接自己的终生伴侣,兴奋之情溢于言表。每个人都在想:“嘿,大数据时代来了,我能从中得到什么好处呢?”从社交媒体、初创公司到北京的中关村,人们都在研究和部署大数据。

但是,正如前面我们提到的,大数据不是无源之水,你需要一个充足的理由来为它打开大门,让它进入你的世界;同时,你还需要为此付出不菲的代价。大多数公司缺乏预算,它们花不了大价钱来部署大数据技术解决方案,也请不起相关团队和大数据工程师。

大数据首先是一项产业,根据一份报告显示,2012年大数据带动了全球近300亿美元的IT支出,预计再过4年这个数字将超过2500亿美元。还有许多新兴国家难以预料的市场空间没有计算在内。要知道,这几乎是一个中等发达国家的全年国内经济总产值了。

那些使用大数据的辉煌案例到处都是,但距离某些特定人群总是如此遥远。比如,脸书的推广人员骄傲地说,他们每天要存储大约100TB的用户数据;美国国家安全局(NSA)每天要处理约24TB的数据。惊人的数字!确实令我们印象深刻。可是处理这些数据所需要的成本是多少呢?根据一项公开资料显示,NSA需要为45天的数据存储服务支付超过百万美元的费用,这个成本还在继续增加。在我几年的走访中,大多数公司的CIO也对我说,他们的预算支付不起大数据部署的成本。

所以,这是昂贵的门槛--公司如果想获得大数据服务,第一件要解决的事情就是提供充足的财务预算。

没钱?对不起,这不是卖白菜,也不是批发廉价商品或请几个经理人那么简单。因此我经常听到人们抱怨:“大数据太贵了!”个人和企业都在仰天叹息,但同时又充满渴望。问题是,你真的需要它吗?

数据存储和处理的成本如此之高,成本变成了阻碍每一个人拥抱大数据的最大障碍,就像其他一切新生事物一样。以至于我们普通人--中小企业需要寻求其他的解决方案,让规模较小的公司和个体不被“大数据”拒之门外。

方案一:大数据的关键不是“大”。

大数据就一定“大”吗?虽然全球最大的科技公司都需要和PB级规模的数据打交道,它们当之无愧地成为对海量数据处理达到星级服务的用户。然而,我们的研究也表明,另外有95%的公司通常只需要使用0.5TB到40TB的数据,甚至更少。

脸书和NSA的故事并不能拿来作为普及版案例,它们不是常态。事实是,大公司的方案没有必要成为中小公司效仿的版本。在全美有5万多家公司的员工只有20到500人,它们大部分都有解决数据问题的需求,但它们并没有向脸书和NSA看齐,去建立一个成本高昂的数据帝国。

所以你看到,大数据市场最大的需求并不是那些居于世界前500强的大公司,而是排名在500到5万之间的公司。我们为何只关注那些极少数的例外,而忽视了普通的需求者呢?

将自己排除在PB级规模数据需求的用户之外,我们才有可能找到真正的方案。当大数据向我们走来时,我们应尽可能选择一个较小的接口,一样能享受同等的服务和便捷。

方案二:确定你是否真的需要它。

同类推荐
  • 创新之神李健熙的思考方式:李健熙成功的木鸡哲学

    创新之神李健熙的思考方式:李健熙成功的木鸡哲学

    三星在李健熙的改革下,仅花12年就跻身全球前20大最有价值的品牌;企业的收益增加了66倍;品牌价值超过160亿美元……本书讲述了李健熙的人生智慧与管理理论,并全面而详细地剖析了他在个人成长、为人处事、企业经营和工作生活等方面的成功经验,试图为读者找到企业经营的要诀。本书结合崭新的人生智慧和前沿的管理理论,全面而详细地剖析了李健熙在个人成长、为人处世、企业经营和工作生活等多诸方面成功经验,试图为读者找到入山之门径,以期达到抛砖引玉的目的。
  • 不懂财务就当不好酒店餐饮业经理

    不懂财务就当不好酒店餐饮业经理

    ,提高企业运作效率,你将学到:全面掌握三大财务报表,强化财务管理意识。学会使用预算等财务工具加强内部管理,不论何种行业,优秀的经理人必定是一位财务高手!教你轻松驾御酒店餐饮企业必备的财务方法与技巧通过本书的阅读,运用财务思维视角运作企业,读懂财务报告,非财务人员与财务部门在统一的平台上达成有效沟通,建立起清晰的成本控制意识与内部控制方法,找到提升运营绩效的方法
  • 定战略:老板只做一件事

    定战略:老板只做一件事

    ,并从中精挑细选出经典案例与方法,帮企业家理清思路,把企业家从关注“效率”的沼泽中,柳传志认为企业就是三件事:搭班子、定战略、带队伍,十余年深入企业一线、亲自为二十多个行业、上百家企业提供实战咨询。拉回到重视“商业战略”的正道上来,并从战略定位、品牌定位到战略传播,尤其定战略,是决定企业生死的头等大事。然而,众多老板却不以为然,把最宝贵的时间、经理、资源都浪费在了无穷无尽的小事上,不知不觉中让企业被战略的大问题所吞噬。罗雲怀老师及其团队,为企业战略落地提供了简单可行的思路
  • 团队培训游戏全书

    团队培训游戏全书

    本书以案例形式详细说明了如何通过团队合作取得成功,在当今充满挑战的时代,人们很容易陷入孤立的状态。但是在今天复杂的社会中,没有一个组织能够单独完成所有的事情。成功的关键就是:个体、团队以及其他组织之间灵活的合作。
  • 一分钟抓住客户的营销妙招

    一分钟抓住客户的营销妙招

    永远不要表现得“像一名推销员”!接近客户的30秒,决定了营销的成败:要有一个漂亮的开场白!客户的拒绝将带来销售,只要你处理得当!60秒成为营销之王!
热门推荐
  • 洪荒之武道

    洪荒之武道

    可惜他偏偏来到了原始部落。不能凭借历史知识混个功名,只能过群居的野人生活。蛮荒之地多凶兽邪灵,穿越本是喜事,唯有不停地战斗,修炼万古不灭的通天大道!
  • 校花之贴身高手

    校花之贴身高手

    他,从小跟着异人修练逆天诀,进入最神秘的特种部队,成为一名令人闻风丧胆的恐怖杀手。一次失败,他提前退役,却成为了千金校花的贴身保镖,因不小心招惹到一些神秘的修真者,随后渐渐引出了一个世俗之外的修真世界……
  • 抢来的新娘

    抢来的新娘

    这世界上还有什么比沦为替代品更悲哀的?我说有,那就是被沦为男人的报负品,一个无情无心,一个残无人道,两个男人之间的仇怨竟然让我承担,最好的下场只是奴隶,男人的泄恨,如毁天灭地,叫我一个弱女子如何承受?在他的眼中,我只是姐姐的替代品,供他赏心悦目,却从不温柔对待,更别说他的爱,从不会下注在我身上,他说我不配,我哪里不配?在他眼中,我是好友之妻,。。。。。他的温润如水,是唯一缓解我身心疲惫的良药,却已是别人的夫。在他眼中,我是他的嫂,。。。。呃。。。冒汗的简介,痕儿暂时用着吧!一时之间,痕儿也写不完整,不过,虽然简介有些残虐,但,此文是轻松文,女主怀有一颗善良的心,乐观向上的性格。。。。《呃。。。迎接亲们砖头的同时,痕儿硬着头皮发上来,亲们还是少扔些砖头,菜叶,因为我们要爱护环境嘛!呵。。。痕儿的新文,希望亲们多支持。》下面推荐后妃大大的文,是一部文笔十分过人,好看,新颖,让人回味无穷.<王爷的罪妃>下面是痕儿已完结文,呵亲们有兴趣可以欣赏一下!〈出轨王妃〉:〈冷宫晚妃〉:〈丫环皇后〉:〈罂粟皇后〉:〈总裁的玩物〉:〈将军的替身小妾〉:〈皇妃---别走〉:痕儿的新文出炉了,呵,欢迎亲们去欣赏,现代文:《总裁的深度诱惑》穿越文:〈失身变弃妇〉痕儿新坑,有空的亲们去踩踩,《王妃欠调教》有兴趣的亲们可以去踩踩哦!亲们,痕儿新文,欢迎来踩,都市言情:《恶劣富少极品男》顺便推荐后妃大大超好看的精彩文文,《狂野未婚夫》呵,还有自已的新文《总裁惹不得》痕儿最新现代文,《总裁的惩罚游戏》喜欢现代都市文的亲们,记得过来踩踩哦!推荐好友一本书,《夫君十个不算多》轻松又搞笑的哦!痕儿的新文,望亲们多来踩踩,《总裁的豪夺妻》
  • 星光:利川市国税局离休干部施星灿的奉献人生

    星光:利川市国税局离休干部施星灿的奉献人生

    书中的主人公施星灿同志是湖北省利川市国税局离休干部——全国税务系统党的群众路线教育实践活动先进典型、湖北省创先争优优秀共产党员、湖北省恩施土家族苗族自治州(后简称恩施州)道德模范,被誉为“信念老人”。《人民日报》、《中国税务报》、《湖北日报》、《解放军报》、人民网、新浪网、搜狐网等国内30多家媒体曾报道过他的事迹。本书通过许多真实、朴实和生动的故事及珍贵的图片反映了全国税务系统群众路线教育活动先进个人、全国税务系统我身边的好税官、湖北省创先争优先进人个人、湖北省道德模范、湖北省离退休干部先进个人、恩施州老有所为先进个人、利川市优秀共产党员施星灿的一生。
  • 一部手机打天下:人类最后的掘金机会

    一部手机打天下:人类最后的掘金机会

    当联想成为PC电脑世界第一的时刻,他们不知道自己正在与时代的方向背道而驰;当中国移动坐拥十亿用户的同时,他们不知道自己正在离用户渐行渐远;当传统行业的大佬们还在算计每分钟能赚多少钱的时候,他们不知道自己正走在悬崖边缘……所有这些都只是因为他们不知道手机是什么,答错一次,毁掉一个伟大的企业;答对一次,你很快就可以成为一个巨无霸。通过本书,告诉你如何选择、使用手机,通过手机怎么赚钱,而我们的生活将会发生什么样的改变。作者结合自己多年的教学、策划经验,总结出零售业、金融业、保险业、出版业、物流业、制造业等十二大传统行业与手机的结合方式与盈利模式。
  • 缠上

    缠上

    “我只想亲一下!”某男不依不饶地说。“想揩油?你做梦!我家宝宝要用‘膳’了,现在可不是玩亲亲的时候……不准你教坏我家宝宝!哼!”……“宝宝,你觉得妈妈挑选那个叔叔做你的未来爸爸怎么样?”“女人!你敢找男人,我就离家出走!”一旁的男人得意地大笑,不愧是我的儿子,好样的!*谢谢读者水冰月提供的新视频:?pstyle=1读者QQ群:94699601*
  • 上学记(“民国大学与大师”丛书系列)

    上学记(“民国大学与大师”丛书系列)

    本套丛书《民国大学与大师》,以详实而生动的史料、全面而独到的视角,邀你一起走进晚清与民国时期国学与科学大师们富有个性、既伟大又平凡、传奇而精彩的世界,包括他们的上学、留学、教书、长校……其内容丰富,情节曲折,语言通俗,可读性强。丛书分为名家上学记、名家留学记、大师讲书记、大学校长记4卷。由青年学者朔之北、青年作家许毕基等人撰稿。
  • 第一绝色:冥君盛宠凉薄妃

    第一绝色:冥君盛宠凉薄妃

    她步步穿心,助他登君主之位,为他不惜自剜双眼,到头来,他却挥剑斩断她的生路。诛仙台上,她玉石俱焚,一战彻九天,杀神谁能挡?——她,东皇国闻名遐迩的天才废物,帝都第一丑女,受辱三年,被抛尸乱葬岗!血眸睁开时,来自王者杀神的灵魂,从此将主宰这个身体。且看她如何音念双修,风云天下!这一世,她风华尽显,以天才之名,艳杀天下。恩她者,百倍还。仇她者,杀无赦!狐狸遇上狼,谁吃谁豆腐?他说:“女人,天上人间任你闯荡,爷罩着你。”他还说:“记得回来就好。”
  • 电子政务应用趋势与实践创新

    电子政务应用趋势与实践创新

    本书是作者基于多年的电子政务工作实践凝练而成,主要涉及电子政务的基础理论和应用实践两个方面。帮助读者从概念层面、技术层面到实践层面全面把握电子政务的理论知识及应用技术。全书共分8章,第1章至第5章为基础篇,分别介绍了电子政务的基础理论、电子政务与政府管理创新、国内外电子政务的发展、电子政务的信息技术支撑和电子政务的安全保障;第6章至第8章为应用篇,分别介绍了电子政务办公自动化系统、电子政务门户网站和电子政务信息资源系统的规划、设计、建设和利用。为紧密结合十七届六中全会精神的要求,本书对当前网络文化建设、网络问政实施、网络新媒体应对及网络舆情引导等热点问题进行了深入地阐释。
  • 弗洛伊德文集1:癔症研究

    弗洛伊德文集1:癔症研究

    本卷包括中文版主编车文博所著的《导论》和《弗洛伊德略传》,以及由弗洛伊德与约瑟夫·布洛伊尔合著的《癔症研究》三部分。《导论》和《弗洛伊德略传》是中文版主编车文博研究弗洛伊德的精髓所在,可以帮助读者更好地了解弗洛伊德和精神分析理论。《癔症研究》最初于1895年在德国出版,书中对癔症的症状、病因做了详细的分析和解说,开始提出癔症创伤理论,是其精神分析理论的奠基和正式起点的标志。