登陆注册
2841100000018

第18章 大数据与技术变革(2)

目前,数据服务产业链上真正的大数据玩家,应该是例如谷歌之类的公司,通过重复利用数据以获得利益。谷歌成功地建立了“网页搜索+广告”的商业模式,其所有的业务都是构建在大数据之上的。因此,谷歌是大数据最大的玩家。2012年,它的总营收达到501.75亿美元,利润107.4亿美元,其九成利润来自广告。有咨询公司预测,2017年全球大数据技术的市场空间约500亿美金,约等于谷歌2012年的总营收。这其中,既包括了技术,也包括了大数据工具和相应的服务。

由此观之,在大数据时代的未来,获利最大者将是“数据为王”或者“数据驱动”的业务内涵和模式,发展大数据并挖掘大数据的新价值是其不可不为的原动力。中国也必须尽快扶植相关的产业和公司,以抗衡谷歌这样的跨国巨头,并最终实现赶超。

技术支持与发展

大数据不是口号,而是技术,同时也是技术的整合。大数据的到来,已经成为现实生活中无法逃避的挑战。无论如何,大数据已经成为新一轮技术变革的最强音。关于模式的思考,关于安全的质疑,关于应用的探索,我们必须静下心来看大数据,实实在在了解大数据目前仍然需要解决的问题。

国计民生、商业创新无不与大数据相关,大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。每当我们要做出决策的时候,大数据就无处不在。无论如何,我们都必须直面大数据时代的到来。

大数据给中国带来的巨大挑战,首先是三个重要的技术问题。

☆如何利用信息技术等手段处理非结构化和半结构化数据

大数据的一个重要特点就是数据分散。大数据中,85%都是非结构化的数据,结构化数据只占15%左右。大数据的另一个特点就是不确定性,表现在高维、多变和强随机性等方面。有90%的数据来自开源数据,其余的被存储在数据库中。而大数据则大量存在于社交网络、互联网和电子商务等领域。

值得注意的是,大数据刺激了大量的研究问题。但是大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后的主观知识相结合而产生“智能知识”的过程就叫作“二次挖掘”。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识,这也正是基于大数据的数据挖掘所产生的结构化的粗糙知识的一些新特征。

由于大数据所具有的半结构化和非结构化的特点,寻求“智能知识”也就反映了大数据研究的核心价值。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,要想实现从“一次挖掘”到“二次挖掘”这样类似事物量到质的飞跃,还必须通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。这些都需要给定一种半结构化或非结构化数据,包括具体的经验、常识、本能、情境知识和用户偏好。

☆如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

大数据的复杂形式导致许多对“粗糙知识”的度量和评估显得尤为重要。这一问题的突破是实现大数据知识发现的前提和关键。这里,人机交互将起到至关重要的作用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

从短期而言,学术界鼓励发展半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。从长远角度来看,可以将已知的最优化、数据包络分析、期望理论、管理科学中的效用理论应用到“二次挖掘”过程中,研究如何将主观知识融合到数据挖掘产生的粗糙知识中。大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。

☆数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

在大数据环境下,管理决策面临着两个“异构性”问题:“决策异构性”和“数据异构性”。大数据已经改变了传统的管理决策结构的模式。决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。探索大数据环境下决策结构的改变对管理决策结构的影响会成为一个公开的科研问题。寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,已知的数据挖掘方法将成为大数据挖掘的工具。

无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。大数据是一种具有隐藏法则的人造自然,如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁,那么我们将能够很好地应对传统的数据挖掘理论和技术提出的新挑战。尽管这样的探索十分困难,但是研究大数据,是十分必要的。

除此之外,还有一些数据科学的问题,以上也仅仅是研究大数据挑战的一个起点。在未来,相关的问题都可以得到很好地解决。

自从人类进入到信息化时代以来,我们不断产生大量的数据,加之物联网、移动互联网应用的大规模爆发,大量新数据以每年50%的速度在增长,或者说每两年就要翻一番多。数据已经渗透到每一个行业和服务职能领域,随着互联网技术的不断发展,数据本身就是资产,这一点在业界已经形成共识。

人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在云计算时代,人类通过对海量大数据的高效分析获得商业以及社会价值。云时代的到来、移动终端普及使得数据创造的主体由企业逐渐转向个体,而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。随着云计算技术的快速普及,人类社会正在步入一个被互联网和通讯技术引爆的大数据时代。大数据技术在中国的发展前景是光明的,前提是我们能够提升和扩充自己的技术王国,建设美好的蓝图。

全球技术研究和咨询公司Gartner将大数据技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。Gartner在其新兴技术成熟度曲线中将大数据技术视为转型技术,这意味着大数据技术将在未来3?5年内进入主流。中国也不会落后,“云基地”作为国内最早根植在云计算技术及商业模式的领先者,也一直积极关注大数据带来的发展机遇。

从战略到战术层面,从理念到技术层面,中国都已开始自我的进化,更加适应这个新的时代。中国经过了几十年的积累,让不断产生的海量数据正在成为虚拟世界取之不尽的能源,而它们还远未被开发。

信息化技术的普及使得中国企业更多的办公流程通过网络得以实现,由此产生的数据也以非结构化数据为主。而其他领域的研究,如云计算、下一代分析、内存计算等也都与大数据的研究相辅相成。我们尚无法确定万物是否皆有数据,但是至少已经推开了这样一扇大门:以理性的态度思考大数据,共同保持着持续变革的动力,主动地拥抱这种变化。早在2012年时,非结构化数据就已达到了互联网整个数据量的75%以上,用于提取智慧的大数据,往往是这些非结构化数据。而现在,这个比例已变得更大,我们也拥有了足够的技术支持。换句话说,中国的大数据技术的积累已到达了突破阶段。

“脚印追踪”--个性化的数据推荐系统

如果你在自己经常网购的网站看到“猜你喜欢”之类的东西是那么符合自己的要求,不要惊讶,因为我们每一个人都已经步入了大数据时代。你可以想象一下,也许在未来,每天打开电脑,它会自动把你所有的需求列一个清单,你只需要坐在舒服的沙发上点几个确定选项,就可以轻轻松松地搞定一切了。

不要以为这种情形只发生在科幻电影中。商家只有在满足大众的需求时才能够卖出商品,而这一切都是在满足大众的个性化需求的基础之上实现的。

2011年9月,淘宝公司发起了用户定制电视的活动,2天内1万台订制电视就被抢光。在该活动中,用户可以选择电视的各种属性,包括尺寸、边框、颜色等,厂商根据用户的订制内容生产电视产品,再送货到客户的家中。

从这个具有代表性的案例中我们就可以发现,未来的商业模式正在发生着质的变化,它通过满足个性化需求来提升商业运转的效率,在为消费者提供更好服务的同时,获得更多的利润。

☆“猜你喜欢”的由来

网购中随处可见的“猜你喜欢”是怎么来的呢?事实上,这种推荐方式来源于亚马逊的技术创新。

亚马逊公司的内容起初都是由人工完成的,他们聘请了一个由20人组成的书评团队在网页上推荐有意思的新书。但是随着在亚马逊上架的图书越来越多,这样的人工操作自然越来越显得乏力低效了。

后来,亚马逊的总裁贝索斯决定尝试更有创造性的做法,根据用户的习惯来为其推荐商品。但若想实现个性化推荐,必须要将不同用户进行比较再找到用户之间的关联。但是,面对庞大的数据,这种推荐系统算法烦琐,结果也是不尽如人意。

同类推荐
  • 宗庆后与娃哈哈

    宗庆后与娃哈哈

    本书深度挖掘了企业的真实运作密码,即研究娃哈哈成功的个性部分,如独到的“宗式兵法”;同时,也重点研究了娃哈哈成功的普遍意义,即共性部分,并且用适当的战略、管理、营销理论加以解释,并辅以延伸阅读,不仅希望读者能从娃哈哈的战略、营销、管理案例中有所借鉴,更希望读者能举一反三、触类旁通,给自己以启示。
  • 赢在责任

    赢在责任

    世界五百强金牌员工的成长法则,阿里巴巴、百度等知名企业的优秀员工吐血推荐。赢在责任,就是赢在职场。责任是员工与企业缔造双赢的关键;责任是员工在职场获得成长、实现个人价值的关键;如何培养、树立、增强内心的责任感?本书将告诉你答案。
  • 非权力影响力的7堂课

    非权力影响力的7堂课

    不是高官,没有万贯,却可以获得他人的尊重,服从和追随,靠的是什么?那就是非权力影响力!非权力影响力是一种不依靠权力,而凭借个人的形象、语言、实力、品德、情商、人际关系和对细节的关注而产生的一种影响他人,支配他人的力量。它比权力的影响更强大,因为它可以获得别人的信任和主动服从。
  • 卓越管理者素质修炼

    卓越管理者素质修炼

    从管理者的人格魅力、角色定位、工作态度、行为准则、细节管理、学习能力、创新意识、愿景管理等八个方面,采用精彩案例加上深入浅出的理论分析,让所有的企业管理者明白:如何才能将自己打造成一个完美的企业管理者,让自己真正起到企业的桥梁纽带作用,也让自己成为企业不可或缺的人才。无论是渴望突破的中高层管理者,还是希望被提拔的基层管理者,都会在《卓越管理者素质修炼》中找到自己所需要的智慧。
  • 读故事·作测试·学管理

    读故事·作测试·学管理

    本书汇集了100个经典的管理故事,并附带100句经典的管理名言和管理点评,同时为了使管理更科学,使管理者能更全面地认识自己,书中还精选了37个管理小测试,同样是以一种轻松活泼的方式在诠释管理。如果企业的发展遭遇不顺利,如果你的团队出现了裂痕,如果作为领导者的你思路有些混乱,如果你的企业在经济的大潮中裹足不前,那么读读这些故事,也许这种轻松简单的方式会给你带来意想不到的结果,就像故事里说的,丑小鸭变成了白天鹅,灰姑娘变成了王妃。
热门推荐
  • 仙界独尊

    仙界独尊

    我们是诸天轮回之地的城管,我们是诸天万界的片警,我们是轮回秩序的守卫者,我们是一切轮回偷渡穿越客的噩梦我们来自诸天万界,为了实现同一个梦想:杀光一切轮回者,抢光一切穿越者,榨干所有经验值!我们是轮回禁卫!……………………仙界的废墟,诸天轮回之地,最后的守土之人!
  • 萌宠龟妃:狐王大大请爬开

    萌宠龟妃:狐王大大请爬开

    新文已发【邪王的金牌专宠:盗妃天下】神马?穿越成龟?某女携铺盖卷狂奔。强娶,豪嫁?丫的!咱要珍惜生命,远离妖孽。某男摸了摸下巴;“小乌龟,你吃着本王的,喝着本王的,最后,还睡了本王,你说这该怎么破?收灵兽,驭灵珠,看小白女如何玩转古代。红莲绽放,蛊惑妖娆,谁又是谁的宿命?乌小暖:前世今生,魅轻离,我,只是我自己。魅轻离:本王从不信什么命运,若是天下都不再信你,小乌龟,本王就算是破了这个天又有何妨?
  • 我们三个都是穿越来的

    我们三个都是穿越来的

    我是因为看了很多的穿越小说,也很想穿越。谁想我想想就能穿越,穿越就穿越吧,居然穿成怀孕九月的待产产妇,开玩笑嘛!人家在二十一世纪还是黄花一枚呢。这也可以接受,可是明明是丞相之女,堂堂四皇子的正牌王妃怎么会居住在这么一个几十平米得破落小院子里,她怎么混的,亏她还一身绝世武功,再是医毒双绝。哎。没关系,既然让我继承了这么多优越条件,一个王爷算得了什么?生下一对龙凤胎,居然都是穿过来的,神啊,你对我太好了吧?且看我们母子三人在古代风生水起笑料百出的古代生活吧。片段一在我走出大门时,突然转身对着轩辕心安说道:“王爷,若是哪天不幸你爱上了我,我定会让你生不如死的。”然后魅惑地一笑,潇洒地走了出去。片段二当我对着铜镜里的美人自恋地哼出不着调地歌时。“别哼了,难听死了。”一个清脆的声音响起。~~~接着一声尖叫紧跟着另一声尖叫。我用上轻功躲进了被子里.~~~"我和你一样是二十一世纪来的。”“你好,娘亲,哥哥,以后要多多指教。”来自两个婴儿的嘴里,我摸摸额头,没高烧啊。片段三“小鱼儿,我可是你孩子的爹,况且我没有写休书,你还是我的王妃。我会对你好的。”安王爷霸道地说道。“你们认识他吗?他说是你们的爹?”我问着脚边的两个孩子。“不认识,”女孩说道。“我们的爹不是埋在土里了吗?怎么他一点也不脏?”男孩问道。那个男人满头黑线。“对不起,我们不认识你。”说完拉着孩子转身就走。片段四“爹爹,这是我娘,你看漂亮吧?”南宫心乐拉着一个白衣帅哥进来问道。我无语中。“爹爹,你看我娘亲厉害吧?“南宫心馨拉着另外一个妖精似地男人走了进来。我想晕。“这才是我们的爹。”“才不是呢,这个才是”两人开始吵起来了。“我才是你们的爹。”安王爷气急地吼道。“滚一边去。”两个小孩同时说道。屋里顿时混乱之中。转头,回屋睡觉去了。推荐完结文《别哭黛玉》完结文《穿越之无泪潇湘》新文,《极品花痴》
  • 第一傲世凰妃

    第一傲世凰妃

    她是一代佣兵杀神南宫凤雪,为救收养的弟弟而身亡。却不想一朝穿越至以武为尊的东辰国,魂附东辰国名门望族南宫世家被亲人虐待身亡,同名废材嫡女身上。当瞳眸睁开,邪气四溢,眼波流转,琉璃璀璨。谈笑间杀人于无形,素手轻挥血流成河。斗家族,争地位,毁婚约,练神功,且看她一代佣兵杀神如何在这片大陆创造属于一个废材的传奇神话。
  • 红楼黛影

    红楼黛影

    她是下凡历劫归来的绛珠,虽然是已经还了一世的眼泪,可是却是欠着别人更大的情谊,所以只能再次的下界历劫,还当初的以命相救的恩情。西窗的群号码是94737621,欢迎加入一起讨论。喜欢则看,不喜莫入,绕道远行,勿坏和谐。推荐好友碧绿青竹的作品《红楼圆梦之情挽黛玉》推荐西窗的新作《黛魂玉影》推荐夏轻尘红楼新文《潇湘辞》
  • 公路上的鬼

    公路上的鬼

    除了一些喜欢宅的鬼魅喜欢呆在电梯、医院、殡仪馆里,还有一些爱逛街的游魂,他们穿梭在公路上,找寻能邂逅的有缘人……
  • 重生之我的阁下

    重生之我的阁下

    我们不叫黑衣人,我们的名字是人类观察员。至于你,你是我们的总司令!你问总司令是干嘛的?当然是认真贯彻《人类保护计划》的核心精神,维护世界和平。记住,这个世界没有神仙!没有上帝!没有妖怪!没有幽灵!没有魔法!没有外星人!也没有超能力!那刚刚咬掉我半只手的东西是什么……
  • 沉沦:郁达夫作品精选

    沉沦:郁达夫作品精选

    诗集。收诗一百十九首。分上中两卷。上卷大多反映旧中国的社会现实,揭露豪富对劳苦大众的压迫和剥削;中卷主要表现国外的社会生活,揭露西方世界的腐朽、黑暗和战后欧洲经济的凋敝。
  • 一招搞定:顶尖社交方案

    一招搞定:顶尖社交方案

    本书内容包括纵横世界说搞定、经世致用的本领、一流搞定方案、如何搞定有权势的人、如何搞定有钱人、如何搞定名人、如何搞定你的老板、搞定方案等。
  • 傻子王爷无情妃

    傻子王爷无情妃

    一只毒蝎子,彻底断送了她年轻的生命!别人只知道,那个软弱没主见的女人被迫嫁给一个痴傻呆闷的七皇子。殊不知,她早已不再是“她”!面对痴傻只会憨笑的美男,她气愤难填!你傻,本美女就医好你,谁知医好后,遭到嫌弃,却换来一纸休书,气愤之下,她恨不得与他同归于尽……