登陆注册
2841100000018

第18章 大数据与技术变革(2)

目前,数据服务产业链上真正的大数据玩家,应该是例如谷歌之类的公司,通过重复利用数据以获得利益。谷歌成功地建立了“网页搜索+广告”的商业模式,其所有的业务都是构建在大数据之上的。因此,谷歌是大数据最大的玩家。2012年,它的总营收达到501.75亿美元,利润107.4亿美元,其九成利润来自广告。有咨询公司预测,2017年全球大数据技术的市场空间约500亿美金,约等于谷歌2012年的总营收。这其中,既包括了技术,也包括了大数据工具和相应的服务。

由此观之,在大数据时代的未来,获利最大者将是“数据为王”或者“数据驱动”的业务内涵和模式,发展大数据并挖掘大数据的新价值是其不可不为的原动力。中国也必须尽快扶植相关的产业和公司,以抗衡谷歌这样的跨国巨头,并最终实现赶超。

技术支持与发展

大数据不是口号,而是技术,同时也是技术的整合。大数据的到来,已经成为现实生活中无法逃避的挑战。无论如何,大数据已经成为新一轮技术变革的最强音。关于模式的思考,关于安全的质疑,关于应用的探索,我们必须静下心来看大数据,实实在在了解大数据目前仍然需要解决的问题。

国计民生、商业创新无不与大数据相关,大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。每当我们要做出决策的时候,大数据就无处不在。无论如何,我们都必须直面大数据时代的到来。

大数据给中国带来的巨大挑战,首先是三个重要的技术问题。

☆如何利用信息技术等手段处理非结构化和半结构化数据

大数据的一个重要特点就是数据分散。大数据中,85%都是非结构化的数据,结构化数据只占15%左右。大数据的另一个特点就是不确定性,表现在高维、多变和强随机性等方面。有90%的数据来自开源数据,其余的被存储在数据库中。而大数据则大量存在于社交网络、互联网和电子商务等领域。

值得注意的是,大数据刺激了大量的研究问题。但是大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后的主观知识相结合而产生“智能知识”的过程就叫作“二次挖掘”。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识,这也正是基于大数据的数据挖掘所产生的结构化的粗糙知识的一些新特征。

由于大数据所具有的半结构化和非结构化的特点,寻求“智能知识”也就反映了大数据研究的核心价值。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,要想实现从“一次挖掘”到“二次挖掘”这样类似事物量到质的飞跃,还必须通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。这些都需要给定一种半结构化或非结构化数据,包括具体的经验、常识、本能、情境知识和用户偏好。

☆如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

大数据的复杂形式导致许多对“粗糙知识”的度量和评估显得尤为重要。这一问题的突破是实现大数据知识发现的前提和关键。这里,人机交互将起到至关重要的作用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

从短期而言,学术界鼓励发展半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。从长远角度来看,可以将已知的最优化、数据包络分析、期望理论、管理科学中的效用理论应用到“二次挖掘”过程中,研究如何将主观知识融合到数据挖掘产生的粗糙知识中。大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。

☆数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

在大数据环境下,管理决策面临着两个“异构性”问题:“决策异构性”和“数据异构性”。大数据已经改变了传统的管理决策结构的模式。决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。探索大数据环境下决策结构的改变对管理决策结构的影响会成为一个公开的科研问题。寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,已知的数据挖掘方法将成为大数据挖掘的工具。

无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。大数据是一种具有隐藏法则的人造自然,如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁,那么我们将能够很好地应对传统的数据挖掘理论和技术提出的新挑战。尽管这样的探索十分困难,但是研究大数据,是十分必要的。

除此之外,还有一些数据科学的问题,以上也仅仅是研究大数据挑战的一个起点。在未来,相关的问题都可以得到很好地解决。

自从人类进入到信息化时代以来,我们不断产生大量的数据,加之物联网、移动互联网应用的大规模爆发,大量新数据以每年50%的速度在增长,或者说每两年就要翻一番多。数据已经渗透到每一个行业和服务职能领域,随着互联网技术的不断发展,数据本身就是资产,这一点在业界已经形成共识。

人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在云计算时代,人类通过对海量大数据的高效分析获得商业以及社会价值。云时代的到来、移动终端普及使得数据创造的主体由企业逐渐转向个体,而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。随着云计算技术的快速普及,人类社会正在步入一个被互联网和通讯技术引爆的大数据时代。大数据技术在中国的发展前景是光明的,前提是我们能够提升和扩充自己的技术王国,建设美好的蓝图。

全球技术研究和咨询公司Gartner将大数据技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。Gartner在其新兴技术成熟度曲线中将大数据技术视为转型技术,这意味着大数据技术将在未来3?5年内进入主流。中国也不会落后,“云基地”作为国内最早根植在云计算技术及商业模式的领先者,也一直积极关注大数据带来的发展机遇。

从战略到战术层面,从理念到技术层面,中国都已开始自我的进化,更加适应这个新的时代。中国经过了几十年的积累,让不断产生的海量数据正在成为虚拟世界取之不尽的能源,而它们还远未被开发。

信息化技术的普及使得中国企业更多的办公流程通过网络得以实现,由此产生的数据也以非结构化数据为主。而其他领域的研究,如云计算、下一代分析、内存计算等也都与大数据的研究相辅相成。我们尚无法确定万物是否皆有数据,但是至少已经推开了这样一扇大门:以理性的态度思考大数据,共同保持着持续变革的动力,主动地拥抱这种变化。早在2012年时,非结构化数据就已达到了互联网整个数据量的75%以上,用于提取智慧的大数据,往往是这些非结构化数据。而现在,这个比例已变得更大,我们也拥有了足够的技术支持。换句话说,中国的大数据技术的积累已到达了突破阶段。

“脚印追踪”--个性化的数据推荐系统

如果你在自己经常网购的网站看到“猜你喜欢”之类的东西是那么符合自己的要求,不要惊讶,因为我们每一个人都已经步入了大数据时代。你可以想象一下,也许在未来,每天打开电脑,它会自动把你所有的需求列一个清单,你只需要坐在舒服的沙发上点几个确定选项,就可以轻轻松松地搞定一切了。

不要以为这种情形只发生在科幻电影中。商家只有在满足大众的需求时才能够卖出商品,而这一切都是在满足大众的个性化需求的基础之上实现的。

2011年9月,淘宝公司发起了用户定制电视的活动,2天内1万台订制电视就被抢光。在该活动中,用户可以选择电视的各种属性,包括尺寸、边框、颜色等,厂商根据用户的订制内容生产电视产品,再送货到客户的家中。

从这个具有代表性的案例中我们就可以发现,未来的商业模式正在发生着质的变化,它通过满足个性化需求来提升商业运转的效率,在为消费者提供更好服务的同时,获得更多的利润。

☆“猜你喜欢”的由来

网购中随处可见的“猜你喜欢”是怎么来的呢?事实上,这种推荐方式来源于亚马逊的技术创新。

亚马逊公司的内容起初都是由人工完成的,他们聘请了一个由20人组成的书评团队在网页上推荐有意思的新书。但是随着在亚马逊上架的图书越来越多,这样的人工操作自然越来越显得乏力低效了。

后来,亚马逊的总裁贝索斯决定尝试更有创造性的做法,根据用户的习惯来为其推荐商品。但若想实现个性化推荐,必须要将不同用户进行比较再找到用户之间的关联。但是,面对庞大的数据,这种推荐系统算法烦琐,结果也是不尽如人意。

同类推荐
  • 最有效的激励艺术

    最有效的激励艺术

    我们之所以主张公正未必公平,乃是基于最有效的激励精神,在于“有本事就来拿”。拿得到的人当然很高兴,拿不到的人也不应该怪别人,最好反求诸己,再充实自己,以便下一次顺利拿得到。美国人偏重个人主义,采取个别激励方式;日本人重视集体主义,激励团体而不针对个人。那么,中国人呢?中国人喜欢把事情合起来想,而不分开来看。既不是个人主义也不是集体主义,而是两者兼顾并重:个人依赖集体,集体重视个人,可以说在团体中体现个人。激励的目的,不在改变员工的个性,而在促使员工自我调适,产生合理的行为。
  • 股神:沃伦·巴菲特的股票投资忠告

    股神:沃伦·巴菲特的股票投资忠告

    沃伦·巴菲特是当今股票市场最著名的投资大师,他在股市中创造了永不破灭的神话,成为全世界投资人仰慕的财富之神。他从小就极具投资意识,11岁的巴菲特购买了平生第一张股票。1947年,巴菲特进入宾夕法尼亚大学攻读财务和商业管理。两年后,巴菲特考入哥伦比亚大学金融系,拜师于著名投资理论学家本杰明·格雷厄姆。在格雷厄姆门下,巴菲特如鱼得水。1956年,他回到家乡创办“巴菲特有限公司”。1964年,巴菲特的个人财富达至400万美元,而此时他掌管的资金已高达2200万美元。
  • 野蛮生长的秘密

    野蛮生长的秘密

    中国私营企业顺利成长的实践指导读本,中国民营资本自立自强的危机自救方略。本书汇集优秀企业家的成功经验,以商战实例为素材,融哲理和操作方法于一体。它传递的不仅是企业做强做大的方法,更是不断创新、不断探索的精神,置之死地而后生的智慧,勇于开拓的勇气,以及自主自立的民族情感。
  • 世界上最伟大的推销员(全集)

    世界上最伟大的推销员(全集)

    一个好的推销员需要具备什么?答案可能有很多种,但其中最重要的有三个,即经验、方法和知识。每个梦想成功的推销员都可以借鉴大师的经验教训,找到最适合自己的销售观念、策略和技巧,获知最新的销售理论,显著提高自己的销售水准,踏上成功之路,赢得财富。
  • 疯狂谈判

    疯狂谈判

    谈判是实力的较量还是心理的较量?这是一个无解的问题,或许两者都是。但是,一场成功的谈判有一个起码的条件是:如果你不具备足够的心理素质,赢得一场竞争性的谈判几乎是不可能的。事实上,在实力均衡的条件下,越是重要的谈判就越侧重于心理的交锋——我们生活和工作中80%的谈判都依赖于心理的战术,而不是实力。看看这样的情况:你因为害怕对方退出谈判,而接受了一个比预期利益小得多的条件。你因为对方足够强硬,而放弃你自己理应坚持的目标。你可能因为对方捉摸不定的态度,而变得惴惴不安,匆忙中接受了对方的要价。……心理的交锋是一场高雅的艺术,如果你置身在竞争性的谈判中,你必须让自己足够坚定,足够强硬,足够“疯狂”
热门推荐
  • 对公司负责就是对自己负责

    对公司负责就是对自己负责

    完整阐释责任意识的权威读本;企业管理者和员工提升责任感,树立完美职业精神的必读之书。本书深入挖掘责任意识的内涵和外延,围绕现代企业管理的实际,精选世界500强企业优秀员工职业精神培训的案例,倡导人人负责的企业文化,目的在于培养职场人士的责任感和敬业精神。
  • 尸心不改

    尸心不改

    控尸门的欢乐二缺弟子江篱炼了一具美得人神共愤引得天雷阵阵的男尸,以为好日子开始了,结果没想到门派惨遭灭门。--情节虚构,请勿模仿
  • 青少年必知的100种生物知识

    青少年必知的100种生物知识

    生命是永恒的话题,从古至今,人们总是孜孜不倦地探索着生命的奥秘,本书所介绍的,正是世界上不分国家、不分肤色、不分男女老少的人们所共同关注的话题。本书不仅系统地介绍了生物知识,同时还讲述了有趣的生命现象,揭示了世界上未解的生物之谜,可谓知识性与趣味性并存。
  • 刺客手记

    刺客手记

    最劲爆的篮球赛事,最强悍的体能对抗,最真实的视觉效果,最美好的大学生活,尽在篮球盛典——《刺客手记》!
  • 汉晋文学中的《庄子》接受

    汉晋文学中的《庄子》接受

    本书主要探讨汉晋时期思想学术领域庄学全面复兴的背景下,文学中的《庄子》接受状况。回答了以下问题:汉魏之际庄学复兴有何表现?复兴的原因是什么?汉晋文学以怎样的方式接受《庄子》?汉晋各时期的《庄子》接受有何特点?汉晋文学主要接受了《庄子》的哪些方面?有何表现?《庄子》强烈的生命精神及由此生发的诗性精神是汉晋士人和文学对其进行选择接受时的一个主要兴奋点。本书以此为中心,对汉晋文学与《庄子》在生命意识、理想人生境界的建构及叙述方式上的深层联系进行了专题研究。
  • 星战风暴

    星战风暴

    军校考试临近,二十八的基因数被直接取消了考试资格。替朋友送个情书,结果却掉到了湖中,殉情之名不胫而走。王铮同学第一次收到礼物,却像是进入了炼狱……然而,当一切结束,王同学开始了幸福的大学生活!热血永恒,这是风暴进行曲,这是最凶猛最热血的机甲狂潮!
  • 明星青梅的专属竹马

    明星青梅的专属竹马

    宁熙葵:我们之间不是咫尺天涯的形同陌路,不是天涯比邻的一往情深,而是不远不近,永远无法有交集。无论我多努力想要靠近你,你却总把我推开。聂寒跖:只有这样不远不近的距离才能让我一直爱着你,对于我而言,你是阳光,然而我身处黑暗。我不能让你离我太近,我怕你会被伤害得遍体鳞伤。他,身处黑暗,职业杀手,成立杀手组织,黑暗的主宰。她,身处聚光灯下,以阳光微笑为标志的明星。他与她居然是所谓的青梅竹马。当她爱上他,他不懂什么是爱;当她选择离开,他发现早已爱上了她。曾经选择离去的她再次归来,拥有了另一个全新的身份。“为了你我愿意坠落黑暗的深渊,但如果你不爱我,我会选择忘记你,再相见我们已是陌路人。”“如果我的爱只会让你受到伤害,我唯有用我的绝情让你离开。”“你既然不爱我,为什么要跟我上床?”“我从未说过我不爱你。”“但你也从未说过你爱我。”“我爱你,一直爱着你。”“我曾经让你离开,我的心再次冰冷,这一次我绝不放手。”“我曾以为永远温暖不了你的心,原来是我错了。”“我杀过很多人,如果上天一定要我偿命的话,我只准你要我的命。”“既然你的命是我的,别人不能要你的命。”
  • 情天碧箫缘

    情天碧箫缘

    江湖传闻天下有剑如瑞雪春冰、清秋寒霜,薄如蝉翼,剑身出鞘乍现寒冽之气,声若龙吟虎啸名曰:霜之刃,堪称天下神刃。此剑因机缘巧合落于冷庄庄主冷暮之手,风声外漏一夜之间冷庄受强敌所致,屠戮殆尽,留一遗孤幼女冷若霜,后立誓报仇血恨,投身魔教—冥谷,拜师生死门。后成为冥谷八门中杀手,经苦心修习之后武学小成。因身受魔教所致不得以而为冥谷屠杀武林人世。几桩血案后武林大乱,武林盟主叶浩为査究原凶,遣子叶景轩前去查究。叶景轩孤身一人寻至冥谷与冷若霜相识,对此女渐生情愫,多次插手相助之后,冷若霜也渐钟情于他。二人多历波折后冲破正邪教条结为连理时,霜之刃再现,叶景轩生父却为冷家不共戴天之仇,冷若霜决绝而去,叶府大乱,江湖纷争再起,夺剑称霸,为情成魔,武林血雨腥风,为平杀戮,冷、叶携手共战江湖…
  • 女人的资本大全集 第1季:成为最好的自己

    女人的资本大全集 第1季:成为最好的自己

    人生中最大的悲剧莫过于没有发现自己巨大的潜能而潦草度过一生,而女人一生中最大的遗憾则莫过于没有去发现、发挥和利用自己的生存优势,最终与精彩的人生擦肩而过。女人生来就有独特的生存优势,这些并不仅仅是人们传统眼光中的漂亮、姿色、风情等,而来自于女性强大的内在潜能和人格魅力。本书作者通过多年的研究发现,总结出女性的二十种独特的生存优势。通过阅读本书,每一位女性都可以找到提升自身资本的良方。如果你能够对自身的这些资本加以运用,就能开创幸福美满的人生。女性的成功依靠的不是天生的容貌和魔鬼的身材,而是源自她美丽的心灵,《女人的资本大全集》系列,蕴涵着巨大的内在力量,可以帮助你实现内心的升华。
  • 重生之盛世大小姐

    重生之盛世大小姐

    (原名:重生之俏千金扛上律政美男)苏晚晚一觉醒来发现上天和她开了一个玩笑让她重生回十六岁,重走一次青春。带着前世的记忆,她重新把自己人生规划了一次。爱情上,她拿出拼命十三娘的勇气,把他逼得无路可走,最后乖乖同于送她的怀抱。亲情上,她为了帮妈妈报仇和继母斗天斗地,终于把属于自己的东西抢了回来。友情上,她善于和各种奇葩打交道,最后拥有一帮猪朋狗友为她卖命。学业上,她越挫越勇,从低分率蹦到了年纪第一名,这都是爱情的力量。……从十六岁到二十六岁,她成功从一个屌丝千金逆袭为职场女强人,随着她爱情事业即将丰收之时,她原本以为上天开的玩笑原来是一场阴谋,她前世的死因慢慢浮出了水面。是爱情还是复仇,她改如何抉择?