登陆注册
2841100000018

第18章 大数据与技术变革(2)

目前,数据服务产业链上真正的大数据玩家,应该是例如谷歌之类的公司,通过重复利用数据以获得利益。谷歌成功地建立了“网页搜索+广告”的商业模式,其所有的业务都是构建在大数据之上的。因此,谷歌是大数据最大的玩家。2012年,它的总营收达到501.75亿美元,利润107.4亿美元,其九成利润来自广告。有咨询公司预测,2017年全球大数据技术的市场空间约500亿美金,约等于谷歌2012年的总营收。这其中,既包括了技术,也包括了大数据工具和相应的服务。

由此观之,在大数据时代的未来,获利最大者将是“数据为王”或者“数据驱动”的业务内涵和模式,发展大数据并挖掘大数据的新价值是其不可不为的原动力。中国也必须尽快扶植相关的产业和公司,以抗衡谷歌这样的跨国巨头,并最终实现赶超。

技术支持与发展

大数据不是口号,而是技术,同时也是技术的整合。大数据的到来,已经成为现实生活中无法逃避的挑战。无论如何,大数据已经成为新一轮技术变革的最强音。关于模式的思考,关于安全的质疑,关于应用的探索,我们必须静下心来看大数据,实实在在了解大数据目前仍然需要解决的问题。

国计民生、商业创新无不与大数据相关,大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。每当我们要做出决策的时候,大数据就无处不在。无论如何,我们都必须直面大数据时代的到来。

大数据给中国带来的巨大挑战,首先是三个重要的技术问题。

☆如何利用信息技术等手段处理非结构化和半结构化数据

大数据的一个重要特点就是数据分散。大数据中,85%都是非结构化的数据,结构化数据只占15%左右。大数据的另一个特点就是不确定性,表现在高维、多变和强随机性等方面。有90%的数据来自开源数据,其余的被存储在数据库中。而大数据则大量存在于社交网络、互联网和电子商务等领域。

值得注意的是,大数据刺激了大量的研究问题。但是大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后的主观知识相结合而产生“智能知识”的过程就叫作“二次挖掘”。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识,这也正是基于大数据的数据挖掘所产生的结构化的粗糙知识的一些新特征。

由于大数据所具有的半结构化和非结构化的特点,寻求“智能知识”也就反映了大数据研究的核心价值。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,要想实现从“一次挖掘”到“二次挖掘”这样类似事物量到质的飞跃,还必须通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。这些都需要给定一种半结构化或非结构化数据,包括具体的经验、常识、本能、情境知识和用户偏好。

☆如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

大数据的复杂形式导致许多对“粗糙知识”的度量和评估显得尤为重要。这一问题的突破是实现大数据知识发现的前提和关键。这里,人机交互将起到至关重要的作用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

从短期而言,学术界鼓励发展半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。从长远角度来看,可以将已知的最优化、数据包络分析、期望理论、管理科学中的效用理论应用到“二次挖掘”过程中,研究如何将主观知识融合到数据挖掘产生的粗糙知识中。大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。

☆数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

在大数据环境下,管理决策面临着两个“异构性”问题:“决策异构性”和“数据异构性”。大数据已经改变了传统的管理决策结构的模式。决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。探索大数据环境下决策结构的改变对管理决策结构的影响会成为一个公开的科研问题。寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,已知的数据挖掘方法将成为大数据挖掘的工具。

无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。大数据是一种具有隐藏法则的人造自然,如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁,那么我们将能够很好地应对传统的数据挖掘理论和技术提出的新挑战。尽管这样的探索十分困难,但是研究大数据,是十分必要的。

除此之外,还有一些数据科学的问题,以上也仅仅是研究大数据挑战的一个起点。在未来,相关的问题都可以得到很好地解决。

自从人类进入到信息化时代以来,我们不断产生大量的数据,加之物联网、移动互联网应用的大规模爆发,大量新数据以每年50%的速度在增长,或者说每两年就要翻一番多。数据已经渗透到每一个行业和服务职能领域,随着互联网技术的不断发展,数据本身就是资产,这一点在业界已经形成共识。

人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在云计算时代,人类通过对海量大数据的高效分析获得商业以及社会价值。云时代的到来、移动终端普及使得数据创造的主体由企业逐渐转向个体,而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。随着云计算技术的快速普及,人类社会正在步入一个被互联网和通讯技术引爆的大数据时代。大数据技术在中国的发展前景是光明的,前提是我们能够提升和扩充自己的技术王国,建设美好的蓝图。

全球技术研究和咨询公司Gartner将大数据技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。Gartner在其新兴技术成熟度曲线中将大数据技术视为转型技术,这意味着大数据技术将在未来3?5年内进入主流。中国也不会落后,“云基地”作为国内最早根植在云计算技术及商业模式的领先者,也一直积极关注大数据带来的发展机遇。

从战略到战术层面,从理念到技术层面,中国都已开始自我的进化,更加适应这个新的时代。中国经过了几十年的积累,让不断产生的海量数据正在成为虚拟世界取之不尽的能源,而它们还远未被开发。

信息化技术的普及使得中国企业更多的办公流程通过网络得以实现,由此产生的数据也以非结构化数据为主。而其他领域的研究,如云计算、下一代分析、内存计算等也都与大数据的研究相辅相成。我们尚无法确定万物是否皆有数据,但是至少已经推开了这样一扇大门:以理性的态度思考大数据,共同保持着持续变革的动力,主动地拥抱这种变化。早在2012年时,非结构化数据就已达到了互联网整个数据量的75%以上,用于提取智慧的大数据,往往是这些非结构化数据。而现在,这个比例已变得更大,我们也拥有了足够的技术支持。换句话说,中国的大数据技术的积累已到达了突破阶段。

“脚印追踪”--个性化的数据推荐系统

如果你在自己经常网购的网站看到“猜你喜欢”之类的东西是那么符合自己的要求,不要惊讶,因为我们每一个人都已经步入了大数据时代。你可以想象一下,也许在未来,每天打开电脑,它会自动把你所有的需求列一个清单,你只需要坐在舒服的沙发上点几个确定选项,就可以轻轻松松地搞定一切了。

不要以为这种情形只发生在科幻电影中。商家只有在满足大众的需求时才能够卖出商品,而这一切都是在满足大众的个性化需求的基础之上实现的。

2011年9月,淘宝公司发起了用户定制电视的活动,2天内1万台订制电视就被抢光。在该活动中,用户可以选择电视的各种属性,包括尺寸、边框、颜色等,厂商根据用户的订制内容生产电视产品,再送货到客户的家中。

从这个具有代表性的案例中我们就可以发现,未来的商业模式正在发生着质的变化,它通过满足个性化需求来提升商业运转的效率,在为消费者提供更好服务的同时,获得更多的利润。

☆“猜你喜欢”的由来

网购中随处可见的“猜你喜欢”是怎么来的呢?事实上,这种推荐方式来源于亚马逊的技术创新。

亚马逊公司的内容起初都是由人工完成的,他们聘请了一个由20人组成的书评团队在网页上推荐有意思的新书。但是随着在亚马逊上架的图书越来越多,这样的人工操作自然越来越显得乏力低效了。

后来,亚马逊的总裁贝索斯决定尝试更有创造性的做法,根据用户的习惯来为其推荐商品。但若想实现个性化推荐,必须要将不同用户进行比较再找到用户之间的关联。但是,面对庞大的数据,这种推荐系统算法烦琐,结果也是不尽如人意。

同类推荐
  • 抓执行:不会带团队,你就只能干到死!

    抓执行:不会带团队,你就只能干到死!

    本书重点讲述了团队高效执行的9个管理方法,手把手教你提高团队执行力。内容简洁易懂,定位清晰明确,是中高层管理者提高团队执行力的必读之书。
  • 互联网商业思维

    互联网商业思维

    围绕“互联网商业”关键词,《经理人》杂志意在用权威、热点的观念和事件为读者讲解“互联网”时代我们应该怎样开拓新商业模式。从互联网商战、互联网金融、互联网营销、互联网商业模式、互联网新平台运作方法以及对互联网未来发展预测的角度,全面阐述深入分析了极具价值的商业模式启发和最新的发展动态。
  • 20几岁要应用的经济学智慧

    20几岁要应用的经济学智慧

    运用经济学智慧,帮你破解那些挑战你思维的经济学现象,拥有从身边小事窥宏观经济的智慧,理性消费不迷糊,智慧理财,管好自己的钱袋子,修炼职场达人“稀缺”,自己当老板,创业实现梦想,携王子或公主走向红地毯的另一端,量度人情冷暖,开始幸福生活。
  • 推销学全书

    推销学全书

    推销就是在推销中说服和诱导潜在购买者购买某种商品和服务,从而实现企业营销目标并满足顾客需求的活动。推销的作用就是尽可能的让原本默默无闻的企业或产品在最短的时间获得企业现阶段无法完成的市场和企业知名度。从而使企业快速的发展,再这之中培训涌现出一些大量的推销人才,同时也方便了顾客,使得顾客可以足不出户就可以买到产品!以达成推销员和顾客之间的互惠互利。随着社会的发展人类的进步,现在的推销学五花八门。一些企业对新加入的推销员的要求更高,从而达到面对顾客时能更好的发挥企业的内涵以及产品的特点。
  • 用人三十六计(大全集)

    用人三十六计(大全集)

    “劳心者治人,劳力者治于人”。劳心者当指领导者,劳力者就是指被管理者了。人大都想当领导,每天有那么多的团队崛起就是明证;领导不是想当就能当的,每天有那么多的团队倒下也是明证。很多人都想管人,可并非人人都会管人。管人靠权威:熟练地运用权力,让手下心甘情愿地服从你,供你调遣,就可以成为一个好上司。管人靠攻心:成功的上司亲切、随和、善解人意。当下属将你看成自己人的时候,你的目的就达到了。一句话,征服了人心就征服了一切。
热门推荐
  • 公主千金的故事

    公主千金的故事

    童话是世界儿童文学中永不凋谢的花冠,是与我们少年儿童捉迷藏的小朋友。童话王国简直就是一个多姿多彩的万花筒,在那些语言浅显、妙趣盎然的美丽童话故事里,有的蕴藏着严肃的人生准则,富于哲理,发人深省;有的反映了社会的真实现象,揭露了黑暗、鞭打了丑恶;有的揭示了大自然的奥秘,使人增长知识,开拓视野。童话奠定了我们的人生基础,影响着我们的一生。因此应该把那些名篇珍品传给后代,陶冶后代。为此,我们编辑了这套《世界经典童话故事全集》丛书,把世界各国许多童话名篇佳作装在一个美丽的花篮里,让它熠熠闪烁的光辉照耀下一代人茁壮成长,使孩子们梦幻般地度过金色的童年。
  • 明治天皇:孝明帝驾崩卷(下册)

    明治天皇:孝明帝驾崩卷(下册)

    《明治天皇》再现了日本从幕末走向明治维新的历史变革,以优美的文笔,宏大的场景,详细描绘了日本近代决定国运的倒幕运动的整个过程。本书塑造了一个个鲜活的日本近代史人物形象,以及他们的坚定信念,对“安政大狱”、“樱田门之变”等重大历史事件的描述详实生动,是一部了解近代日本不可多得的佳作。
  • 乾隆皇帝:风华初露

    乾隆皇帝:风华初露

    雍正死于非命,时年二十五岁的乾隆继位。他胸怀大志,要做超迈千古之帝,一心开创大清盛世。他坚持推行“以宽为政”的施政方略,革除前朝苛政。重视直臣能吏,简拔新秀,整顿吏治,对贪官污吏严加惩处。他励精图治,蠲免赋税,使民休养生息,并不断微服私访,体察民情,派能吏赈灾济民,杜塞乱源。先后进军大小金川、西域和台湾,平息叛乱。让纪陶主修《四库全书》,以收束笼络天下士子之心。乾朝逐步走向生业滋繁的隆盛之世。但与此同时,地士兼并矛盾愈演愈烈,官场贪贿荒淫糜烂不堪,且边患不已,危机四伏,树大中空,加上晚年乾隆好大喜功,多有失政,又任用和珅等佞臣,黜退贤良,国势逐渐江河日下。
  • 嫡女棣王妃

    嫡女棣王妃

    “姨娘,夫人似乎断气了~”“哼!这么一碗药都下去了,难道她还能活着不成?”“那这······”一个年纪稍长的人朝着这位称作姨娘的人示意了一下自己手中的婴儿,似乎有些犹豫,“这好歹是个男孩,现在夫人已经死了,如果姨娘把他占为己有,然后得了这府中的中馈······”“嬷嬷?!”女子也不等她的话说完,就打断了她,“你记住了,我恨死了这个女人,她的儿子,只能随着她去,我就是以后自己生不出儿子,抱养别人的,也不会要她的。把他给我扔马桶里面溺了,对外就说一出生就死了!”猩红的嘴唇,吐出来的话却是格外的渗人。嬷嬷还想说什么,动了动嘴,却是一句话也没有说,转身朝着后面放着马桶的地方走去。却是没有发现旁边地上一个穿着有些破旧的衣服的小女孩此刻正瞪大了眼睛看着她们两。这是什么情况?自己不是被炸死了吗?怎么会······于此同时,脑中不断有记忆闪现出来,她们是自己的母亲和刚出生的弟弟啊?!不行,先救人。转头看见旁边谁绣花留下的针线跟剪刀,想到自己前世的身手,拿起一根绣花针就朝着那个嬷嬷飞了过去,却在半路上掉落下来,暗骂一声,这人是什么破身体。却引得那两个人听见动静看了过来。女人阴狠的盯着她,“你居然没有死?”微微眯起眼睛,自己的前身也是被她们弄死的了,看样子她们谁也不会放过,抓起旁边的剪刀就冲了过去。随着几声惨叫声,从此以后,府中府外都传遍了她的“美名”——凤家大小姐心肠歹毒,刺伤了府中无数的人,宛如一个疯子。
  • 嫡女棣王妃

    嫡女棣王妃

    “姨娘,夫人似乎断气了~”“哼!这么一碗药都下去了,难道她还能活着不成?”“那这······”一个年纪稍长的人朝着这位称作姨娘的人示意了一下自己手中的婴儿,似乎有些犹豫,“这好歹是个男孩,现在夫人已经死了,如果姨娘把他占为己有,然后得了这府中的中馈······”“嬷嬷?!”女子也不等她的话说完,就打断了她,“你记住了,我恨死了这个女人,她的儿子,只能随着她去,我就是以后自己生不出儿子,抱养别人的,也不会要她的。把他给我扔马桶里面溺了,对外就说一出生就死了!”猩红的嘴唇,吐出来的话却是格外的渗人。嬷嬷还想说什么,动了动嘴,却是一句话也没有说,转身朝着后面放着马桶的地方走去。却是没有发现旁边地上一个穿着有些破旧的衣服的小女孩此刻正瞪大了眼睛看着她们两。这是什么情况?自己不是被炸死了吗?怎么会······于此同时,脑中不断有记忆闪现出来,她们是自己的母亲和刚出生的弟弟啊?!不行,先救人。转头看见旁边谁绣花留下的针线跟剪刀,想到自己前世的身手,拿起一根绣花针就朝着那个嬷嬷飞了过去,却在半路上掉落下来,暗骂一声,这人是什么破身体。却引得那两个人听见动静看了过来。女人阴狠的盯着她,“你居然没有死?”微微眯起眼睛,自己的前身也是被她们弄死的了,看样子她们谁也不会放过,抓起旁边的剪刀就冲了过去。随着几声惨叫声,从此以后,府中府外都传遍了她的“美名”——凤家大小姐心肠歹毒,刺伤了府中无数的人,宛如一个疯子。
  • 晨昏

    晨昏

    她是他天空里的飞鸟,他是她生命里的孤岛。“有我陪着你,什么都不用害怕。”一句话,像是一个魔咒,攥住了两个人的心,注定了三个人的宿命。妖艳的止安是一团火,柔软的止怡是一汪水。纪廷就在这水火之间,辜负了水的温柔,却无法触及火的热烈。或许是可以触及的,只是太过滚烫,所以更多的时候只是远望。如果他不顾一切,那火将焚毁的又岂止是他一个人的身?“你到底是不想,不敢,还是……不行?”“你知道吗,纪廷,我看不起你。”为了报复,也是因为疲惫,止安选择了远离。可逃得越远,也意味着她的不安越深。夜航鸟不停地飞啊飞啊飞,心中的岛屿就在那里,却不敢停下。这才发现自己走得那么急,竟然是因为不敢回头,害怕蓦然回首,再也找不到当初的那个少年。
  • 宝贝儿

    宝贝儿

    温亚军,现为北京武警总部某文学杂志主编。著有长篇小说伪生活等六部,小说集硬雪、驮水的日子等七部。获第三届鲁迅文学奖,第十一届庄重文文学奖,《小说选刊》《中国作家》和《上海文学》等刊物奖,入选中国小说学会排行榜。中国作家协会会员。
  • 动荡年代(1960-1969)

    动荡年代(1960-1969)

    本书讲述了1960年—1969年这一段历史时期内中国近代历史发展的重大事件。记录了中共中央上海会议决定继续“大跃进”,提出四个现代化目标,西藏自治区正式成立,人民解放军参加援越抗美斗争,“文化大革命”,二月抗争等历史事件。
  • 红叶纷飞:命运的归宿

    红叶纷飞:命运的归宿

    十六岁时的构思,十八岁时的写作,生疏的文笔描绘了郑云儿最初的写作。百里芙,一位情窦初开的少女,面对朦胧爱情的抉择,将何去何从?那两把小提琴引领着的两辈人,究竟是何结局?他们的下一代又将怎样呢?<br/>———————<br/>有谁知道命运早已被注定,有谁知晓挣扎只是徒劳,他们的人生不是自己的,只是前世的延续,今世的归结……这是一切的开始,却也是一切的终结。<br/>《红叶纷飞——命运的归宿》是整部《红叶纷飞》系列的第一部,却也是整个系列的结束。&nbsp;&nbsp;&nbsp;&nbsp;
  • 归园田居

    归园田居

    【起点女生网一组B班签约作品】废柴女穿越成土著,前脚被扫地出门,后脚遭婆家鄙夷退婚,途中又逢掳掠调戏雷劈……咬牙挺起小腰板,挥舞无敌小锄头,守贫地,打土豪,斗劣绅,安百姓,治谋略。没事串串门,得闲勾勾人,有钱逛逛街,没钱祸祸人。珍馐腹内藏,积极奔小康,朝登天子堂,暮马战沙场。纵是落尘缘,爱恨权中缠,人生何其浅?把酒笑言欢。权谋与纯真共存的故事,忠诚与背叛驰骋的故事,靡乱与坚贞纠葛的故事……=======灵惜已完结作品《宸后》,欢迎大家评鉴。灵惜读者群:81831554敲门砖是书中任意角色的名字(*^__^*)哇咔咔~~(封面由小无封面铺出品(*^__^*))新书拜求亲们收藏、推荐票、打赏、包养……