登陆注册
2841100000019

第19章 大数据与技术变革(3)

亚马逊当时的技术人员格雷格·林登思考之后,想出了一个解决方法:其实,根本没有必要将不同的用户进行比较,我们只需要找到产品之间的关联。这样的推荐方式可以提前分析产品之间的关系,所以推荐速度非常快,适用于不同产品,甚至可以跨界推荐商品。

林登说:“书评团队被打败、被解散,我对此感到非常难过。但是,数据没有说谎,人工评论的成本是非常高的。”

他将书评家带来的销售量和推荐系统产生的营销业绩进行了比较,发现推荐系统带来的商品销量远远高于书评家,这个销量比较数据直接影响了亚马逊解散书评组,而由推荐系统取代他们来推荐更可能受用户欢迎的产品。

在亚马逊的带领下,越来越多的公司开始使用这种个性化推荐系统,迅速推动了电子商务的发展。而这种基于海量数据的推荐,也是大数据早期运用的一种形式。

☆大数据是实现个性化的基础

事实上,要实现个性化的商业模式,充足的数据是其必不可少的基础。没有海量的数据,个性化也无从谈起;没有海量的数据,我们甚至连小部分用户的个性也很难总结,更不用说多数用户。

不知道你是否听过“啤酒和尿布”的经典故事。在超市里,尿布要摆在啤酒旁边才能卖得好,这也正是在深入分析大众需求的基础上得出的结论。这样的“规律”安静地隐藏在数据中,它一言不发,只等人们自己发现。我们总是需要深挖,才能让它们浮出水面。

然而大数据相对于传统的数据挖掘更进一步。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万之间的关联。……大数据具有如下特点:数据量大、数据种类多、数据之间有潜在关联、速度快、时效高。

无所不在的数据、无处不在的网络和大规模分布式的存储和运算能力(云计算),忠实地记录了我们的衣、食、住、行及社交状态。现在,人类一天创造的数据相当于2000年一年的数据量。

你是否每天会在微博、微信、人人网之类的网站上发布信息?一分钟内,微博上新发的微博超过10万;社交网站Facebook的浏览量超过600万……整个互联网的用户和所有的商品本身就是一个足够大的数据空间,加上空间、时间、天气等等潜在相关因素,想要知道每个用户的喜好,所需要的数据量是巨大的。数据越多,对于用户的理解越精准,但同时分析的难度也就越大。

☆互联网大数据处理的技术挑战

事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。

然而,处理互联网大数据充满挑战,正如上文所提到的,数据如此之多,如此之庞杂,如何才能够有效地找到数据之间的关联,如何才能充分利用大数据以期实现个性化的需要,都是我们每一个人需要思考的问题。

我们首先要明确的是,处理大数据需要具备哪些能力。为使消费数据的速度赶超生成数据的速度,拥有足够的计算资源是必要条件。而大数据处理的核心能力为具有高水平的计算框架、稳定的程序设计以及精准的算法。而这些能力则需要专业的计算机技术人才来实现。

其次便是时效性。用户生成数据的速度是非常之快的。如何才能及时感知到这些有效数据,在用户下一次操作前做出有效的响应,最终给用户带来便捷?这样的时效性要求计算机系统能够以数据流的方式来运转,最终导致系统采用与传统批量大数据处理截然不同的技术方案。

最后,为了更大程度地满足个性化需求,还必须具有足够强大的定制能力。尽管单个用户的定制需求可能很小,但用户数量巨大,定制需求迥异,如何才能够及时有效地满足每一位用户的需求呢?这就需要有像数据库SQL语言(结构化查询语言)那样给用户足够多的自由,使再小的需求通过简单的操作就能满足。这样的定制能力要在数据的存储、运算、查询、展现等多方面都有体现。

☆阿里云的解决之道--云推荐

不论是收集大数据的计算和存储能力,还是处理个性化问题所需要的实时计算和算法技术,对于网站站长和开发者而言都是不容易快速得到解决的问题。听说过“云”的概念吗?它相当于把每一位用户生成的数据内容存储到一个大的存储器中,再根据用户的需求从“云端”下载,比如现在非常流行的“云电视”、“云储存”、“云服务”等。阿里云正试图通过云端服务来降低个性化服务的门槛,使更多网站站长和开发者能够低成本享有自己的个性化服务,其中云推荐便是一个典型。

什么是云推荐呢?举一个最简单的例子来说,如果某网站是介绍美食菜谱的,用户在浏览某种菜或者是汤的制作方法时,如果能够有些相关菜谱的推荐,那么便可以让用户在网站内停留更多时间,访问更多内容。

云推荐又该如何实现呢?事实上,有多种方式可以找到用户感兴趣的内容:

第一,从用户访问日志里面发现。每一位用户都会产生浏览记录,云推荐通过对用户浏览记录数据的科学分析,推荐一系列的相关内容。

第二,可以把网站里面其他热门的菜谱推荐出来,对不同网站相同的内容进行整合与链接。

第三,寻找不同种类的内容,假如用户在浏览某类汤的做法,那么可以推荐一些某类饭菜的做法。

然而,要实现这样的推荐,传统的做法需要大量的人工编辑工作。既不能做到即时,也很难保证好的效果。一个精准的推荐模型,必须对该方法本身的整体效果以及用户对各种推荐方法结果的偏好作出一个综合的评估,这样才能找到适合每一个用户的精准推荐模型,最终让用户享受到推荐展位“千人千面”的个性化服务。

那么,普通人可以使用云推荐服务吗?可以的。如果你也想尝试一下,只需在云推荐网站注册申请,得到一个十位应用ID,如“1000001234”,并将系统生成的代码内嵌在网页代码中便可以得到个性化推荐结果。这个过程一般一分钟即可完成。

随后的事情,当然就要交给云端系统了。它会开始对网站进行深度分析,还会持续根据展现的点击效果自动调整推荐方法的模型和权重。

在云推荐的管理界面里,网站开发人员可以定制推荐位置大小、推荐内容条目数、URL范围、展现形式等参数。网站站长还能看到推荐展位的点击情况,并根据建议适当调整推荐位置参数以改善效果。

如果你是专业的网站运营和管理人员,那么你要知道,云推荐服务还针对主流建站工具Wordpress等提供插件支持。开发人员在安装插件之后,即可在工具管理界面来操作并管理云推荐的各项功能。根据后台统计,网站启用云推荐后的整体流量会提升10%。这样的个性化服务让人感觉就像是钱存银行能拿到利息一样,是大数据魅力的展现。相信随着数据的不断积累及用户数量的累积,个性化服务在大数据时代能给人带来的远不止10%流量提升这样的惊喜!

现在,你也许能够理解云推荐背后的奥秘了,它的基础仍旧是每一位用户生成的数据,你浏览的什么网站,在网上发布了什么东西,或者点了某篇文章,都是海量数据的基础。正如海纳百川的道理一样,数以万计的网民产生的数据汇聚到一起,就成为“大数据”。它的本质是如此透明,但又是这么巨大。

只要通过专业的分析软件,把大数据分析、整合、利用,最后就会成为每一位用户所看到的“猜你喜欢”。这个时候,想必你已经不再感到惊讶了。秘密就是这么简单!

☆个性化真的安全吗?

每一件事情有好的一面,就有不好的一面。大数据也是如此,无论它发展出多么奇妙的应用和提供多么方便的功能,它都有需要我们规避与纠正的弊端。

让你印象最深刻的一定是隐私。大数据在大大方便了我们的生活的同时,也在严重威胁着我们的个人隐私。一方面,我们不得不使用网络,但另一方面,我们又害怕自己的隐私被毫不遮掩地暴露。“棱镜门”事件让我们重新思考大数据下的安全问题。随着“棱镜门”的发酵,大家惊讶地发现,美国的网络监控已经在大数据盛行的今天走得那么远,将世界各国都抛在了后面。

同时还有根服务器的问题。在1969年,美国西南部的4所大学--加州大学洛杉矶分校、斯坦福大学研究院、加州大学、犹他州大学的4台主要计算机连接起来,这就是最早的互联网。目前,中国互联网用户已突破5亿,全球排名第一,但主要用来管理互联网主目录的根服务器全世界共13台,1台主根服务器仍然在美国,其余12台辅根服务器9台在美国,没有1台在中国。

美国的互联网用户数量还不到我国的一半,但网络主机数量是中国的28倍。在美国控制了多数根服务器的前提下,中国的网络安全堪忧。这也是个性化存在风险的决定性因素之一,因为我们无法控制现状,就像一个人被掐住了脖子一样。

前有传媒大亨默多克的《太阳报》因为窃听丑闻而关闭,后有斯诺登事件的发生,这些都在考验着我们着实堪忧的网络环境。所以,每一个人心里都有一个问号,大数据环境下的网络安全吗?我们的隐私还是隐私吗?如何才能安全地使用互联网,在大数据的使用和用户隐私之间找到一个平衡点,是我们需要进一步思考的问题。

同类推荐
  • 摩根财团之皮尔庞特的隐权力

    摩根财团之皮尔庞特的隐权力

    讲述摩根财团的发家史,就是皮尔庞特的成神史。乔治·皮博迪,这个伟大的吝啬鬼,他做为罗斯柴尔德的秘密合作者为摩根财团的发展奠定了基础。朱尼厄斯让“摩根”成为了这个伟大财团的名字,绅士的他却因一局豪赌,给摩根插上了飞翔之翅。皮尔庞特不是一个遵规蹈距的继承者,他率性而自由,在他眼里,没有什么是不能突破的,唯一可以相信的只有自己的直觉。凭借他的“鲁莽”,摩根财团成为华尔街的当然王者,成为众多行业的规则制定者,成为金融风暴中屹立不倒的中流砥柱,那一刻,政府只是一个背景,总统只是一个仆人……
  • 每天学点领导学大全集(超值金版)

    每天学点领导学大全集(超值金版)

    伟人说:“读书是学习,使用也是学习,而且是更重要的学习。”好的书籍是智慧的结晶,如同良师益友,它既教你做人,也教你做事。周一波编著的《每天学点领导学大全集(超值金版)》是您学习领导学的良师益友。领导者应该具备的素质,领导者的领兵技术,领导者运筹帷幄的能力,以及领导者刚柔相济的艺术,等等,都是《每天学点领导学大全集(超值金版)》探讨的重点,它深入浅出地讲述如何成为一个优秀的领导者,即使您现在是一个初学者,一个渴望掌握领导能力的普通人,你也能从中挖掘金子,助你成为一个领导者。
  • 总经理打理公司要懂的200条锦囊妙计

    总经理打理公司要懂的200条锦囊妙计

    本书深刻地剖析了总经理打理公司所需要具备的个人素养和管理金律,学会让公司精于竞争的提升之道,就会与成功更近。给总经理们提供了最具代表性、最具说服力、最具实战性的200条经验锦囊妙计。将成功的企业以及企业家的智慧与大家分享,掌握令公司在激烈竞争中生存下来的顽强能力。融深刻的哲理和切实可行的操作方法于一体,站在巨人的肩膀上眺望成功,总经理们可以在畅快淋漓地饱览公司发展经典实例的同时,让众多的总经理在打理公司的过程中走得更轻松、更踏实
  • 《西游记》原来是本这么好看的管理书

    《西游记》原来是本这么好看的管理书

    本书以古典演义和现代管理相结合的方式,全新解读古典名著《西游记》,帮助企业获取管理的真经。西游团队从组建到取得真经的历程,就像一个企业从建立到发展,从执行到实现目标的全过程。从中,我们学习到团队运营、领导艺术、员工激励等管理之道。全书幽默不失灼见,浅显却富有深意。因此本书既是管理者修炼的必备手册,也是员工提升自我的指南书。
  • 被领导的艺术

    被领导的艺术

    任何一个人,不管在什么行业,担任什么职位,都同时充当领导者和被领导者两种角色,但是平日里往往将领导艺术摆在第一位,忽视了被领导的艺术。每一个人,几乎都在领导别人的同时接受别人的领导,所以我们最好先学习如何接受领导,然后才能懂得如何领导别人。因为只有学会被领导的艺术才能当好领导者。本书从做有准备的被领导者、与领导建立和谐关系、领会领导的真实意图、获得授权时做好本分等多个方面,运用心理学、处世哲学、管理艺术、领导学等领域知识,通俗、细致、独到地讲解了被领导的艺术和智慧。这是曾仕强教授首次系统讲授被领导的智慧,是领导者和被领导者必学的一门新课。
热门推荐
  • 工作再苦也要笑一笑

    工作再苦也要笑一笑

    这是一本让你从心理走向成熟和强大的读物。如果你能够笑看职场风云,笑对人际纷争,那么你不仅能够做到真正的超然物外,而且还能获得意想不到的成功。《工作再苦也要笑一笑(最新实用版)》总结了让职场人士感觉痛苦的八个来源。并分别给出了解决的方案和正确应对的方法:职业规划缺失带来的痛苦、求职技巧匮乏带来的痛苦、职场经验不足带来的痛苦、薪酬待遇不如意带来的痛苦、不善于应对人际关系带来的痛苦、职场“过劳”带来的痛苦、跳槽转型带来的痛苦、维护工作权利带来的痛苦
  • 无敌大小姐

    无敌大小姐

    当现代阴狠毒辣,手段极多的火家大小姐火无情,穿越到一个好色如命,花痴草包大小姐身上,会发生怎样的化学反应?火无情一醒过来就发现,自己竟然在众目睽睽之下上演脱衣秀。周围还有一群围观者。这一发现,让她极为不爽。刚刚穿好衣服,便看到一个声称是自家老头的老不死气势汹汹的跑来问罪。刚上来,就要打她。这还得了?她火无情从生自死,都是王者。敢动她的人,都在和阎王喝茶。于是,她一怒之下,打了老爹。众人皆道:火家小姐阴狠毒辣,竟然连老爹都不放在眼里。就这样,她的罪名又多了一条。蛇蝎美人。穿越后,火无情的麻烦不断。第一天,打了爹。第二天,毁了姐姐的容。第三天,骂了二娘。第四天,当众轻薄了天下第一公子。第五天,火家贴出招亲启事:但凡愿意娶火家大小姐者,皆可去火府报名。来者不限。不怕死,不想活的,欢迎前来。警示:但凡来此,生死皆与火家无关。若有残病者火家一律不负法律责任。本以为无人敢到,岂料是桃花朵朵。美男个个很妖娆一号美人:火无炎。火家大少爷。为人不清楚,手段不清楚。容貌不清楚。唯一清楚的是,他有钱。有多多的钱。火无情语录:钱是好东西。娶了。(此美男,由美瞳掩饰不了你眼神的空洞领养。)火老爷一气之下,昏了过去。家门不幸,家门不幸啊。二号美人:竹清月。江湖人称天上神仙,地上无月。大国师一枚。美得惊天动地。火无情语录:美人好,尤其是自带嫁妆又会预测未来的美人,娶了。(此美男,由东de琳琳领养)三号美人:轩辕子玉。当朝七皇子,游历四国。一张可爱无敌的脸。单纯至极。火无情语录:可爱的孩子好,可爱又乖巧的孩子更好。可爱乖巧又不用给钱的孩子,娶了。(此美男,由刘千绮领养)皇帝听闻,两眼一抹黑。他的儿啊。怎么就这么不争气呢。四号美人:天下第一美男。性格不详,籍贯不详。火无情语录:谜一样的美人,她喜欢。每天都有新鲜感。娶了。(此美男,由告别的爱情li领养。)五号美人:天下第一名伶。火无情语录:解风情的美男,如果没钱花把他卖了都不用调教。娶了。(此美男由伊眸领养。)六号美男:解忧楼楼主。相貌不详,身世不详。爱好杀人。火无情语录:凶恶的美人,她喜欢。娶了。(此美男由陈铭铭领养)七号美男:琴圣。貌如谪仙,琴音杀人。冷清眸子中,百转千回,说尽风流。(此美男由伊眸领养)夜杀:天下第一杀手。(此美男由静寂之夜领养)
  • 重生渔家女

    重生渔家女

    小鱼觉得,穿越不可怕,重生不可怕,可怕的是一穷二白,随时担心会饿死。她重生在渔村,家中亲戚一大堆,穷的穷,抠的抠,最厉害的不是赚银子,而是嘴刻薄,让人哭笑不得,都是穷给闹的。渔船落后,地少人多,穷的还真没话说。看她一个渔家女,怎么翻手赚钱子,覆手抢银子。--情节虚构,请勿模仿
  • 良跃农门

    良跃农门

    还魂在另一个世界,过气窑姐,病重不治,万般祈求之下,老鸨同意让她脱籍回家,让她一家团圆,让她能安葬故土,了无牵挂。回归田园乡村,有爹娘兄弟疼着,身体状况渐佳。娘说,她还是要选个好男人嫁……是嫁人还是不嫁人?嫁汉嫁汉,穿衣吃饭。有油盐酱醋一柜,鸡鸭猪兔一舍,无良亲戚三两碗,旧怨新恨一大锅。名声的问题,清誉的问题,世俗的眼光,还有婆家人的态度,都是她必须正视且郑重对待的。“前半生,我身不由己。后半生,我靠我自己。”加油吧,李欣同学。
  • 尸心不改

    尸心不改

    控尸门的欢乐二缺弟子江篱炼了一具美得人神共愤引得天雷阵阵的男尸,以为好日子开始了,结果没想到门派惨遭灭门。--情节虚构,请勿模仿
  • 梦三生·永劫之花

    梦三生·永劫之花

    东陆大赵帝国末年,皇室与权臣宁家产生权力之争。受宁家胁迫的少女家主燕莲见,在远行中偶遇金发少年沉羽。他动人的情话、诚挚的爱慕,让背负着家族荣辱的燕莲见享受到一段欢愉时光。而身逢乱世,无人躲得过命运的残忍捉弄,曾经无忧的沉羽成为燕莲见致命的对手。战场上,一对恋人再次相逢,竟要遭遇一场必须手刃对方的生死诀别!两军对垒,青丝隐于盔甲,倾世容颜无人可辨。烽烟烈烈中,是谁先催动战马踏破青梅之约?又是谁先挥剑斩断海誓山盟?最后的最后,是谁失去了钟爱之人,却君临天下……
  • 全世界都喜欢九九

    全世界都喜欢九九

    九尾天狐琉琅挥舞着洁白如雪的毛绒绒的尾巴,双手合十,冲着星光遍布的星空祈祷:神啊,拜托让我找到传说比我还美丽的人神共愤的妖帝吗!身为绝色倾城艳丽无双兼是面痴的他已经找的快要自杀了!美的人神共愤的太古妖帝霸气十足兼拎着一个巨大的喇叭喊道:九九,快点找全我的身体,本帝很心焦啊,本帝已经甩楼跳卖了。九九非常认真的的看着虚无缥缈的天空,然后,无奈的道:我也想求包养啊!“九九,那妖帝太远了,不如,跟我吧?”身为九九师傅的莫寻天努力的跳脚。“还有我呢!”惜色不甘示弱,他也有存在感!
  • 耗子赖上小仙女:痴心绝对

    耗子赖上小仙女:痴心绝对

    【原创作者社团『未央』出品】五百年的修炼只为再睹仙姿,五百年来我日夜守候在紫梦湖畔,却意外得知被我咬到的小仙女被贬人间……我到人间寻找小仙女,她就早已被我烙下终于找到了我的小仙女。五百年前一咬定情,五百年后我要以融化你寂寞的仙魂……
  • 明治天皇:孝明帝驾崩卷(下册)

    明治天皇:孝明帝驾崩卷(下册)

    《明治天皇》再现了日本从幕末走向明治维新的历史变革,以优美的文笔,宏大的场景,详细描绘了日本近代决定国运的倒幕运动的整个过程。本书塑造了一个个鲜活的日本近代史人物形象,以及他们的坚定信念,对“安政大狱”、“樱田门之变”等重大历史事件的描述详实生动,是一部了解近代日本不可多得的佳作。
  • 毒妃狠绝色

    毒妃狠绝色

    杜家嫡女,嫁入燕王府为妃。十月怀胎,一朝产子,却被害身死。七年结发夫妻,敌不过美人两滴泪。只落得断手剜目,母子同赴黄泉!重生于十年前最重要的那个夜晚。她才终于明白,前世所有天灾皆是人祸!杀人偿命,欠债还钱!杜蘅对天发誓,要以牙还牙,以眼还眼!前世承受的所有苦痛折磨,必将百倍千倍还之!所有欺辱她之人,必将踏于脚下,誓死诛之!庶母心机深,老太太脾气大,庶姐庶妹个个不是省油的灯。头上有婆婆,背后有小姑,丫环都成加强连了。她步步筹谋,在后宅,在深宫,在前朝。斗庶母,斗姐妹,斗大伯小叔,斗妯娌小姑,斗宫妃权臣……后宫三千,深宅五百,大院子鸡飞狗跳,众女子各领风骚!PS:简介无能者飘过,大家看正文。。。推荐姐妹酒微醺新文:《重生狠角色——傲凰》,精彩不容错过。http://m.pgsk.com/a/673194/