登陆注册
2841100000006

第6章 大数据,你还不知道的部分(4)

就像我们在现实中交换电子文档时,不一定靠U盘这种物理距离最近的方式,可能会采取MSN或腾讯QQ之类的即时通讯,因为它的速度更快、更方便,而且人们不会计较这些文件绕经网络服务器是否会被长期扫描和监测。这就是技术优势的巨大作用。

第二,数据传输诱导策略。

美国通过扩大数据传输带宽,可以诱导更多的数据流经本国,从它的家门口过,给它做一系列的数据截留分析工作大开方便之门。越多的数据流经美国,它能做的分析监测就越全面,那么它最终的收益就远远超过了风险。比如美国曾租用中国的卫星来传送数据,以提高非洲跟美国之间的带宽,就是一种付出较小风险获得较大收益的表现。

第三,控制数据通道,从其他数据源快速收集信息。

这一策略包括与电信运营商的合作和对其数据源的监控。例如,联邦政府的海外情报监听法庭要求美国电信运营商(Verizon)每天都要向国安局提交元数据--电话记录数据,包括通话双方号码、通话长度等,虽然不包括通话内容,但已经提交了大部分的个人信息。

第四,通过与民营公司和其他国家建立技术联盟来收集和控制数据。

综上,美国最早意识到了需要加强信息管理与网络安全,而加强的办法就是用政府的手去控制民营企业及其他国家的相关服务商,建立技术联盟。

1978年美国国会通过了《外国情报监视法》(FISA),1986年又通过了《电子通信隐私法》(ECPA),1994年通过了《执法通信辅助法》(CALEA),从而建立起了全方位的保障体系,联邦政府可以从容地对本国及外国进行监听监视。

最重要的部分是与技术巨头有关的,即那些控制互联网的大型公司,在《执法通信辅助法》中规定,执法机关可以根据法院监听令直接接入电信网络,启动电信运营商交换机中的监听功能。这意味着美国法律要求电信运营商等网络、通信服务者必须为政府预留一定的接口以备不时之需。

根据《华盛顿邮报》的披露,在“棱镜”计划中,一共涉及至少9家美国的IT公司,微软是在2007年9月11日第一个加入其中的,苹果公司则是在2012年10月最后一个加入的。另外还包括思科、IBM、谷歌、高通、英特尔、雅虎、脸书和甲骨文等。它们几乎垄断了全球IT产业的所有领域,包含了从硬件到软件再到服务三个层面,自然为美国政府提供了强大的技术支持。

比如,如果你的联网电脑使用英特尔公司提供的某款芯片,就会发送一个序列号到英特尔公司,这也意味着在这台电脑上运行的一些信息也可以同时一并发送过去。另外,操作系统是网络软件运行的载体,联网后我们会经常收到自动更新的提示,这意味着垄断操作系统的微软公司可以轻而易举地掌握一台电脑的网络活动。同时,由于操作系统在不断更新,微软公司通常会最早发现其系统存在的漏洞,他们向政府安全部门提供的漏洞信息,会有助于情报机构攻击那些还没有修补漏洞的计算机。

再比如,人们用雅虎邮箱发邮件,用思科的网络电话通话,用谷歌的地图标注、搜索,用脸书发布社交状态,用MSN即时通讯聊天,所有这些网络活动,都会在各大公司的服务器上留下原始数据,而且还是人们主动提供的信息,自己花钱把信息送上门。

这些公司的服务器是如此之多,它们可以向美国政府开放直接访问的后门,帮助情报部门读取数据,甚至能够全程参与国安局的监控计划。这些大数据的技术巨头,成为了政府收集信息和分析数据的绝好帮手,而这在民众毫不知情的情况下就可以完成。

海外盟友的数据来源包括澳大利亚、英国、日本、加拿大和新西兰等国家,比如著名的“五眼联盟”就是由美国、英国、加拿大、澳大利亚和新西兰五国组成,双方互通有无,协同收集数据。联盟成员甚至可以彼此监听对方国内的数据,绕开本方国内的法律禁区,然后交换数据。第五,建立尽可能多的海外非盟友“数据源”。当然,只有盟友数据源是不够的,美国还有大量的海外非盟友数据源。

比如斯诺登就透露说,为了窃取中国大陆的数据,美国采取的办法是直接在中国境内建立数据源合作伙伴。香港中文大学在1995年成立了香港互联网交换中心,它的前身为港中大连接美国的数据专线,拥有服务于全香港的网络数据交换服务器。美国在这个基础上可以方便地潜入进来,对数据进行窃取。

为数众多的黑客也是这一数据源的提供者,国安局旗下有一个叫作TAO的机构,拥有多达六百名高级黑客,来自世界各地(包括中国)。思科公司提供的设备为这项工作提前留下了后门,尽管思科强烈否认这一质疑,但随着曝光的深入,否认的声音已越来越缺乏说服力。

只要能获得海量的源源不断的数据,美国强有力的大数据存储和分析系统就可以派上用场。

第六,建设大型数据中心来保存数据。

为了保存这些海量数据,还需要一个庞大的数据库和处理中心。NSA在犹他州耗资20亿美元建立了一个大型的数据中心,足以保存5000亿G的数据,相当于全球500年的通讯量。为了实现这一目标,NSA专门开发了一个叫作Accumulo的大数据存储系统,并与相关的有军方背景的民用公司合作,开发这一系统的商用版本,来持续获取数据利益。

第七,对元数据的挖掘技术,使美国有能力构筑关联图谱。

元数据是最基本的数据单位,在移动互联网快速发展的今天,我们每个人几乎每时每刻都在产生数据。比如姓名、电话号码、邮箱地址这些都可以称为元数据,它可以拿来当作节点,把有过联系的人、号码、邮箱用线连接起来,就构成了数据和信息背后的人物关联图谱。这表明,元数据虽然单个看起来不怎么重要,但大量集中起来,却非常便于构建个体之间的关联。再比如,对电脑来说,元数据记录了一台计算机的工作环境,包括操作系统、浏览器、应用软件版本等基本信息,那么收集这些元数据,则是黑客发起网络攻击的必备步骤。对元数据的收集与分析能力,说明美国的网络监控水平已经具备了大数据时代的显著特征。有了这种对海量元数据的存储与分析能力之后,这些庞杂的信息经过超级计算机的快速运算,就能从中显露出不易察觉的规律,从而为情报部门提供有效的情报信息。在大数据时代,美国对于关联图谱的挖掘技术进展迅猛,使得从元数据中能够挖掘的隐私越来越多,简直到了无孔不入的地步。换句话说,现有的技术可以做到一切:侦测到你每天发送的短信数量、电话频率以及约会对象,并且深入地探查出你的全部生活和工作习惯,让你成为一个彻底透明的人。

一项调查显示,美国国安局拥有一个4.4万亿个节点、70万亿条相关联的图谱数据。按照全球70亿人口计算,国安局有能力为每人保存将近630种信息,可以分析出每个人多达1万种的关联。要知道,我们只需要4个时间点和位置就可以确定一个人的身份了,而且准确性已经高达95%,那么1万种呢?这一技术的先进程度已超出普通人的想象,相关的技术告诉我们,即使你已隐姓埋名、流落天涯,只要他们有这个意愿,就可以轻松地找到你,并能穷尽你的一切社会关系,甚至比你自己知道的还要多。

第八,强大的分析工具:可视化和实时查询的大数据系统。

美国国安局还拥有一套大数据可视化和实时查询系统,名字叫作BoundlessInformant。它的作用在于将监听、收集到的全球数据进行可视化和能够实时查询的分类,把不同的国家、地区用不同的颜色显示,构建出全球信息分布图。有了这样的大数据系统后,就具备了强大的分析能力,不管收集到多少数据,都可以轻松地整理、归类、分析和预测。

第九,拥有全数据挖掘技术,进行“无死角”数据收集。

美国一方面在挖掘元数据,另一方面也在发展对全数据的收集技术,争取做到数据收集无死角。像有一种叫作Narus的光纤监听设备,可以进行内容层监控,还有一种叫作爱因斯坦3号(Einstein3)的系统,可以对数十亿邮件的全文内容进行扫描。语音监听和识别也是这一工作的组成部分,对多语种的语音视频内容进行分析辨别。

第十,为全球互联网的发展提供了可能性。

我们已经很难用一个特定的词汇来形容全球互联网的结构。但它的主要构成特点我们是清楚的,一方面它就像树一样,有根、主干和枝蔓,最后连接到每一个用户;另一方面它又是平状的,具有平等和无中心的特点,每一个节点的信息都可以在全球的网络中自由流通。也就是说从信息流通来看,互联网是一个扁平的世界,但在管理上,却仍然是自上而下的结构,有骨干网络来处理、管理所有的信息。

例如在中国,163和169骨干网承担着中国80%以上的网络数据流量,它们统称为中国公用计算机互联网(CHINANET),另外还有中国教育和科研计算机网(CERNET),全国科研机构的中国科技网(CSTNET),中国金桥信息网(CHINAGBN)。它们共同组成了由上到下的中国四大骨干网络。从网络监控和攻击的角度来说,自然是从上往下更好,这有利于获取更多的信息,也拥有更大的控制权限。

从棱镜门事件我们可以看到,由于具备足够的资金、技术和不受限制的权力,较大的机构是大数据的最大受益者,它们可以窥探个体的信息和收集、预测人们的关联数据,达到控制人们需求并实现一系列组织计划的目的。要想充分防范大数据技术的滥用,就需要发挥我们每一个人的创造性,由人去主导大数据的进程,而不是成为数据可以控制的一部分。

我们每个普通人都需要参与进来,思考大数据技术的合理开发,并加入这个神奇的新时代,成为它的主人。

同类推荐
  • 小资本起家

    小资本起家

    本书是一本教导你如何开始创业的书。作者是一位白手起家、创业成功者。他以丰富的亲身经验提供经营小企业应注意的要点,包括资金、人才、服务、市场定位等实用的观念与技巧,全书洋溢着蓬勃的生命力,并具有极高的操作性和实用性。
  • 管理管到位

    管理管到位

    国内外的强势企业都是在管理方法和管理技巧的细枝末节上下过很大功夫的、比拼出来的。企业靠一个想法,靠一种简单的管理就能做大,就能挣大钱的想法是极其幼稚的。正是不注意管理的细节,管理不到位,忽视一些管理上的小问题,导致了二十多年间,许多企业如过江之鲫,风起云涌,转眼之间又销声匿迹。管理是一门学问,管到位更能显出管理者的水平和方法。管理的办法,不光在制订制度、规章上,还在实行严格有序及到位的措施上。只有通过管理者切实到位的管理和整治,企业才能做大事,赚大钱。
  • 执行力组织

    执行力组织

    “落实企业执行力,创造永续价值”不只是另一个热门议题,事实上,这是经得起时间考验的企业成功关键。对于价值这个向来难以捉摸的议题,本书提出当今最彻底的组织结构设计要领,告诉你如何评量组织绩效与奖酬制度的实施;如何透过决策权的分派,创造和掌握企业价值,以及在追求价值中怎样制订公司整体战略的方向与规划。更确切地说,这本全方位的书不只着重在单一方面或战略,而是详尽介绍会影响执行力付诸行动,尤其是组织结构对于价值创造的所有关键。
  • 舒化鲁说:管理学十大公理:规范化管理的基础理论图解

    舒化鲁说:管理学十大公理:规范化管理的基础理论图解

    对于管理学公理体系的研究,似乎还是从未有人涉猎过的处女地。可能也正是这一课题无人涉猎,不能不说是管理学成为独立学科的100年之后,其科学性仍然被质疑的一个原因。管理学究竟是科学,还是艺术,过一段时间总会有人提出来讨论一番。这实在是管理学的悲哀,也是管理学者的悲哀。管理的实施,是从权力的运用开始的,对于手握大权的人,他可能丝毫不在乎管理学是科学,还是艺术,他运用权力能达成他想达成的目的就足矣。但相对于管理学的研究人员而言,不解答这一问题,其所涉足的立足点就无法确定,管理学的研究也就不免范畴不清,界限不明,公说公有理,婆说婆有理。
  • 销售的妙计

    销售的妙计

    销售的世界,是神秘的也是透明的。神秘是因为有许多销售人员不知道怎么才能做好销售,他们努力了,结果却总让人伤心,得到的跟付出的不成正比。透明是因为在当今信息爆炸的年代,你的客户都是公开的,你的业绩也是透明的。在销售工作中,许多人认为销售只要能吃苦、能说、能跑就可以了,遵循着这个传统的销售法则,很多销售人员迷失了自己,在一条错误的路线下。仍旧辛苦地奔跑。然而这条路是没有尽头的,付出的辛苦还不知道有没有回报。
热门推荐
  • 嫡女棣王妃

    嫡女棣王妃

    “姨娘,夫人似乎断气了~”“哼!这么一碗药都下去了,难道她还能活着不成?”“那这······”一个年纪稍长的人朝着这位称作姨娘的人示意了一下自己手中的婴儿,似乎有些犹豫,“这好歹是个男孩,现在夫人已经死了,如果姨娘把他占为己有,然后得了这府中的中馈······”“嬷嬷?!”女子也不等她的话说完,就打断了她,“你记住了,我恨死了这个女人,她的儿子,只能随着她去,我就是以后自己生不出儿子,抱养别人的,也不会要她的。把他给我扔马桶里面溺了,对外就说一出生就死了!”猩红的嘴唇,吐出来的话却是格外的渗人。嬷嬷还想说什么,动了动嘴,却是一句话也没有说,转身朝着后面放着马桶的地方走去。却是没有发现旁边地上一个穿着有些破旧的衣服的小女孩此刻正瞪大了眼睛看着她们两。这是什么情况?自己不是被炸死了吗?怎么会······于此同时,脑中不断有记忆闪现出来,她们是自己的母亲和刚出生的弟弟啊?!不行,先救人。转头看见旁边谁绣花留下的针线跟剪刀,想到自己前世的身手,拿起一根绣花针就朝着那个嬷嬷飞了过去,却在半路上掉落下来,暗骂一声,这人是什么破身体。却引得那两个人听见动静看了过来。女人阴狠的盯着她,“你居然没有死?”微微眯起眼睛,自己的前身也是被她们弄死的了,看样子她们谁也不会放过,抓起旁边的剪刀就冲了过去。随着几声惨叫声,从此以后,府中府外都传遍了她的“美名”——凤家大小姐心肠歹毒,刺伤了府中无数的人,宛如一个疯子。
  • 绝代魔妃

    绝代魔妃

    【今生】冷凌依,冷家的废材四小姐,生性懦弱无能,胸大无脑。与青月帝国蓝家公子蓝泽宇订婚,却爱慕慕容绝。后因为姐姐冷凌月的挑唆而被父亲赶出家门发配边疆。然而,梦中醒来,她却不再是她……初生的她,光芒万丈,血契超圣兽,灭四大家族,报血海深仇。她一袭红衣,一张面具,一把染满鲜血的长剑便让人闻风丧胆。此后,那个废材小姐就此消失,取而代之的是一个毋庸置疑的王者。从此,这天下无人再敢伤她毫发,从此,泱泱大陆被她踩在脚底……【前世】云穹,神魔大陆唯一一个兼修战气和魔力的人,却用尽自己所有功力封住她的一魂一魄,等待千年只为换回一面之缘。他为她撑起前面的路,却换来了她内心的芥蒂。前世,他是她最爱的人,是她生命中的所有。今生,他当着天下人说守护她一生一世,她却迟疑了……***她说,得罪我的人都得死。她说,这泱泱大陆想要我死的人比比皆是,一旦你决定动手,就要有十成把握,如若我死了,便给你天下太平,如若我活着,便要你鸡犬不宁。她说,我来的那天便一无所有,所以,我将会夺回那些原本应当属于我的东西。她说,从你们决定跟随我的那一天起,就已经注定了生亦同生,死亦同死!她说,这天下,我无所畏惧,独独害怕失去你……***他说,冷凌依,不管这天下人怎么看你,我会一直守护你。如若这天下人叛你,我便负了整个天下。他说,对不起,我不介意自己怎么样,唯独你不能受伤……他说,我曾经失去过你一次,这次断断不会再让这样的事发生第二次……
  • 超级豪门:鉴宝女王

    超级豪门:鉴宝女王

    豪门千金,身怀通灵玉体,鉴宝之术冠绝玉石界。小三上位的继母,对家产虎视眈眈的黑手,都给本小姐等着!吃了她的就要吐出来,欠了她的就要还回来!她是真正光彩夺目的鉴宝女王! 新书古修大佬的现代生活,大家支持一下,投个推荐票,谢谢
  • 重生之大地主传奇

    重生之大地主传奇

    一个从三流大学毕业的人,在经历了一系列的事件后,带着一个可成长的空间回到了大一,历经坎坷,随着空间的成长,主角也成长为一个让人仰视的人物,最终走出地球,冲向宇宙,创造了一个不朽的传奇……
  • 惊天

    惊天

    历经风雨,身死道消,一缕残魂回归少年,重沓仙路 我是天才,对不起,天才是拿来被踩! 我有神兽,不好意思,我家的神兽多的可以打酱油。 我家学渊博,财富如海,嘿嘿,龙王迷藏,道祖宝藏,三清神藏,好像都到手了吧,至于小毛神的,想去了就去,总不能都给扫荡光了吧。 人生的茶几上,总是摆满杯具,不同是的,前世的是自己,今生的是别人。 无量天尊,别人倒霉,总比自己倒霉了好。
  • 网游之橙萌厚爱

    网游之橙萌厚爱

    因为心里装着你,所以沿途风景如此美好。这已经是一个十分老土的哲理了。其实这就是个在讲述什么叫做“一日夫妻百日恩,日白夫妻靠脚蹬”的逗逼故事。
  • 悠悠子衿

    悠悠子衿

    谁说人死不能复生她莫悠悠不但活回来了,而且活得风生水起欧阳子衿看着这个酷似他已经死了三年的前妻的女人心里百味杂陈是老天垂怜,还是他开的另一个玩笑?但悠悠却没想到,三年没见,他竟然会变成这样,这不就是活脱脱另外一个秦晟么曾经那个站在云端的欧阳子衿,何以如今身处泥沼,为她?还是为谁?当一切大白于天下之后,有太多羁绊的他们,要分还是要和?他们早已经冷却的心,还能经过拥抱温暖起来么谁说市委书记的公子就算梅开三度也一定要娶漂亮能干,还要身材好的女人他不但要娶一个二婚的女人,还要连她的孩子一起娶了,反正都是他的“爸爸,你要先酱酱,然后再酿酿,保证妈妈一定会乖乖听话的”小凡凡伸出肥嘟嘟的小手挡住小嘴,传授对付女人的妙方欧阳子衿哭笑不得,酱酱是什么,酿酿又是什么难道他真的已经惨到要靠个毛头小子教他怎么对付女人么可是最后,民政的人说,他和悠悠有在法律上有兄妹关系,不给领证这老天是要玩死谁?预知后事如何,请亲耐心阅读!****************号称一夜七次郎的土匪,受过严苛的教育的世家小姐,他们相遇,会发生什么样的故事?《门楣怨:土匪老公请自重》一部讲述一段凄美爱情的故事,希望大家会喜欢!***********************************************************
  • 凤仪天下:菲雪情丝

    凤仪天下:菲雪情丝

    “为什么人家穿越就是皇后,宠妃,锦衣玉食,而我却倒霉的穿越到了死囚的身上,为什么?”“这倒霉的皇帝居然让我给他跳脱衣舞?”“既然你选择不相信我,那么我又有何留恋呢?”“爱真的是让人遍体鳞伤的东西!”“带我走吧,只要离开这里,我愿意付出一切的代价!”……“为什么再次遇到你,我的心会疼呢?”“贱人,你给我记住,你生是我的人,死也是我的鬼!”“别走,我知道我不够好,只要你提出,我愿意,真的愿意为你改变!”……
  • 风流云散

    风流云散

    小说以主人公王英俊六十寿庆个人演唱会为轴线,通过十八首歌曲,串联起他六十年的风雨人生和心路历程。特别是通过他与几个女人的爱情纠葛和恩怨情谊,表现出他在不同历史时期的情感经历和人生际遇。
  • 世界上最伟大的演说辞

    世界上最伟大的演说辞

    总有一些伟大的声音能够长久地萦绕在人类前行的队伍上空,或激昂、或委婉、或充满斗志、或弥漫着浓重的个人情感。而所有的这些都倾注了演讲者的智慧与心血。聆听伟人精彩的演讲,如一杯好茶,馨香萦绕,久久不忘。