它几乎无所不能，全天候监视所有人的行踪，聪明地预测出谁是危险分子，谁会遭遇不测……美国政府用它攻击恐怖分子，开发者则用它拯救普通人，这是美剧《疑犯追踪》里的“神器”。这真的只是一部科幻剧吗？
美国国家安全局(NSA )在现实中运作的“棱镜系统”，时时刻刻监听和分析本土及海外的数据，其曝光则更像是一部好莱坞电影：29岁雇员斯诺登，电脑怪才，模样俊俏，为中情局服务过，在夏威夷有火辣女友陪伴，却突然人间蒸发，之后爆料引发全球哗然。
从技术角度看，棱镜是正宗的大数据武器。虽然还不如《疑犯追踪》里的机器万能，但足以让大家担心个体隐私不保。人们更害怕政府拥有大数据后，权力和能力膨胀，必然滋生腐败。但纽约时报的评论也指斯诺登缺少组织纪律，是原子化的行为，破坏了社会组织的契约精神和正常运转。
孰是孰非，何去何从？
大数据武器 数据如万川归海途经美国，山姆大叔便可架网捞鱼。它靠强大的数据通路和丰富的数据源收集大数据
曝光的资料显示，有多个项目与棱镜数据收集有关：比如从互联网骨干枢纽收集数据的布拉尼(BLARNEY)计划，从光纤网收集数据的上游(UP-STREAM )计划等。考虑到软件系统通常都是对接后集成使用，我们将其当做整体来讨论。
棱镜项目得益于这样的现实：大量数据舍弃物理意义上最直接的路线，取道美国。
美国有全球电信最骨干的网络。棱镜项目资料显示，北美跟欧洲、亚太、拉美之间的带宽远超过其他洲际带宽。相比从亚太地区直接发送数据到欧洲，经由美国中转可能更快捷实惠。
这在现实中不难找到类比：办公室同事交换电子文件时，不一定靠传递U盘这种物理距离最近的方式，可能会通过Q Q之类的即时通讯，而不会去计较这些文件绕经QQ服务器是否会被长期扫描监测。
通过扩大数据传输带宽，美国甚至可以诱导更多数据流经本国。今年5月美国租借中国卫星引起国会哗然，但他们解释目的就在于提高非洲跟美国之间的带宽。租借中国卫星可能有局部风险，但放在“棱镜”大战略下，越多数据流经美国，它能做的分析监测就更全面，其得益远超过风险。
设想数据如万川归海途经美国，山姆大叔便可架网捞鱼，坐收渔利。棱镜数据监测的原理也是如此。就像三棱镜把自然光细分成红橙黄绿蓝靛紫七色，在光纤上接入“棱镜”，可以让光纤传输的信号一览无遗，通过大数据系统进行分析挖掘。这种在光纤上窥探数据的设备，早期叫做NarusST-6400，最新版的Narus设备已经空前强大。
巧合的是，Narus官网的宣传材料里便直接使用三棱镜作为图示，表示有能力对大体量(Volume)、高速度(Velocity)、多类型(Variety)的光纤数据基于机器学习，进行网络层、语义层和用户层的数据分析。
除了尽可能地操控数据通路，棱镜项目还从其他数据源激进地获得数据。其中有电信运营商数据源。《卫报》曝光联邦海外情报监听法庭(Fisa)要求美国电信运营商(Verizon)“持续每日”向N SA提交电话记录数据，包括双方号码、通话长度等，但不包括通话内容，这也就是官方所说的元数据。
更为轰动的数据源是美国九家互联网巨头，包括微软、雅虎、谷歌、Facebook、PalTalk、AOL、Skype、YouTube和苹果公司。棱镜计划简报称，可直接读取这九大美国顶级互联网公司的中央服务器，获取音频、视频、照片、电子邮件、文件和连接日志。
考虑到这九家服务器数量之多，事实情况可能是：
其一，个别公司开放了直接访问后门。另外有报道指有数千家私有企业已是为美国提供数据的联盟成员；
其二，棱镜计划在光缆传输层面读取的数据涉及了这九家公司；
其三，棱镜计划针对可疑用户，在获得法庭授权后，会要求这些公司以间接方式提供数据。
卫报透露，NSA让这些公司开启网盘系统提供数据。而Twitter不同意这种网盘模式，因此没有参与到棱镜计划中。谷歌、Facebook都发表声明否定第一种方式，但承认第三种方式。比如Facebook率先披露，去年下半年收到近万次NSA数据请求，涉及1.8万至1.9万个账户。
NSA还有海外盟友数据源。美国跟澳大利亚、加拿大、新西兰、英国一早就成立了“五眼联盟”，互通有无。其中英国的情报机构GCHQ (也就是007邦德的工作单位)，仅在2012年就使用棱镜的数据撰写了197份报告。这些联盟成员甚至彼此监听对方国内的数据，然后交换，这样各国就不致违反直接获取本国国民数据的规定。
更不能忘记NSA还有海外非盟友数据源。斯诺登透露，美国长期偷取中国大陆骨干网络数据。连接美国的专线，其美国国境外的那一端，更是头号攻击对象。比如香港中文大学，它在1995年成立香港互联网交换中心，其前身为港中大连接美国的数据专线，拥有服务于全香港的网络数据交换服务器。
《外交政策》也发文章描述NSA一个叫TAO的机构拥有600多位黑客，对中国的侵入已经超过15年。斯诺登更曝光思科提供给中国的设备，为美国窥探中国数据大开方便之门，不过思科公司在6月18日发布声明，称其没有参与棱镜项目。
总之，美国的全球性互联网监控计划，通过合纵连横，明争暗夺，获取的数据规模卓绝全球。然后，棱镜强有力的大数据存储和分析系统就可以派上用场。
挖掘隐私 一方面元数据可挖掘的隐私越来越多，另一方面，棱镜在不遗余力获取全数据。
NSA为了保存数据，在犹他州耗资20亿美元建立了一个大型数据中心。一位在NSA工作30年的雇员宾尼(Binney)判断那里足以保存5000亿G的数据，相当于全球500年的通讯数据。
NSA为了保存这么多数据，专门开发了一个叫Accumulo的大数据存储系统。后来的故事更耐人寻味，有6位NSA雇员离职，伙同白宫网络安全战略总监可汗(Khan)，融资200万美元，创立了一家叫sqrrl的公司，专门开发Accumulo的商业版本。该公司军工背景浓厚，而NSA是他们的大客户。
美国官方强调只利用前面提到的元数据，并辩称元数据牵涉的隐私内容较少。实际上，元数据方便构建个体之间的关联，如果把姓名、电话号码、邮箱地址这些元数据当做节点，把有过联系的人、号码、邮箱用线联接起来，就构成了关联图谱。
大数据时代，关联图谱的挖掘技术进展迅猛，使得元数据中能挖掘的隐私越来越多。今年5月，N SA在美国卡耐基梅隆大学的会议上称他们有一个4.4万亿个节点、70万亿条关联的图谱数据。按全球70亿人口计算，说明N SA有能力为每人保存将近630种信息，可分析每人多达1万种关联。
今年3月《自然》杂志的研究证明，只需4个时间点和位置就可确定一个人的身份，准确性高达95%。大数据技术揭示我们的匿名程度比想象的低得多，而元数据足以反映太多隐私。
棱镜还有一套大数据可视化和实时查询系统，叫做Boundless Informant。它将棱镜在全球监听到的数据数量，按国家用不同颜色显示，构建全球信息分布图。单3月份该系统就记录了970亿条信息。数据显示伊朗、巴基斯坦、约旦虽小，但被监视最多。中国的数据量和美国本土所受监视相当。
这种大数据分析工具，充分利用了免费开源软件。它的材料中特别提到了多个开源云存储和云计算框架。目前相当多大数据技术都有开源版本，棱镜计划的队伍是开源软件和学术研究的老手，已从各种开源系统及学术交流中得益不少。
同时棱镜计划有一批有实力的外包商或服务商(比如BoozAllen Hamilton，SAIC等)。同时，N SA还是北美一大批高科技公司的买单方。像情报分析系统公司Palantir，可视化公司Tableau，制造量子计算机的D-Wave公司等。
一方面元数据可挖掘的隐私越来越多，另一方面，棱镜在不遗余力获取全数据。比如前面说到的N arus光纤监听设备，可以进行内容层监控。比如N SA对数十亿邮件进行扫描的爱因斯坦3号系统(Einstein3)，就是对全文内容进行扫描。斯诺登在采访中也透露，棱镜采用了语音识别。虽然如今多语种的语音视频内容的分析还有技术难度，但大数据和深度学习技术的大发展，这几年的突破超越了过去数十年。最大的获益者中，N SA自然不会缺席。
棱镜未来，让大数据助政府横行天下，还是由小个体改变历史进程？
棱镜的大数据战略，代价巨大但实效有限。美国官方声称帮助防范并挫败了数十起恐怖主义活动。但这不足以让美国人信服，因为棱镜并未预测波士顿爆炸。
根据数据越大越全越准的原则，棱镜要发挥全效，需要尽可能收集更多数据，这意味着侵入更多隐私领域。因为其行动的保密性，无需忌惮负面作用，可激进地部署测试大数据方法和模型。这好比本是正道的功法，却用来走捷径修炼魔教武功。
利用大数据可为国家增加优势，将引发国际关系紧张，导致全球大数据“军备竞赛”。其性质跟大规模杀伤性武器并无实质区别，将导致个体遭受多重监听。
棱镜计划使得少部分人可以获得不正当优势。NSA的雇员或外包商若将民众各种隐私数据用于商业目的，严重有违公平公正。组织内部也可用其排除异己。恐怖分子一旦掌握，也可用来获得情报和先机。
棱镜计划拥抱开源软件，看似推进了开源软件落地和繁盛，却同用“百人斩”促进造刀技艺进步一样，在深深伤害其根基，侵害自由开源软件精神，剥削压榨开源平台的群体智慧。
因为具备足够资金、技术和不受限的权力，大组织是大数据的大受益者，可肆意窥探个体的网络活动和关联网络。不过，现有的大数据技术，擅长利用历史记录来预测已有事物在未来是否出现，并不擅长判断从来没有先例的事物。要防范大数据技术滥觞，需要发挥个体的创造性，不要成为机器眼里可以预测的循规蹈矩者。
政府对大数据的渴求不会止步，个体不一定非得迎合大数据，相反要考虑原子化的生存。隐私源自拉丁词根Privatus，本就指从公众生活中抽离。谁都无法断言历史是大数据演变必然的结果，还是小人物离经叛道的偶然。至少在棱镜这个美国版民与官斗的交锋中，更多人把斯诺登看成孤胆英雄。
而路透社的投票也显示，31%认为斯诺登是爱国者，认为他是叛国者的23%。而本杰明·富兰克林说过，为安全而放弃自由，将既无安全也无自由。
它几乎无所不能，全天候监视所有人的行踪，聪明地预测出谁是危险分子，谁会遭遇不测……美国政府用它攻击恐怖分子，开发者则用它拯救普通人，这是美剧《疑犯追踪》里的“神器”。这真的只是一部科幻剧吗？
美国国家安全局(NSA )在现实中运作的“棱镜系统”，时时刻刻监听和分析本土及海外的数据，其曝光则更像是一部好莱坞电影：29岁雇员斯诺登，电脑怪才，模样俊俏，为中情局服务过，在夏威夷有火辣女友陪伴，却突然人间蒸发，之后爆料引发全球哗然。
从技术角度看，棱镜是正宗的大数据武器。虽然还不如《疑犯追踪》里的机器万能，但足以让大家担心个体隐私不保。人们更害怕政府拥有大数据后，权力和能力膨胀，必然滋生腐败。但纽约时报的评论也指斯诺登缺少组织纪律，是原子化的行为，破坏了社会组织的契约精神和正常运转。
孰是孰非，何去何从？
大数据武器 数据如万川归海途经美国，山姆大叔便可架网捞鱼。它靠强大的数据通路和丰富的数据源收集大数据
曝光的资料显示，有多个项目与棱镜数据收集有关：比如从互联网骨干枢纽收集数据的布拉尼(BLARNEY)计划，从光纤网收集数据的上游(UP-STREAM )计划等。考虑到软件系统通常都是对接后集成使用，我们将其当做整体来讨论。
棱镜项目得益于这样的现实：大量数据舍弃物理意义上最直接的路线，取道美国。
美国有全球电信最骨干的网络。棱镜项目资料显示，北美跟欧洲、亚太、拉美之间的带宽远超过其他洲际带宽。相比从亚太地区直接发送数据到欧洲，经由美国中转可能更快捷实惠。
这在现实中不难找到类比：办公室同事交换电子文件时，不一定靠传递U盘这种物理距离最近的方式，可能会通过Q Q之类的即时通讯，而不会去计较这些文件绕经QQ服务器是否会被长期扫描监测。
通过扩大数据传输带宽，美国甚至可以诱导更多数据流经本国。今年5月美国租借中国卫星引起国会哗然，但他们解释目的就在于提高非洲跟美国之间的带宽。租借中国卫星可能有局部风险，但放在“棱镜”大战略下，越多数据流经美国，它能做的分析监测就更全面，其得益远超过风险。
设想数据如万川归海途经美国，山姆大叔便可架网捞鱼，坐收渔利。棱镜数据监测的原理也是如此。就像三棱镜把自然光细分成红橙黄绿蓝靛紫七色，在光纤上接入“棱镜”，可以让光纤传输的信号一览无遗，通过大数据系统进行分析挖掘。这种在光纤上窥探数据的设备，早期叫做NarusST-6400，最新版的Narus设备已经空前强大。
巧合的是，Narus官网的宣传材料里便直接使用三棱镜作为图示，表示有能力对大体量(Volume)、高速度(Velocity)、多类型(Variety)的光纤数据基于机器学习，进行网络层、语义层和用户层的数据分析。
除了尽可能地操控数据通路，棱镜项目还从其他数据源激进地获得数据。其中有电信运营商数据源。《卫报》曝光联邦海外情报监听法庭(Fisa)要求美国电信运营商(Verizon)“持续每日”向N SA提交电话记录数据，包括双方号码、通话长度等，但不包括通话内容，这也就是官方所说的元数据。
更为轰动的数据源是美国九家互联网巨头，包括微软、雅虎、谷歌、Facebook、PalTalk、AOL、Skype、YouTube和苹果公司。棱镜计划简报称，可直接读取这九大美国顶级互联网公司的中央服务器，获取音频、视频、照片、电子邮件、文件和连接日志。
考虑到这九家服务器数量之多，事实情况可能是：
其一，个别公司开放了直接访问后门。另外有报道指有数千家私有企业已是为美国提供数据的联盟成员；
其二，棱镜计划在光缆传输层面读取的数据涉及了这九家公司；
其三，棱镜计划针对可疑用户，在获得法庭授权后，会要求这些公司以间接方式提供数据。
卫报透露，NSA让这些公司开启网盘系统提供数据。而Twitter不同意这种网盘模式，因此没有参与到棱镜计划中。谷歌、Facebook都发表声明否定第一种方式，但承认第三种方式。比如Facebook率先披露，去年下半年收到近万次NSA数据请求，涉及1.8万至1.9万个账户。
NSA还有海外盟友数据源。美国跟澳大利亚、加拿大、新西兰、英国一早就成立了“五眼联盟”，互通有无。其中英国的情报机构GCHQ (也就是007邦德的工作单位)，仅在2012年就使用棱镜的数据撰写了197份报告。这些联盟成员甚至彼此监听对方国内的数据，然后交换，这样各国就不致违反直接获取本国国民数据的规定。
更不能忘记NSA还有海外非盟友数据源。斯诺登透露，美国长期偷取中国大陆骨干网络数据。连接美国的专线，其美国国境外的那一端，更是头号攻击对象。比如香港中文大学，它在1995年成立香港互联网交换中心，其前身为港中大连接美国的数据专线，拥有服务于全香港的网络数据交换服务器。
《外交政策》也发文章描述NSA一个叫TAO的机构拥有600多位黑客，对中国的侵入已经超过15年。斯诺登更曝光思科提供给中国的设备，为美国窥探中国数据大开方便之门，不过思科公司在6月18日发布声明，称其没有参与棱镜项目。
总之，美国的全球性互联网监控计划，通过合纵连横，明争暗夺，获取的数据规模卓绝全球。然后，棱镜强有力的大数据存储和分析系统就可以派上用场。
挖掘隐私 一方面元数据可挖掘的隐私越来越多，另一方面，棱镜在不遗余力获取全数据。
NSA为了保存数据，在犹他州耗资20亿美元建立了一个大型数据中心。一位在NSA工作30年的雇员宾尼(Binney)判断那里足以保存5000亿G的数据，相当于全球500年的通讯数据。
NSA为了保存这么多数据，专门开发了一个叫Accumulo的大数据存储系统。后来的故事更耐人寻味，有6位NSA雇员离职，伙同白宫网络安全战略总监可汗(Khan)，融资200万美元，创立了一家叫sqrrl的公司，专门开发Accumulo的商业版本。该公司军工背景浓厚，而NSA是他们的大客户。
美国官方强调只利用前面提到的元数据，并辩称元数据牵涉的隐私内容较少。实际上，元数据方便构建个体之间的关联，如果把姓名、电话号码、邮箱地址这些元数据当做节点，把有过联系的人、号码、邮箱用线联接起来，就构成了关联图谱。
大数据时代，关联图谱的挖掘技术进展迅猛，使得元数据中能挖掘的隐私越来越多。今年5月，N SA在美国卡耐基梅隆大学的会议上称他们有一个4.4万亿个节点、70万亿条关联的图谱数据。按全球70亿人口计算，说明N SA有能力为每人保存将近630种信息，可分析每人多达1万种关联。
今年3月《自然》杂志的研究证明，只需4个时间点和位置就可确定一个人的身份，准确性高达95%。大数据技术揭示我们的匿名程度比想象的低得多，而元数据足以反映太多隐私。
棱镜还有一套大数据可视化和实时查询系统，叫做Boundless Informant。它将棱镜在全球监听到的数据数量，按国家用不同颜色显示，构建全球信息分布图。单3月份该系统就记录了970亿条信息。数据显示伊朗、巴基斯坦、约旦虽小，但被监视最多。中国的数据量和美国本土所受监视相当。
这种大数据分析工具，充分利用了免费开源软件。它的材料中特别提到了多个开源云存储和云计算框架。目前相当多大数据技术都有开源版本，棱镜计划的队伍是开源软件和学术研究的老手，已从各种开源系统及学术交流中得益不少。
同时棱镜计划有一批有实力的外包商或服务商(比如BoozAllen Hamilton，SAIC等)。同时，N SA还是北美一大批高科技公司的买单方。像情报分析系统公司Palantir，可视化公司Tableau，制造量子计算机的D-Wave公司等。
一方面元数据可挖掘的隐私越来越多，另一方面，棱镜在不遗余力获取全数据。比如前面说到的N arus光纤监听设备，可以进行内容层监控。比如N SA对数十亿邮件进行扫描的爱因斯坦3号系统(Einstein3)，就是对全文内容进行扫描。斯诺登在采访中也透露，棱镜采用了语音识别。虽然如今多语种的语音视频内容的分析还有技术难度，但大数据和深度学习技术的大发展，这几年的突破超越了过去数十年。最大的获益者中，N SA自然不会缺席。
棱镜未来，让大数据助政府横行天下，还是由小个体改变历史进程？
棱镜的大数据战略，代价巨大但实效有限。美国官方声称帮助防范并挫败了数十起恐怖主义活动。但这不足以让美国人信服，因为棱镜并未预测波士顿爆炸。
根据数据越大越全越准的原则，棱镜要发挥全效，需要尽可能收集更多数据，这意味着侵入更多隐私领域。因为其行动的保密性，无需忌惮负面作用，可激进地部署测试大数据方法和模型。这好比本是正道的功法，却用来走捷径修炼魔教武功。
利用大数据可为国家增加优势，将引发国际关系紧张，导致全球大数据“军备竞赛”。其性质跟大规模杀伤性武器并无实质区别，将导致个体遭受多重监听。
棱镜计划使得少部分人可以获得不正当优势。NSA的雇员或外包商若将民众各种隐私数据用于商业目的，严重有违公平公正。组织内部也可用其排除异己。恐怖分子一旦掌握，也可用来获得情报和先机。
棱镜计划拥抱开源软件，看似推进了开源软件落地和繁盛，却同用“百人斩”促进造刀技艺进步一样，在深深伤害其根基，侵害自由开源软件精神，剥削压榨开源平台的群体智慧。
因为具备足够资金、技术和不受限的权力，大组织是大数据的大受益者，可肆意窥探个体的网络活动和关联网络。不过，现有的大数据技术，擅长利用历史记录来预测已有事物在未来是否出现，并不擅长判断从来没有先例的事物。要防范大数据技术滥觞，需要发挥个体的创造性，不要成为机器眼里可以预测的循规蹈矩者。
政府对大数据的渴求不会止步，个体不一定非得迎合大数据，相反要考虑原子化的生存。隐私源自拉丁词根Privatus，本就指从公众生活中抽离。谁都无法断言历史是大数据演变必然的结果，还是小人物离经叛道的偶然。至少在棱镜这个美国版民与官斗的交锋中，更多人把斯诺登看成孤胆英雄。
而路透社的投票也显示，31%认为斯诺登是爱国者，认为他是叛国者的23%。而本杰明·富兰克林说过，为安全而放弃自由，将既无安全也无自由。
来源：
