日常生活中的企业监控
不是小说，这是一份3年前的调研报告，不知是否影响了GDPR。或许，“Matrix”已经走到了身边，福祸未知！
近年来，各种各样的公司已经开始在人们生活的各个方面进行监控、跟踪和跟踪。数十亿的行为、运动、社会关系、利益、弱点和大多数私人数据都被不断地实时记录、评估和分析， 个人信息开发已经成为一个数十亿的产业。然而，今天无处不在的数字追踪只是冰山一角; 大多数数字追踪对我们大多数人来说仍然是不透明的。
目录
人的分析
金融、保险和医疗领域中人的分析
大规模收集和使用消费者数据
数据经纪人和个人数据业务
实时监控人们的日常行为
数字化档案的连接，匹配和合并
管理消费者和行为，个性化以及测试
天罗地网-日常生活，营销数据和风险分析
绘制商业跟踪和档案版图
一个无处不在被数字控制的社会？
2007年，苹果推出了智能手机，Facebook 的用户达到了3000万，在线广告公司开始根据用户的个人喜好和兴趣向互联网用户投放广告。10年后，数据公司如雨后春笋般涌现，它们不仅包括像 Facebook 和谷歌这样的大公司，还包括来自不同行业数以千计的其他企业，它们不断地相互分享和交易数据。公司已经开始整合来自网络和智能手机的数据，链接他们已经积累了几十年的客户数据和离线信息。
从定价到政治沟通，从信用评分到风险管理，无处不在的实时监控机器正迅速扩展到其他领域。大型在线平台、数字广告公司、数据经纪公司以及许多行业的企业可以跨平台对消费者识别、分类、评估、评级和排名。网站上的每一次点击和智能手机上的每一次滑动都可能触发分布在多家公司各种各样的隐藏数据共享机制，因此，直接影响了人们的可用选择。数字跟踪和分析，结合个性化，不仅用于监测，而且影响人们的行为。
“你必须争取你的隐私，否则你会失去它”——Eric Schmidt, Google/Alphabet, 2013
1. 人的分析
学研究表明，一个人性格的许多方面可以从网络搜索、浏览历史、视频观看行为、社交媒体活动或购买的数据中推断出来。个人的敏感属性，如种族，宗教和政治观点，感情状态，性取向，酒精，香烟和毒品的使用，可以相当准确地推断出某人在Facebook 上喜欢什么。社交网络的画像分析还可以预测个性特征，如情绪稳定性、生活满意度、冲动性、抑郁和感官兴趣。
资料来源: Kosinski et al 2013，Chittaranjan et al 2011，Epp at al 2011。
类似地，性格特征也可以从某人访问过的网站信息，以及电话记录和手机应用程序使用数据中推断出来。浏览历史可以揭示一个人的职业和教育程度。加拿大的研究人员甚至通过分析电脑键盘上的打字模式，成功计算出了诸如自信、紧张、悲伤和疲劳等情绪状态。
2. 金融、保险和医疗领域中人的分析
如今，数据挖掘和分析方法的结果依赖于一定概率水平的统计相关性。虽然他们可能大概率地预测属性和人格特质，但并非在每一个情况下都是准确的。尽管如此，这些方法已经被用来对人们进行分类、分类、标注、评估、排序，不仅是为了营销，也是为了在金融、保险、医疗等重要领域做出决策。
基于数字化行为数据的信用评估
初创公司如Lenddo, Kreditech, Cignifi 和 ZestFinance 已经利用社交媒体、网络搜索或手机的数据来计算某人的信用可靠性，而实际上并没有使用与金融交易相关的数据。有些人还利用某人如何填写在线表单或浏览网站的信息，短消息的语法和标点符号，以及该用户手机的电池状态。在计算信用评分时，一些公司甚至加入了某人在社交网络上的朋友数据。
Cignifi 通过电话通话的时间和频率计算信用评分，将自己视为“移动网络运营商的终极数据货币化平台”。万事达卡、Telefonica、信用报告机构 Experian 和 Equifax 等公司已经开始与这些初创公司合作。在全球南部国家以及其他区域的弱势人口群体中，这种服务的大规模应用增加的更多。
相反，信用数据也会流入网络营销。例如，在 Twitter 上，营销人员可以根据消费者数据代理商(例如Oracle)提供的数据，根据 Twitter 用户的预期信誉度来定位广告。更进一步，Facebook 已经注册了一项基于某人在社交网络上朋友信用评级的信用评估专利。没有人知道它是否计划将社交网络、市场营销和风险评估的完全整合，并变为现实。
“我们觉得所有的数据都是信用数据，只是还不知道如何使用。”——Douglas Merrill, ZestFinance 的创始人，谷歌前首席信息官，2012年
基于消费者数据的健康预测
数据公司和保险公司正致力于利用消费者日常生活信息来预测他们的健康风险。例如，大型保险公司Aviva与咨询公司德勤(Deloitte)合作，对6万名保险申请人的个人健康风险进行了预测，这些风险包括糖尿病、癌症、高血压和抑郁症，这些数据基于传统上用于营销的消费者数据，而这些数据是Aviva从一家数据经纪公司获得的。
咨询公司麦肯锡(McKinsey)帮助预测了患者的住院费用，其依据是“美国大量医疗支出者”的消费者数据。麦肯锡利用人口统计学、家庭结构、购买情况、汽车拥有情况以及其他数据，指出这种“洞察力有助于在高成本发作之前确定关键的患者群体”。
健康分析公司 GNS 医疗保健也通过广泛的数据，如基因组学，医疗记录，实验室数据，移动健康设备和消费者行为，来计算患者的个人健康风险。该公司与Aetna等保险公司合作，提供了一个评分系统，识别“可能参与干预的人” ，并提供对疾病进展和干预结果的预测。根据一份行业报告，该公司“根据投资回报率对病人进行排名” ，如果针对病人采取特定干预措施，保险公司可以期望得到多少投资回报。
一家大型的数据经纪和风险分析公司 LexisNexis Risk Solutions 提供了一种健康评分产品，根据包括购买活动在内的大量消费者数据，计算健康风险以及个人预期的医疗保健成本。
3. 大规模收集和使用消费者数据
现在，占主导地位的在线平台，尤其是谷歌和 Facebook ，拥有全球数十亿人日常生活的广泛信息。除了情报承包商、在线广告商和数字欺诈检测服务，他们可能是个人数据和分析行业最先进的公司。还有许多人在幕后操作，不受公众注意。
网络广告的核心是一个由成千上万家公司组成的生态系统，这些公司专注于不断地跟踪和分析数十亿人。每次在网站或移动应用程序上显示广告时，用户的数字档案就会在几毫秒之前卖给出价最高的竞标者。与这些新做法相反，信用报告机构和消费者数据经纪人已经在个人数据业务上花费了数十年时间。近年来，他们开始将所掌握的关于人们线下生活的大量信息与大型平台、在线广告公司以及无数其他企业运营的用户和客户数据库结合起来。
Facebook使用了至少52,000个人属性来排序和分类它的19亿用户，例如，政治观点，种族和收入。为了做到这一点，平台分析他们的帖子，喜欢，分享，朋友，照片，动作和许多其他类型的行为。此外，Facebook 还从其他公司获取用户数据。2013年，该平台开始与 Acxiom、 Epsilon、 Datalogix 和 BlueKai 四家数据经纪公司合作，后两家公司随后被 IT 巨头 Oracle 收购。这些公司通过提供从其平台之外收集的数据，帮助 Facebook 更好地跟踪和分析其用户。
4. 数据经纪人和个人数据业务
消费者数据中间商在当今的个人数据行业中扮演着关键角色。基于各种在线和离线来源，他们聚集、整合和交易收集到的大量关于人口的信息。数据经纪人收集公开可用的信息，并从其他公司购买消费者数据。一般来说，他们的数据源于个人以外的其他来源，而且大部分是在消费者不知情的情况下收集的。他们分析数据，做出推断，将人们分类，并为他们的客户提供数以千计的个人特征。
数据经纪人拥有的个人档案不仅包括教育、职业、子女、宗教、种族、政治观点、活动、兴趣和媒体使用等信息，还包括某人的网络行为，如网络搜索。此外，他们还收集有关购买、信用卡使用、收入和贷款、银行和保险政策、财产和车辆所有权以及各种其他数据类型的数据。数据经纪人还计算分值，预测个人未来可能的行为，例如，某人的经济稳定性、计划生育以及是否换工作等。
Acxiom 和 Oracle 提供的用户数据例子(截至2017年4 / 5月)。
Acxiom，一个大型消费者数据代理商
Acxiom 成立于1969年，拥有全球最大的消费者商业数据库之一。该公司提供多达3000个数据元素，涵盖了来自美国、英国和德国等许多国家数千个来源的7亿用户数据。最初是一家直销公司，Acxiom 在20世纪90年代后期开发了其消费者中心数据库。
Abilitec Link system公司通过运行一种私人注册中心，其中每个人、每个家庭和每栋建筑物都收到一个唯一的 ID。该公司不断更新其数据库，包括出生和死亡、婚姻和离婚、姓名和地址变化等信息，当然还有其他各种的个人资料数据。例如，当被问及一个人时，Acxiom 提供了13种宗教信仰中的一种分类，包括“天主教”、“犹太教”和“穆斯林” ，以及近200种民族代码中的某一种。
Acxiom 出售自己广泛的消费者档案，并帮助客户找到目标用户的目标，识别，分析，分类，评级和排名。该公司还直接管理15000个客户数据库，为客户提供数十亿的客户资料，其中包括大型银行、保险公司、医疗机构和政府机构。除了营销数据服务，Acxiom 还提供身份验证、风险管理和欺诈检测服务。
Acxiom 及其数据提供者、合作伙伴和客户(截至2017年4月 / 5月)
自2014年收购在线数据公司 LiveRamp 以来，Acxiom 一直在努力将其几十年的数据库与数字世界连接起来。例如，Acxiom 是首批向 Facebook、 Google 和 Twitter 提供额外信息的数据中间商之一，以帮助这些平台更好地跟踪或分类用户的购买行为，以及其他平台仍然无法跟踪的行为。
Acxiom的 LiveRamp 将数百家数据和广告公司的数字资料进行连接和整合。其核心是 IdentityLink 系统，该系统可以帮助识别个人，并根据电子邮件地址、电话号码、智能手机 id 和其他标识符，提供跨数据库、平台和设备链接的用户信息。虽然该公司承诺以“匿名”和“去标识”的方式进行链接和匹配，但它也表示，能够“将脱机数据和在线数据连接到单一标识符”。
最近， LiveRamp 为包括信用报告巨头 Equifax、 Experian 和 TransUnion等公司提供了数据服务。此外，许多从网络、移动应用程序、甚至整个物理世界的传感器收集数据的跟踪服务为利物浦提供了数据。其中一些公司使用了 LiveRamp 的数据商店，允许公司“买卖有价值的客户数据”。其他公司提供数据让 Acxiom 和 LiveRamp 识别个人，并将记录的信息与其他来源的数字档案联系起来。也许最令人担忧的是 Acxiom 与 Crossix 的合作，后者拥有2.5亿美国消费者的大量健康数据。它被列为 LiveRamp 的数据提供商之一。
”任何获取消费者数据的人都有可能成为数据提供者。”——2017年 Acxiom 的 LiveRamp 总经理 Travis May
甲骨文，一个 IT 巨头进入了消费者数据业务
通过收购 Datalogix、 BlueKai、 AddThis 和 CrossWise 等数据公司，全球最大的商业软件和数据库供应商之一——甲骨文公司，最近也成为最大的消费者数据经纪商之一。在其数据云中，Oracle 汇集了来自1500万个不同网站的30亿用户资料，来自10亿移动用户的数据，来自食品杂货连锁店和1500家大型零售商的数十亿购买数据，以及来自社交媒体网络、博客和消费者评论网站的7亿条信息。
甲骨文及其数据提供商、合作伙伴和服务(截至2017年4月 / 5月)
甲骨文在其数据目录中列出了近100家数据提供商，包括 Acxiom、益百利(Experian)和 TransUnion 等信用报告机构，以及跟踪网站访问、移动应用程序使用和动向、或从在线测验中收集数据的公司。Visa 和 MasterCard 也被列为数据提供商。与其合作伙伴一起，Oracle 提供了超过30,000个不同的数据类别，这些数据类别可以分发给客户。相反，该公司与 Facebook 共享数据，并帮助 Twitter 计算其用户的信誉。
甲骨文的 ID Graph 识别和组合了跨公司的用户资料。它将数据库、服务和设备之间的所有交互“统一起来” ，以“创建一个可寻址的消费者配置文件”和“在任何地方识别客户和潜在客户”。其他公司可以根据电子邮件地址、电话号码、邮政地址和其他标识符向甲骨文发送匹配关键字，甲骨文随后将这些关键字同步到“在甲骨文 ID Graph中把用户和统计 ID 链接在一起的网络”。虽然该公司承诺只使用匿名用户 id 和匿名用户配置文件，但这些仍然指的是某些个人，可用于识别他们，并在许多生活环境中将他们单独挑出来。
一般来说，客户可以将自己关于用户、网站访问者或应用程序的数据上传到甲骨文的数据云，与其他许多公司的数据结合起来，然后实时地将其传输和利用到其他数百个营销和广告技术平台上。例如，他们可以使用它来跨设备和平台寻找并定位用户的个性化交互，并最终衡量消费者在个人层面上被处理和影响后的反应。
5. 实时监控人们的日常行为
现在，各行各业的在线平台、广告技术提供商、数据经纪人和企业可以在许多情况下监视、识别和分析个人。他们能够知道人们对什么感兴趣，今天做了什么，明天可能做什么，作为一个顾客可能值多少钱。
人们的在线和离线生活数据
几十年来，各种各样的公司一直在收集人们的信息。在互联网出现之前，征信机构和直销机构都是不同来源数据流的主要整合点。20世纪90年代，通过数据库营销、忠诚度计划和消费者信用报告，迈出了系统化监控消费者的第一步。随着21世纪初互联网和在线广告的崛起，以及社交网络、智能手机和在线广告的兴起，现在看到传统的消费者数据产业在21世纪10年代与新的数字追踪和分析生态系统整合在了一起。
企业用户数据收集的不同层次、领域和来源。
长期以来，消费者数据经纪公司以及其他公司一直在获取有关报纸和杂志订阅者、图书和电影俱乐部成员、目录和邮购买家、旅行社预订者、研讨会和会议与会者以及填写保修卡产品登记的消费者信息。长期以来，从忠诚度计划中收集购买数据也是这方面的既定做法。
除了直接从他们一直使用的个人那里收集的数据之外，例如，人们居住的社区和建筑的类型信息，可以用来对人们进行描述、标记和分类。类似地，现在根据人们浏览的网站类型、观看的视频、使用的应用程序以及他们访问的地理位置元数据来分析消费者。近年来，各种日常活动产生的行为数据流的规模和深度，如网络、社交媒体和设备使用，都在迅速增长。
“那不是手机，那是我的追踪器”—— New York Times, 2012
无处不在的数字跟踪和画像
企业跟踪和分析变得如此普遍的一个主要原因在于，几乎所有的网站、移动应用程序供应商和许多设备供应商都积极地与其他公司分享行为数据。
几年前，大多数网站开始在自己的网站中嵌入跟踪服务，将用户数据传输给第三方。其中一些服务，为用户提供了可见的功能。例如，当一个网站显示了一个喜欢 Facebook 的按钮或者一个嵌入的 YouTube 视频时，用户数据就会传输到 Facebook 或者 Google。然而，许多其他与在线广告相关的服务仍然是隐藏的，而且基本上只有一个用途，即收集用户数据。究竟哪些类型的用户数据被数字出版商共享，以及第三方如何使用这些数据，都是未知的。这些跟踪活动的一部分可以被每个人检查; 例如，通过安装浏览器扩展 Lightbeam，人们可以将隐藏的网络第三方跟踪器可视化。
最近的一项研究调查了100万个不同的网站，发现超过80,000个第三方服务接收这些网站的访问者数据。在超过10000个网站上有大约120个这样的跟踪服务，6家公司监视着超过100000个网站上的用户，包括谷歌，脸书，推特和甲骨文。一项针对20万德国用户访问了2100万网页的研究显示，95% 的访问网页都有第三方追踪器。同样，大多数移动应用程序与其他公司共享用户信息。2015年，一项针对澳大利亚、巴西、德国和美国流行应用程序的研究发现，85% 至95% 的免费应用程序，甚至60% 的付费应用程序，都与收集个人数据的第三方相连。
来自欧洲和美国的研究人员在 Android 应用程序上创建了一个隐藏的第三方跟踪服务的交互式地图，该地图可以在以下 haystack.mobi/panopticon 中探索。
图片由加州大学伯克利分校 ISCI Haystack.mobi/Panopticon 提供
就设备而言，面向当今无处不在的数据收集，智能手机可能是最大的贡献者。移动电话记录的信息提供了对用户个性和日常生活的详细洞察。由于消费者通常需要拥有一个谷歌、苹果或微软的账户才能使用它们，因此，许多信息已经链接到一个主要平台的标识符上。
出售用户数据并不限于网站和移动应用程序发布商。例如，市场情报公司 SimilarWeb 不仅从网站和应用程序中接收数十万直接测量源的数据，还从桌面软件和浏览器扩展中接收数据。近年来，从电子阅读器和可穿戴设备到智能电视、仪表、恒温器、烟雾报警器、打印机、冰箱、牙刷、玩具和汽车，许多其他带有传感器和网络连接的设备已进入日常生活。就像智能手机一样，这些设备让公司能够前所未有地了解消费者在各种生活环境中的行为。
程序化广告和营销技术
在线广告行业已经成为开发先进技术的先驱力量，这些技术可以监控和跟踪人们，也可以在数字世界中组合和链接个人资料。
当今大多数数字广告都是以出版商和广告商之间高度自动化的实时拍卖形式进行的，这通常被称为程序化广告。当一个人访问一个网站时，它将用户数据发送给各种第三方服务，这些服务然后尝试识别这个人并检索可用的配置文件信息。由于某些特性和行为，有兴趣为这个特定的人投放广告的广告客户出价。在毫秒内，出价最高的广告客户获胜并投放广告。广告商同样可以在移动应用程序中对用户资料和广告位置进行竞价。
然而，在大多数情况下，这个过程并不直接发生在出版商和广告商之间。这个生态系统由大量不同类型的数据和技术提供商组成，它们相互作用，包括广告网络、广告交易所、销售平台和需求平台。其中一些公司专门在网络广告、移动广告、视频广告、社交网络广告或游戏中的广告之外进行跟踪和投放广告，另一些公司则专注于提供数据、分析或个性化服务。
为了描述网络或移动应用程序的用户，所有相关各方都开发了复杂的方法来收集、编译和链接来自不同公司的信息，以便跟踪个人的生活。许多人收集或利用数以亿计的消费者、网络浏览器和设备的数字资料。
许多行业正在加入追踪经济
近年来，许多行业的企业已经开始大规模地分享并利用用户和客户的数据。
大多数零售商或多或少地向市场研究公司和消费者数据经纪公司出售汇总形式的购买数据。例如，数据公司 IRI 可以访问超过85,000家杂货店、大宗商品、药品、俱乐部、便利店、酒类和宠物店的数据。尼尔森表示，它收集的销售信息来自全球100多个国家的90万家商店。英国大型零售商特易购(Tesco)已将其忠诚度和数据活动外包给子公司 Dunnhumby，Dunnhumby 的口号是“将客户数据转化为客户满意度”。当 Dunnhumby 收购德国广告技术公司 sociomatic 时，他们宣布 Dunnhumby 将“结合其对4亿消费者购物偏好的广泛洞察力”和 sociomatic 的“来自7亿多在线消费者的实时数据” ，对广告进行个性化和评估。
除了大型的在线平台和消费者数据和分析行业，许多行业的企业都加入了如今普遍存在的数字跟踪和分析生态系统。
大型媒体集团也深深植根于当今的跟踪和剖析生态系统。例如，时代公司收购了主要的跨设备追踪和广告技术公司 Adelphic，以及声称拥有超过12亿注册用户的 Viant。数字出版商向用户出售数据的一个突出例子是流媒体平台 Spotify。自2016年以来，它与广告巨头 WPP 的数据部门分享了用户的情绪、收听和播放列表行为、活动和位置等方面的见解。WPP 目前拥有“ Spotify 1亿用户的独特收听偏好和行为”。
许多大型电信公司和互联网服务提供商已经收购了广告技术和数据公司。例如，Verizon 旗下 AOL 的子公司---- Millennial Media，是一个移动广告平台，从65000多个不同开发者的应用程序中收集数据，并声称拥有大约10亿的全球活跃用户。总部位于新加坡的电信公司 Singtel 收购了 Turn，这是一个广告技术平台，营销人员可以使用43亿个可寻址设备、浏览器 id 以及9万个人口统计学、行为学和心理学的属性。
像航空公司、酒店、零售商和其他许多行业的公司一样，金融服务部门在20世纪80年代和90年代开始通过忠诚度计划收集和利用额外的客户数据。长期以来，拥有相互关联、互补的目标群体的公司一直在彼此之间共享某些客户数据，这一过程通常由中介机构管理。今天，这些中介机构之一是 Cardlytics 公司，该公司与1500家金融机构如美国银行和万事达卡一起运营奖励计划。Cardlytics 向金融机构承诺，它将“利用(它们的)购买数据的力量产生新的收入来源”。该公司还与结合了在线和离线消费者数据的 Acxiom 公司合作。
对万事达来说，销售数据分析产品和服务甚至可能成为其核心业务，因为包括数据销售在内的信息产品已经在其收入中占有了相当大份额，而且在不断增长。谷歌最近表示，它通过“第三方合作伙伴”获取了美国大约70% 的信用卡和借记卡交易，以追踪购买情况，但没有透露其来源。
“这是你的数据。你有权控制它，分享它，并按照你认为合适的方式使用它。”——2016年，在线数据代理商 Lotame 如何在其网站上寻找公司客户
6. 数字化档案的连接，匹配和合并
直到最近，使用 Facebook、谷歌或其他在线广告网络的广告客户已经能够根据个人的在线行为来锁定目标。然而，几年前，数据公司已经开始跨平台、客户数据库和在线广告世界，结合并连接数字化的档案。
连接在线和离线身份
2012年，Facebook 开始允许公司将自己的电子邮件地址和电话号码列表上传到该平台。尽管这些地址和号码被转换成了假名，但 Facebook 可以直接将其他公司的用户数据与 Facebook 的用户账户联系起来。例如，通过这种方式，公司可以准确地找到并锁定 Facebook 上那些拥有电子邮件地址或电话号码的人。也可以有选择地将他们排除在目标之外，或者让平台找到具有相似属性、兴趣和行为的人。
这是一个强大的功能，也许比乍看起来更强大。它允许公司系统地将自己的客户数据与 Facebook 的数据联系起来。此外，它还允许其他广告和数据供应商与平台的数据库同步，并利用其能力，实质上为 Facebook 的数据世界提供了一种实时远程控制。公司现在可以实时获取高度特定的行为数据，比如点击网站、在移动应用程序中滑动或在商店购物，然后告诉 Facebook 立即找到并锁定进行这些活动的人。Twitter 在2015年也推出了类似的功能。
数据管理平台
今天，大多数广告技术公司不断地将各种形式的代码彼此传递。数据管理平台允许所有行业的企业将自己关于消费者的数据，包括关于购买、网站访问、应用程序使用和电子邮件回复的实时信息，与无数第三方数据提供商提供的数字档案进行整合和链接。然后，可以对合并后的数据进行分析、排序和分类，并用于在特定的通道或设备上向特定的人发送特定的消息。例如，一家公司可以瞄准一群现有客户，这些客户访问了公司网站上的某个页面，并预计将成为有价值的客户，那么将提供个性化内容或折扣——无论是在 Facebook 上、在移动应用程序上，还是在公司自己的网站上。
数据管理平台的出现标志着普适商业行为跟踪技术发展的关键时刻。在他们的帮助下，全球所有行业的企业都能够无缝地将多年来收集的关于客户和前景的数据与数字追踪世界中收集的数十亿份个人资料结合起来。运行这些平台的公司包括 Oracle、 Adobe、 Salesforce (Krux)、 Wunderman (KBM group / zipline)、 Neustar、 Lotame 和 Cxense等。
“我们将根据你的身份为你提供广告，但这并不意味着你是可识别的。”——Erin Egan, chief privacy officer at Facebook, 2012
识别人和链接数字档案
为了监控和跟踪人们生活中的各种情况，整合他们的个人资料，并且总是能够再次识别出他们是同一个人，公司收集了广泛的数据属性，以某种方式进行识别。
由于其含糊不清，个人的法定名称一直是数据收集的不良标识符。相比之下，邮政地址长期以来一直是一个关键属性，可以组合和链接来自不同来源的关于消费者及其家庭的数据。在数字世界中，用于连接不同数据库、平台和设备的个人资料和行为数据最相关的标识符是电子邮件地址、电话号码和指向智能手机或其他设备的唯一代码。
谷歌、 Facebook、苹果和微软等大型平台的用户账户ID在互联网追踪用户方面也发挥着重要作用。谷歌(Google)、苹果(Apple)、微软(Microsoft)和 Roku 为个人分配“广告 id” ，目前广泛用于将智能手机等设备的数据与来自数字世界各地的其它信息进行匹配和链接，使用自己的标识符来跟踪网站和设备上的用户。一些大型数据公司，如 Acxiom、Experian和甲骨文(Oracle) ，已经为人们引入了全球唯一的ID，他们用这些ID将数十年前的消费者数据库以及来自不同来源的其他档案信息与数字世界联系起。这些公司ID大多由两个或多个标识符组成，这些标识符附属于某人在线和离线生活的不同方面，并且可以以某种方式相互链接。
公司如何识别消费者并链接关于他们的个人信息
追踪公司还或多或少的使用临时标识符，比如连接到用户上网冲浪的 cookie 。由于用户可能不允许或删除网页浏览器中的 cookie，他们开发了复杂的方法，根据某人的网页浏览器和电脑的各种属性计算出独特的数字指纹。同样，公司也会为智能手机等设备编制指纹。Cookie和数字指纹在不同的跟踪服务之间不断同步，然后与其他更永久的标识符连接。
其他一些公司提供基于机器学习来分析大量数据的跨设备跟踪服务。例如，Tapad 被挪威电信巨头 Telenor 收购，该公司分析全球20亿台设备的数据，并使用行为模式和基于关系的模式来发现某些电脑、平板电脑、手机和其他设备属于同一个人的统计概率。
”匿名”档案？
数据公司经常从其大量的个人资料中删除姓名，并使用哈希将电子邮件地址和电话号码转换成字母数字代码，如“ e907c95ef289”。这使得他们可以在自己的网站和隐私政策中声称，他们只收集、共享和使用“匿名”或“去身份化”的消费者数据。
然而，因为大多数公司使用相同的确定性过程来计算这些唯一的代码，他们应该被理解为假名，事实上，比真名更适合识别数字世界的消费者。即使相互共享的个人资料只包含“哈希”或“加密”的电子邮件地址和电话号码，一个人只要使用与相同电子邮件地址或电话号码相关的其他服务，仍然可以被再次识别。通过这种方式，即使每个跟踪服务可能只知道某人个人信息的一部分，公司也可以在个人层面上通过服务、平台及设备进行跟踪，并与人互动。
“如果一家公司能够在数字环境中跟踪你,并与你互动(这可能包括移动电话和电视机),那么它声称你是'匿名的'就毫无意义，尤其是当公司断断续续地将离线信息添加到在线数据中，然后简单地去掉姓名和地址，使其‘匿名’的时候。”——Joseph Turow, marketing and privacy scholar in his book “The Daily You”, 2011
7. 管理消费者和行为，个性化以及测试
基于连接和组合不同服务数据的方法，所有行业的企业都可以利用当今无处不在的行为数据流，监视并分析可能与其商业利益相关的消费者活动和行为。
在数据供应商的帮助下，公司试图在整个客户旅程中捕捉尽可能多的接触点，从数字接触点到店内采购、直接邮件、电视广告和呼叫中心的电话。他们试图记录和测量与消费者的每一次互动，包括在他们无法控制的网站、平台和设备上。他们可以实时无缝地收集关于其客户和其他人的丰富数据，利用第三方提供的信息增强这些数据，并利用营销和广告技术生态系统中丰富的数字化档案。今天的消费者数据管理平台允许定义复杂的规则集，这些规则规定了如何自动地对特定的标准作出反应，例如某些活动、人员或其中的某些组合。
因此，个人永远不会知道他们的行为是否触发了这些不断更新、相互关联、不透明的追踪和分析网络的反应，如果是这样，这将影响他们通过交流渠道和生活状况获得的选择。
每次交互都会触发多个公司之间的大范围数据流
大规模个性化
在线广告商、数据经纪商和其他公司之间共享的数据流，不仅用于在网站上或手机应用程序中向用户显示精确定向的广告。它们越来越多地被用于动态的个性化内容、选项和提供给消费者的选择。例如，数据技术公司 Optimizely 可以帮助第一次访问者个性化网站，而基于这些访问者的数字资料是由甲骨文提供的。
网上商店可能会个性化某人的地址，哪些产品显示在显著位置，提供哪些折扣，甚至产品或服务的价格可以根据访问网站的用户而有所不同。在线欺诈检测服务可以实时评估用户，并决定人们看到的支付和运输方式。
公司已经开发出了一些技术，可以根据某人的浏览、搜索和位置历史信息，以及应用程序使用情况、产品购买情况或社交网络上的朋友，不断计算和评估某人的长期潜在价值。每一次点击，滑动，喜欢，分享，或购买可能会自动影响某人如何对待一个客户，有人需要等待多久时间打电话热线，或是否有人被排除在营销努力或服务之外。
“富人和穷人看到的互联网是不同的”——Michael Fertik, founder of reputation.com, 2013
三种类型的技术平台在这种即时个性化中扮演着重要角色。首先，公司使用先进的客户关系管理系统来管理客户和潜在客户的数据。其次，使用数据管理平台将自己的数据连接到数字广告生态系统，并获得客户的额外个人信息。第三，可以使用预测营销平台，通过计算如何利用个人偏见和弱点来说服别人，这个平台可以帮助他们在正确的时间向正确的人汇编正确的信息。
例如，数据公司 RocketFuel 承诺其客户“汇集数以万亿计的数字和现实世界信号，创建个人档案，并向消费者提供个性化的、始终在线的、始终相关的体验” ，这一承诺基于其数据商店中27亿个独特的档案。Rocketfuel 表示，该公司“根据其影响消费者的倾向为每一个印象打分”。
Twitter 旗下的预测性营销平台 TellApart 为每个购物者和产品组合创建一个客户价值评分，这是一个“购买可能性、预测订单规模和生命周期价值的汇总” ，其基础是“关于某个特定匿名客户的100个在线和店内信号”。随后，TellApart 帮助自动组装内容，如“产品图像，标志，提供和个性化广告，电子邮件，网站和提供的任何元数据”。
个性化定价和竞选活动
类似的方法可以用来个性化网上商店的价格，例如，预测某人作为客户的长期价值，或者某人可能愿意在一瞬间支付多少。有力的证据表明，网上商店已经根据不同消费者的个性和行为，向他们展示了不同价格的产品，甚至同一产品的不同价格。一个类似的领域是在竞选活动中使用个性化。针对选民的个性化信息以及他们在某些问题上的政治观点，已经引发了关于政治操纵可能性的大规模辩论。
所有行业的企业都可以利用当今的数字追踪和分析网络来寻找、评估、定位、分类和管理客户
对人进行测试和实验
基于丰富的个人资料信息和普遍实时监控的个性化已经成为影响消费者行为的强大工具，比如访问网站、点击广告、注册服务、订阅时事通讯、下载应用程序或购买产品。
为了进一步改善这一点，公司已经开始不断地对用户进行试验。他们用不同的功能、网站设计、用户界面元素、标题、按钮文字、图片，甚至不同的折扣和价格进行测试，然后仔细监控和衡量不同的用户群体如何与这些变化互动。通过这种方式，企业系统地优化自己的能力，推动用户按照自己希望的方式行事。
新闻机构，包括像《华盛顿邮报》这样的大型媒体，使用不同版本的文章标题来测试哪个版本的表现更好。Optimizely 是此类测试的主要技术提供商之一，它为客户提供了“在任何渠道、任何设备和任何应用程序上广泛尝试整个客户体验”的能力，在不知情的用户身上进行实验已经成为新的常态。
Facebook 在2014年表示，为了“优化具体结果”或“为长期设计决策提供信息” ，它“每天进行超过1000个实验”。在2010年和2012年，该平台对数百万用户进行了实验，结果显示，操纵 Facebook 的用户界面、功能和显示内容可以显著提高人群的投票率。该平台对近70万用户进行了臭名昭著的情绪实验，实验涉及秘密操纵用户新闻源中情绪正面和负面帖子的数量，这最终影响了用户随后发布的情绪正面和负面帖子的数量。
在公众对 Facebook 的实验进行了大规模批评之后，在线交友平台 OkCupid 发布了一篇煽动性的博客，为这种做法进行辩护，称“我们在人类身上进行实验” ，“其他人也是如此”。Okcupid 报道了一个实验，在这个实验中，他们操纵了显示给成对用户的“匹配”百分比。当他们显示90% 的匹配与实际上不匹配的对匹配时，这些用户相互交换的消息明显更多。Okcupid 声称，当他们“告诉别人”他们是“很好的一对”时，他们“表现得好像他们是”。
所有这些伦理上高度可疑的实验清楚地证明了数据驱动的个性化影响行为的力量。
8. 天罗地网-日常生活，营销数据和风险分析
关于人们行为、社会关系和大多数私人时刻的数据，越来越多地被应用，或用于与记录完全不同的目的。特别是，它越来越多地被用于在金融、保险和医疗保健等关键生活领域对个人进行自动化决策。
市场营销和客户管理的风险数据
信用报告机构和其他风险评估领域的主要参与者，如身份验证、防欺诈、医疗保健和保险分析等，也主要提供营销解决方案。此外，大多数消费者数据经纪公司出于营销目的交易多种敏感信息，例如个人的财务状况。出于营销目的使用信用评分来关注或排除弱势人口群体，这已经演变成统一营销和风险管理的产品。
例如，信用报告机构 TransUnion 为零售和金融服务领域的数据驱动决策提供了一种产品，使客户能够“实施为客户、渠道和业务目标量身定制的营销和风险战略” ，包括信用数据和承诺“对消费者行为、偏好和风险的独特洞察力”。企业可以让消费者“根据自己的需求、偏好和风险状况，从一系列产品中进行选择” ，并“通过渠道评估一个客户的多种产品，然后只提供与自己最相关、对公司有利可图的产品”。同样，TransUnion提供的产品结合了“来自TransUnion的消费者信贷和市场信息”。
“监控不是了解你的秘密，而是管理人口，管理人员。”——Katarzyna Szymielewicz, Vice-President EDRi, 2015
在线身份验证与欺诈检测
除了在网上广告中开发的实时监控机器之外，在风险分析、欺诈检测和网络安全领域还出现了另一种形式的普遍跟踪和分析。
今天的在线欺诈检测服务使用了高度侵入性的技术来评估数十亿的数字交易，并收集关于设备、个人和行为的大量信息。在信用报告、身份验证和防欺诈方面的传统供应商已经开始监控和评估人们上网和使用移动设备的方式。此外，他们已经开始将数字行为数据与数十年来收集的海量离线身份信息联系起来。
随着以技术为中介服务的兴起，核实消费者身份和预防欺诈都变得日益重要并具有挑战性，特别是鉴于网络犯罪和自动欺诈。与此同时，今天的风险分析系统已经聚合了包含全部人口敏感信息的巨型数据库。其中许多系统覆盖了广泛的用例，包括金融服务的身份证明，评估保险和福利索赔，分析支付交易，以及评估数十亿在线交易。
这样的风险分析系统可以决定一个应用程序或交易是否被接受或拒绝，或者在网上交易中哪些支付和运输选项可供某人选择。在执法和国家安全等领域也使用了身份验证和欺诈分析的商业服务。身份和欺诈分析的商业应用与政府情报部门使用的应用之间的界限越来越模糊。
当人们被这种不透明的系统单独挑出来时，他们可能会被标记为可疑的，需要特殊的待遇或调查——或者他们可能会被拒绝而没有任何解释。他们可能会收到一封电子邮件，一个电话，一个通知，一个错误信息，或者系统可能只是扣留了一个选项，而用户从来不知道它的存在。不准确的评估可能会从一个系统传播到另一个系统。通常很难或不可能反对这种排斥或否认的负面评估，特别是很难反对某些人根本不知道的机制或决定。
在线欺诈检测和风险分析服务实例
网络安全公司ThreatMetrix对“全球数千个网站”的14亿个“独立用户账户”的数据进行了处理。该公司的数字身份网络(Digital Identity Network)捕捉了“数以百万计的日常消费交易，包括登录、支付和新账户创建” ，并为身份验证和防欺诈目的绘制了“人与其设备、位置、账户凭证和行为之间不断变化的关联”。该公司与 Equifax 和 TransUnion 合作。其客户包括 Netflix、 Visa 以及游戏、政府服务和医疗保健等领域的公司。
同样，最近被赛门铁克收购的数据公司 ID Analytics 运营着一个 ID Network，其中“每天有来自主要跨行业组织的1亿个身份元素”。该公司汇总了3亿消费者的数据，包括次贷、在线购物、信用卡和无线电话应用程序。它的 ID Score 评估了数字设备，以及姓名、社会安全号码、邮政和电子邮件地址。
Trustev，2015年被信用报告机构 TransUnion 收购，是一家总部设在爱尔兰的在线欺诈侦查公司，基于对数字行为、身份、手机、平板电脑、笔记本电脑、游戏机、电视甚至冰箱等设备的分析，评估客户在金融服务、政府、医疗和保险领域的在线交易。该公司为企业客户提供了分析访问者如何点击网站和应用程序并与之互动的能力，并使用广泛的数据来评估用户，包括电话号码、电子邮件和邮政地址、浏览器和设备指纹、信用检查、跨商家的交易历史、 IP 地址、移动运营商详细信息和手机位置。为了帮助“批准未来的交易” ，每个设备都会收到一个唯一的设备指纹，还提供了一种社交指纹技术，可以分析社交媒体的内容，包括“好友列表分析”和“模式识别”。TransUnion 已经将Trustev的技术整合到了自己的身份识别和欺诈解决方案中。
Screenshot of Trustev’s website, June 2, 2017 © Trustev
类似地，信贷报告机构 Equifax 称，它拥有近10亿台设备的数据，可以验证“一台设备的真实位置以及它是否与已知欺诈行为中使用的其他设备有关”。Equifax 声称，通过将这些数据与跨行业的“数十亿身份和信用事件相结合，可以发现可疑活动” ，以及与就业和家庭、家庭和同事之间关系的信息，它能够”识别设备和个人”。
我不是机器人
Google的reCaptcha 产品实际上提供了类似的功能，至少在某些方面是这样的。它嵌入到数百万个网站中，并帮助网站提供商判断访问者是否合法。直到最近，用户不得不解决几种快速的挑战，例如破译图片上的字母，在一个图片网格中选择物体，或者简单地点击一个“我不是机器人”复选框。
2017年，谷歌推出了一个看不见的 reCaptcha 版本，并解释说，从现在开始，“人类用户将被允许通过” ，没有任何用户互动，与“可疑的用户和机器人”形成对比。该公司没有透露使用哪种用户数据和行为来识别人类。调查显示，谷歌不仅使用 IP 地址、浏览器指纹、用户类型、移动鼠标的方式，或者在 reCaptcha 交互之前、期间和之后使用触摸屏，还使用了谷歌的一些 cookies。目前尚不清楚，没有用户账户的用户是否处于劣势，谷歌是否能够识别特定的个人，而不仅仅是“人” ，或者谷歌是否也将 reCaptcha 中记录的数据用于机器人检测以外的目的。
数字跟踪广告和欺诈检测？
为在线广告记录的无处不在的行为数据流，越来越多地流入欺诈检测系统。例如，市场营销数据平台 Segment，为客户提供了向各种不同的营销技术服务公司发送客户、网站和移动应用程序用户数据的便捷方式，也为欺诈检测公司提供了便捷方式。其中之一是 Castle，它使用“客户行为数据来预测哪些用户可能存在安全或欺诈风险”。另一个网站 Smyte 帮助“防止诈骗、垃圾邮件、骚扰和信用卡欺诈”。
大型信用报告机构Experian提供了一种跨设备跟踪服务，为数字营销提供通用的设备识别、网络和应用。该公司承诺，将协调和关联客户的“现有数字标识符” ，包括“ cookies、设备 id、 IP 地址等” ，为营销人员提供“无处不在、一致和持久的跨所有渠道链接”。
Experian的设备识别技术应用了41参数，来自一家2013年被收购的在线欺诈检测公司。基于41参数，Experian还为在线支付过程中的欺诈侦测提供了一种设备智能解决方案，该方案“为设备建立一个可靠的 ID 并收集丰富的设备数据” ，“在每一毫秒内识别每一个设备” ，以及“让支付背后的人具有无与伦比的可见性”。目前尚不清楚Experian是否在其设备识别服务中使用相同的数据进行欺诈检测和营销。
9. 绘制商业跟踪和档案版图
近年来，先前存在的商业监视做法已迅速演变为企业参与者的庞大版图，不断监视全体人们。在无处不在的追踪和分析生态系统中，一些行为者，如大型平台和其他拥有大量客户的公司，在其客户档案的规模和深度方面有着独特的地位。然而，用于在生活的许多领域对人们作出决定的数据大多不是保存在一个地方，而是根据需要从几个来源实时收集。
市场营销、客户管理和风险分析领域的大量数据和分析公司无缝地收集、分析、共享和交易消费者数据，并将其与数千家其他公司的进一步信息结合起来。虽然数据和分析行业提供了部署这些强大技术的手段，但许多行业的企业同样有助于增强收集数据的数量和细节，以及利用这些数据的能力。
除了大型的在线平台和消费者数据和分析行业，许多行业的企业都加入了如今普遍存在的数字跟踪和分析生态系统
谷歌和 Facebook，以及苹果、微软、亚马逊和阿里巴巴等其它大型平台，可以前所未有地获取数十亿人的生活数据。虽然他们有不同的商业模式，在个人数据行业扮演着不同的角色，但他们有能力广泛地支配整个数字市场的基本参数。大型平台大多限制了其他公司直接获取数据的方式; 通过这种方式，他们强迫客户在自己的生态系统中利用平台的用户数据，并从平台无法到达的地方收集额外的数据。
虽然与数亿消费者有着频繁互动的大型跨国公司处于某种类似的地位，但它们不仅获取他人收集的消费者数据，而且还经常提供数据。在金融服务和电信行业的部分领域，以及医疗、教育和就业等关键社会领域，大多数辖区都受到更严格的隐私监管，但许多公司已经开始利用或贡献数据给当今的商业监控网络。
向消费者销售产品和服务的零售商和其他公司大多也销售客户的购买数据。媒体集团和数字出版商出售关于他们受众的数据，然后这些数据被大多数其他行业的公司利用。电信和宽带供应商已经开始通过网络跟踪他们的客户。零售、媒体和电信领域的大公司已经或正在收购数据、跟踪和广告技术公司。随着Comcast收购 NBC Universal，以及美国电话电报公司最有可能收购时代华纳，美国的大型电信公司也正在成为巨大的出版商，创造强大的内容、数据和定位功能组合。随着收购美国在线(AOL)和雅虎(Yahoo) ，Verizon也成为了一个“平台”。
长期以来，金融机构一直使用消费者数据进行风险管理，如信用评分和欺诈检测，以及市场营销、客户获取和保留。它们用来自信用报告机构、数据经纪商和营销数据公司的外部数据来补充自己的数据。作为在线支付领域最知名的公司，PayPal 与超过600家第三方共享个人信息，其中包括其他支付提供商、信用报告机构、身份验证和欺诈检测公司，以及数字追踪生态系统中最先进的公司。数十年来，信用卡网络和银行与风险数据提供商共享客户的财务数据，但现在它们已经开始出于营销目的出售交易数据。
无数的大大小小的公司提供网站、应用程序、游戏和其他应用程序，这些都与营销数据生态系统紧密相连。他们使用的服务允许轻松地将用户的数据传输给数百个第三方服务。他们中的许多人把用户的行为数据流作为商业模型的核心部分出售。更令人担忧的是，提供新型设备的公司，如健身追踪器，也无缝嵌入服务，将用户数据传输给第三方。
为在线广告开发的无处不在的实时监控机器正迅速扩展到其他领域，包括政治、定价、信用评分和风险管理。世界各地的保险公司已经开始为客户提供实时追踪行为的程序，比如开车、健康活动、购买食品杂货或者去健身房。保险分析和金融技术领域的新玩家根据消费者数据预测个人健康风险，以及根据电话或网络搜索的行为数据预测个人信誉。
消费者数据经纪公司、客户管理公司和广告代理公司，如 Acxiom、 Epsilon、 Merkle 或 wunderman/wpp，在平台、跨国公司和广告技术领域之间的数据整合和连接方面发挥着重要作用。像Experian这样的信用报告机构在信用报告、身份验证和欺诈检测等非常敏感的领域提供许多服务，在当今普及的营销数据生态系统中也扮演着重要角色。
特别是那些提供数据、分析和软件服务的大公司也被称为“平台”。大型数据库和商业软件提供商 Oracle 近年来已成为消费者数据代理商。Salesforce，是客户关系管理领域的市场领导者，管理着数百万客户的客户数据库，但每个客户都有许多自己的客户。软件公司 Adobe 在分析和广告技术方面也扮演着重要的角色。
此外，大多数商业软件、分析和咨询领域的大公司，如 IBM、 Informatica、 SAS、 FICO、埃森哲、凯捷咨询公司、德勤咨询公司、麦肯锡咨询公司，甚至是情报和防务公司，如 Palantir，也在个人数据的管理和分析中扮演着重要角色，从客户关系管理到身份管理，从营销到保险公司以及银行和政府的风险分析。
10. 一个无处不在被数字控制的社会？
这份报告发现，在线平台、广告技术提供商、数据经纪人和其他企业的网络现在可以监控、识别和分析生活中的个体。关于个人特征和行为的信息实时地被跨公司、数据库、平台、设备和服务链接、组合和利用。由于参与者仅以经济目标为指导，一种数据环境已经出现，在这种环境中，人们不断地对个人进行调查和评估、分类和分组、排序、编号和量化、包括或排除，因此，对待方式也不同。
近年来的几个关键发展迅速给无处不在的公司监控带来了前所未有的新特性。其中，包括社交媒体和网络设备的兴起，行为数据流的实时跟踪和连接，在线和离线数据的合并，以及市场营销和风险管理数据的整合。普遍的数字跟踪和分析，结合个性化和测试，不仅用于监测，而且系统地影响人们的行为。当公司利用日常生活中的数据对人们做出琐碎而重要的自动决策时，这可能会导致歧视，加剧甚至恶化现有的不平等。
尽管它无处不在，但个人只能看到数据和分析活动的冰山一角。其中大部分内容仍然不透明，几乎没有被绝大多数人理解。与此同时，人们抵制这种数据生态系统威力的选择越来越少; 选择退出无处不在的跟踪和分析基本上已经成为选择退出现代生活的同义词。尽管企业领导人辩称，隐私已经死亡(尽管他们非常关心自己的隐私) ，但马克•安德烈耶维奇(Mark Andrejevic)表示，人们确实意识到了当今数字世界的权力不对称，但“面对日益复杂和全面的数据收集和挖掘形式，人们感到无能为力”。
有鉴于此，本报告着重于当代个人数据行业的实际做法和内部工作。虽然情况越来越清楚，但大部分的系统仍然处于黑暗之中。加强公司数据做法的透明度仍然是解决数据公司和个人之间大规模信息不对称的关键先决条件。希望这份报告的调查结果能够鼓励学者、记者和其他人在公民权利、数据保护、消费者保护等领域的进一步工作，最好还能鼓励政策制定者和公司本身的工作。
1999年，劳伦斯•莱斯格(Lawrence Lessig)曾有一个著名的预言: 如果任其自生自灭，网络空间将成为一个完美的控制工具，主要受到市场“看不见的手”的塑造。他建议，我们可以“建造、设计或编码网络空间，以保护我们认为是基本的价值观，或者我们可以建造、设计或编码网络空间，让这些价值观消失”。今天，数十亿美元的风险资本涌入基于肆无忌惮地大量利用数据的商业模式，后者几乎成为现实。美国隐私管制的缺失和欧洲隐私管制的缺失，已经阻碍了其他类型数字创新的出现，也就是说，可能阻碍了自由、民主、社会正义和人类尊严的实践、技术和商业模式。
在更广泛的层面上，数据保护立法本身不会减轻数据驱动世界对个人和社会的影响，无论是在美国还是在欧洲。虽然同意和选择是解决侵入式数据收集中一些最紧迫问题的关键原则，但它们也可能产生自愿性的错觉。除了反歧视、消费者保护和竞争法等其他监管手段之外，还需要作出重大的集体努力，以实现未来信息社会的积极愿景。否则，我们可能很快就会陷入一个无孔不入被数字社会控制的社会，在那里，隐私如果它仍然存在的话，成为了富人和权贵的奢侈品。
可能，已经各就各位。
（编译自http://crackedlabs.org/dl/CrackedLabs_Christl_CorporateSurveillance.pdf）
关联阅读：