Keras作者炮轰：Facebook将沦为极权主义监狱

2018年03月22日，谷歌研究员François Chollet在发表一系列推文抨击由AI驱动的Facebook很快就会成为“极权主义的圆形监狱”，他警告说，Facebook的问题不仅仅是隐私泄露或缺乏信任，而是由AI驱动的Facebook很快就会成为“极权主义的圆形监狱”。

他呼吁研究人员：“请表现出一些良知”。

François Chollet：有良心的科学家都不该为Facebook工作

“我们目睹的是一个强大的实体，它建立了超过20亿人的精细心理特征，进行着大规模的行为操纵实验，它的目的是开发出世界上最好的AI技术。就我个人而言，这真的令我感到害怕。”Chollet昨天发推特说，“如果你是做AI的，请不要帮助他们。不要玩他们的游戏。不要参与他们的研究生态系统。请表现出一些良知。”

根据François Chollet的LinkedIn个人资料，自2015年8月以来，Chollet一直是谷歌的一名软件工程师和AI研究人员，专注于深度学习领域的研究。他最有名的头衔是Keras的主要作者，Keras是一个有世界各地数十万AI研究人员使用的开源深度学习库。

Chollet认为，在Facebook事件中，问题不仅仅是“你的隐私受到了损失”，也不仅仅是你的隐私可以被用作极权主义的“圆形监狱”这一事实。在我看来，更令人担忧的问题是，数字信息消费被用作一种心理控制的媒介。

世界在很大程度上受到两个长期趋势的影响：首先，我们的生活日益被非物质化，包括在工作和家中线上的信息消费和信息产生。其次，AI变得越来越聪明。

在影响我们如何消费数字内容的算法层面，上述两种趋势有重叠。不透明的社交媒体算法正在越来越多地决定我们阅读哪些文章，我们与谁保持联系，我们阅读谁的观点，获得谁的反馈。

经过多年的训练，算法对我们所消费信息的处理使得这些系统在我们的生活中掌握了相当大的权利，决定了我们成为什么样的人。由于我们的生活很大程度上已经转移到数字领域，我们变得非常容易受到那些规则——AI算法的影响。

在这么多年的时间里，如果Facebook能够决定让你看到哪些新闻（真实的新闻或假新闻），让你看到谁的政治地位在提升，以及让谁看到你的动态，那么Facebook实际上就已经在控制你的政治信仰和你的世界观。

这并不是什么新鲜事，至少从2013年开始，Facebook就已经进行了一系列的实验，它们通过调整新闻信息流（newsfeeds）的内容，成功地控制了不知情的用户的情绪和决策，并且能够预测用户未来的决策。

简言之，Facebook可以同时窥测我们的一切，并控制我们消费的信息。当你能同时触及感知和行动，你就会看到一个AI问题。你可以开始为人类行为构建一个优化循环。一个RL循环。

在这个循环中，你可以观察目标的当前状态，并不断调整向它提供的信息，直到观察你想要的结果和行为。

人工智能研究领域的很大一部分（特别是Facebook一直在投重资研究的领域）是开发算法，以尽可能有效地解决此类优化问题，从而关闭这个loop，并实现对所处理的现象的完全控制。

在此次事件中，被完全控制的是“我们”。

“前任”们也倒戈：卸载Facebook，它是“社交验证反馈循环”

与François Chollet相比，WhatsApp联合创始人Brian Acton对Facebook的态度更加强硬，在剑桥分析公司事件发生不久之后，他发了一条推特：It’s time.#deletefacebook（该卸载Facebook了）。

WhatsApp拥有每月15亿活跃用户，于2014年2月被Facebook以超过160亿美元的天价收购，Brian Acton在去年9月离开WhatsApp。

实际上，Brian Acton并非唯一一个倒戈的“前任”。去年，Facebook有两位离任高管对前东家表现出担忧和质疑。

一位是Facebook的前用户增长主管（former head of user growth）、风险投资家Chamath Palihapitiya，他在Facebook有6年的任职经历。去年11月他在斯坦福大学商学院演讲的时候说，Facebook鼓励“虚假、脆弱的人气”，让用户感到空虚，以及需要受到关注，人们继续不得不分享他们认为会获得其他人赞同的帖子，形成了“恶性循环”。

“我们创造的工具正在撕裂社会运作的结构。我们确实是在这么干”。

之后，前Facebook总裁Sean Parker也在另外一个场合表达了对社交网络的担忧。他说，Facebook的发展让人上瘾，他将Facebook描述为一种“社交验证反馈循环”（a social-validation feedback loop）的模式，利用人性的弱点来博取用户的注意力。

Sean Parker曾是Facebook的创始人之一，他自诩为社交媒体“有良心的反对者”，他认为像Facebook在全球每月有20亿用户的社交媒体巨头，实际上已经改变了用户与社会之间的关系。

Sean Parker并没有具体说明Facebook如何利用人性的弱点来博取用户的注意力。但François Chollet认为，由于人类的思想极易受到简单的社交操纵模式的影响，这种行为被称为“心理攻击模式”。

其中一些攻击模式已经在广告中使用了很长时间（例如积极/消极的社交强化），但是它们是非常弱的、没有针对性的形式。从信息安全的角度来看，人的这种心理可以被视为“漏洞”：已知可以用来控制一个系统的漏洞。

François Chollet，就人类的思维而言，这些漏洞永远没法修补，因为它们就是人类的思维运作的方式。它们存在于DNA中。对个人而言，我们没有切实可行的方法来防御它们。

“人类的思维是一个静态的、易受攻击的系统，它将越来越多地受到越来越智能的AI算法的攻击，这些算法同时观察着我们所做的、所相信的所有事情，并且完全控制着我们所接触到的信息。”