1.

当地时间 3 月15日下午 1 点 40 分左右，新西兰基督城发生恐怖袭击。已确认有 50 人遇难，另有 50 人严重受伤。遇难者不乏儿童，妇女和老人。

相信这个新闻，大多数人都已经知晓了。在这里再简述一下大致经过。3 月 15 日下午，新西兰的两座著名清真寺，先后遭到枪手袭击。枪手对手无寸铁的民众进行扫射，包括对街道的来往车辆进行扫射。随后，基督城医院也发生了枪击。同时，警察在嫌犯的两辆汽车上发现了大量汽车炸弹，所幸没有引爆。奥克兰火车站和商场附近也发现了疑似爆炸包裹，但没有相关伤亡报告。至今，警察已经抓捕了 4 名嫌犯。

或许是新西兰这个国家本身离国际政治的漩涡较远；或许是中国民众对新西兰的熟悉程度远没有美国强烈。不管怎样，我发现这个事件在中文媒体上，并没有引发太大的讨论。但是，目测，站在国际历史的角度，这个事件将产生深远影响。事件本身已经再次带动很多国家对“白人优越主义”这一极端思想的讨论和控制。恐袭后，新西兰的枪支卖到脱销，但与此同时，就在当地时间 3 月 21 日，新西兰政府改写了法律，实施了“禁枪令”。这些事情不仅对新西兰产生了巨大影响，更进一步将对世界范围对枪支控制问题的态度产生影响。另外，由于一名嫌犯已确认是澳洲国籍，这也使得新西兰和澳洲这两个看似不太介入国际事务，在一般民众看来是 super safe 的国家，产生了微妙的变化。

但是，作为一个技术向的专栏，这些政治，经济，世界格局变化相关的问题，不是我想讨论的重点。整个事件有一个更加与众不同的地方，和技术息息相关，甚至，在我看来，有可能引发技术世界的震荡。

2.

在这次恐袭事件中，一名嫌犯，头戴一个配备了 go pro 的头盔，在 Facebook 上直播了枪击过程，画面极其血腥残酷。待 Facebook 发现事态异常，做出反应，封禁了凶手的账号，整个视频已经在网上直播了 17 分钟。

对于整个硅谷，这一切还只是一个开始。

很多同学可能并不了解，即使是 Facebook、Google 这些国外平台，也是拥有着一个庞大（或者说是相对庞大）的审核队伍的。这些审核人员，每天处理的，就是对违反平台规范的内容进行“删帖”处理。通常，这些规范包括：色情内容；盗版内容；宣传仇恨或者极端思想的内容；极度反人性的内容，等等等等。

我在这里列举的这些内容规范，看似很容易。实际上，每一个标准都蕴含着巨大的灰色空间。比如：什么是色情内容？露点就是色情内容？那断臂的维纳斯怎么算？而另一方面，很多不露点的视频，反而更具色情意味，对青少年拥有更强大的诱惑力和破坏力。这个问题本身就是一个很深刻的问题，甚至可以专门做成学术研究了。但在实践中，色情和非色情的分界线到底在哪儿？在这些审核人员的主观判断中。

其实，在 Google 离开中国之前，由于中国的法律原因，Google 中国就拥有一支庞大的“鉴黄师”团队。我曾经认识一个同学，本科时期在这个团队里实习过。嗯，是的，这个团队不做技术工作，天天观摩不良信息内容。有兴趣的同学，可以在网上搜索“鉴黄师”这个职位，这个职位现在依然存在。甚至，很多这些大企业大平台的工作人员，了解到了其中巨大的需求，辞职创业，提供这种“审查”服务。毕竟，这种“审查”工作所需要的人员素质，和这些IT巨头整体需要的人员素质，拥有着巨大的差异。外包，或许是最划算的。

说回新西兰恐袭，在凶手在 Facebook 上直播了 17 分钟之后。这段视频在互联网上真真正正地火了。从某一个角度看，这近乎是人类历史上第一次从凶手的角度进行相对完整的杀人视频直播。在 Facebook 这一个平台上，这段视频的上传量，在 24 小时内，就达到了 150 万次。注意，是上传量，不是播放量！同时，被 Facebook 拦截的这段视频的上传数，达 120 万次。这还仅仅是 Facebook 这一个平台。

而实际上，这段视频传播最广的平台，是宇宙第一视频网站—— Youtube。但是，Youtube 官方至今都拒绝透露，他们究竟删除了多少相关视频。可以肯定的是，这段视频上传的频率，是以毫秒为单位计算的。

3.

很多同学一定会想，难道不能使用人工智能技术自动鉴别这段视频吗？

事实上，如果大家上传的视频都是原始版视频，使用自动化技术鉴别它是极其容易的，根本不需要动用人工智能。对视频文件计算一个哈希值，直接匹配就好。但问题的关键是，up 主们知道这段原始视频一定被禁止上传，所以想出各种各样的方法“改编”视频。

这其中的方法包括：或者改变视频的分辨率；或者对视频进行剪辑，截取部分内容；或者为视频添加水印；或者在其中插放其他过场动面或者解说。“人道”一些的 up 主，会给视频中的部分内容打上马赛克 —— 但是，这无法改变这段视频宣扬暴力的实质，反而为视频的自动化审查添加了巨大的麻烦。甚至，有的 up 主，动用更加现代化的工具，将视频中的人物头像，都修改成了动物头像。整个视频看起来就是在打电子游戏。呵呵，是的，我们的人脸识别技术可以轻易做到这一点，但是，鉴别技术却无法识别，这到底是一段“宣扬暴力的真实杀人直播”，还是一个 16 岁小孩卧室中的电子游戏直播。

由于这段视频上传量太大，Youtube 团队还是采取了史无前例的措施。过早的启动了自动化人工智能工具，来自动识别这段视频。如果有机器学习背景的同学都明白，使用机器学习解决这个问题，是一个典型的分类任务，更进一步，是一个二分类任务。机器只需要识别每段视频，是或者不是新西兰枪击案直播，就好了。但是，这个识别过程并不容易。一方面，视频数据本身，相比图像数据，数据量高出了太多，整体数据处理规模上升了好几个台阶；另一方面，要想训练出一个性能优良、识别率高的模型，不是写一两行代码就能搞定的事情，需要算法工程师们夜以继日地调参和测试。这绝不是一个在 24 小时内可以搞定的任务。但 Youtube 团队在 24 小时内，决定使用机器接手。

这么短的时间，上线的“智能”，一定有巨大的错误率。这个错误，或者是漏判，即本来是枪击视频，但是机器没有识别出来；或者是误判，即本来不是枪击视频，机器却误以为是枪击视频。了解机器学习的同学应该了解，这两类错误是互相牵制，此消彼长的。通过调节参数，减少了一方错误，就会增加另一方错误。在这个事件中，明智的选择，显然是要尽量降低漏判的几率，所以，得到的结果，就是产生了大量的误判。在一段时间中，Youtube 很多无辜的 up 主受到了牵连，无法上传正常的视频。

4.

这样的危机，在 Youtube 内部，也不是第一次发生了。近乎就在几个月前，就有很多家长投诉 Youtube，有 up 主上传小猪佩奇的动画片，但看到一半的时候，会突然播放恐怖的，怂恿儿童自残甚至自杀的片段。这些片段可能只会持续几秒钟。现代的人工智能技术还完全无法检测到一段正常视频中间，是否夹杂了这样的片段。要想识别出含有这种片段的视频，近乎只能靠举报，之后删除。可是，这样的事后弥补，伤害显然已经造成了。更可悲的是，即使我们知道了有这样的行为，我们依然无法自动化的事前预防。因为这种“极端思想的宣扬”，可以以任何一种画面形式表达出来。相较而言，大吹大擂的人工智能，真的是人工智障。

要想事前预防，近乎只能进行人工事前审查。但对于 Youtube 这种规模的视频网站而言，这几乎是不可能的。2017 年的数据，Youtube 每分钟就有 400 小时的视频上传，这个数据还在逐年，甚至是逐日攀升。

人工智能完全无法应付这项工作，至少现在不能，在短时间内，也很难完成。这是一个明显的“强人工智能”才能解决的例子。虽然机器只需要回答 yes 或 no，但是为了能够理想地回答好这个问题，机器需要拥有和人类一样的经验力、推导力、主观判断力、甚至是直觉。事实上，不要说视频了，即使是图片，现在我们还只是在为机器可以更好地识别图片中到底是什么动物，什么场景而庆祝。但这些任务，幼儿园的小朋友都能分分钟完胜那些上亿美元投资的项目。

在新西兰枪击案发生三天之后，新西兰总理更是直接把矛头对准了 Facebook，为什么枪手直播了长达 17 分钟之久之后，Facebook 才做出反应？

Facebook 为此已经忙作一团。甚至，已经开始探讨是否要停止“直播”业务。毕竟，开展直播这样一个服务容易。但要能即时，准确地辨别直播内容是否合法，是否在宣扬极端思想，这已经不是技术水平上难了几个数量级的问题了。而是，人类现代的科技，根本做不到。

5.

让整件事情朝着更坏的方向发展的，则是所谓的推荐系统。事件发生初始，这段直播视频只是产生了一定的热度。毕竟，这是一个国际关注的事件，与此同时，人总会有一定的猎奇心理。但是，推荐系统则直接起到了推波助澜的作用。

如果你去学习专业的推荐系统知识，你会遭遇大量宛如天书一般的公式。但是，如果用人话把推荐系统的原理说出来，那么非常简单 —— 别人喜欢的东西，特别是你的朋友，你的亲戚，或者和你相似的人喜欢的东西，那么八成也就是你喜欢的东西，推荐系统就推荐给你。在整个事件中，推荐系统收集到了越来越多的人对于这件事情关注的热度，之后推波助澜地又将这些视频推荐给了更多的人。推荐系统忠实地履行着自己的算法。但是，很多人开始指责系统为什么会被设计成推荐这样的视频？算法工程师们莫名奇妙地背了一口大锅。

可是，推荐系统在运行过程中有一个基本假设，就是内容本身，应该是安全的。这就好比在我们讨论吃什么的时候，不会思考我们所选择的食材，可能有一部分有毒一样。然而，在互联网的世界中，这个假设其实根本就不成立。之前文章已经分析了，实时准确地辨别视频内容是否安全，还不是人类在当下这个时代所掌握的科技。

如今，很多媒体在报道新西兰事件中，需要小心地使用关键词，才能不被推荐系统带歪，把自己的新闻和有可能再次卷土重来，或者本身就没处理干净的枪击案直播视频联系起来。虽然有些夸张，但我已经隐隐看到了人类无法控制机器，畏惧机器，小心翼翼地在机器指定的规则下苟活的影子了。
从另外一个角度看，整个社交网络，突然变得和“核弹”一样。人类制造了它，却无法驾驭它。恐怖主义正在以一种新的方式，将社交网络武器化。这种武器的伤害，直指人类的精神世界。但是，貌似现如今我们还不能控制这种武器带来的伤害；而关闭所有的社交网络，显然也不可行。社交网络好像另一个“潘多拉的魔盒”，已经被打开了，却再也关不上。

6.

实际上，在技术的世界中，早就有一派人士，一直在大声疾呼：很多技术并没有经过有效的“安全”验证，就已经被极大规模地运用在了各个领域。诚然，这些技术一定极大地方便了我们的生活，但是这样的方便背后，究竟牺牲了什么，我们还不知道。或者我们知道，但暂时选择了无视。

对于很多“传统”行业，比如实施一个建筑工程，或者设计一款新的车型，或者对一片新的矿区进行勘探，我们所需要付出的事前准备工作和安全验证工作，都是巨大的，繁琐的。连带一系列安全问责机制，已经在事前被建立明确了。相较而言，上马一个互联网项目，事前的安全准备工作近乎为 0。我们甚至完全没有与之匹配的标准、流程、心理准备。与此同时，公认的，大多数已有的互联网项目中，对安全的控制，都是远远不足以承载这个项目本身的重要程度。这是一个很残酷的事实。

人类发展技术，却忽视技术本身在人类社会中应用可能产生的安全风险，我将之称为“技术优越主义”。新西兰枪击案的凶手大力鼓吹“白人优越主义”，是在宣扬白色人种族裔优于其他人种；那么我们当今世界很多人所追求的技术发展，如果稍微深思一下，的确是隐含着技术优于人类的思想。

我热爱技术，并一直关注着技术的发展。但我不希望，技术，在我，和我们的关注下，一步一步变成魔鬼。