微软郑宇再谈“上海踩踏事件”，用时空残差网络解决公共安全问题

微软郑宇再谈“上海踩踏事件”，用时空残差网络解决公共安全问题

1 新智元报道

作者：零夏

【新智元导读】近日微软亚洲研究院主管研究员郑宇发在 AAAI 2017 发布了其团队用深度时空残差网络预测城市人流量的论文。他在微博上称这是兑现了“上海踩踏事件”后的承诺。本文结合郑宇演讲和论文，介绍该项目训练数据获取及整合、如何融合外部因素和时间空间相关性、为什么选择深度残差网络等方面，并且讨论该技术在实际应用中的成本，以及深度学习对其它社会公共问题的解决方案。

【人物简介】郑宇 (博士、教授、博导)，微软亚洲研究院主管研究员、美国计算机学会杰出科学家(ACM Distinguished Scientist)、上海交通大学讲座教授（Chair Professor）、香港科技大学和香港理工大学客座教授。

郑宇

郑宇团队一直从事城市计算的相关研究，之前他们利用机器学习对雾霾进行预测。这篇关于城市人流量预测的AAAI论文也是首次（在国际知名学术会议上）公开发表的把深度学习用于城市大数据的研究成果，并开启了深度学习在时空数据中的探索之路（以往的深度学习的研究通常集中在视频、图像和文本数据上）。新智元于2月9日参加郑宇对论文的分享，并且对郑宇进行了访谈。本文将结合郑宇演讲和论文，从训练数据获取及整合、如何融合外部因素和时间空间相关性、为什么选择深度残差网络等方面进行讲解，并且讨论该技术在实际应用中的问题，以及深度学习对其它社会公共问题的解决方案。

起因——上海外滩踩踏事件

2014到2015的跨年之夜，在上海外滩发生的一起踩踏事故，事故造成多人伤亡。事故发生前外滩地区人流量超过100万人、超出该地区人流容量上限（30万人）达2倍多。

悲剧发生后，郑宇在微博上表示：“上海的踩踏悲剧完全可以通过基于手机数据的城市异常检测来避免。当发现人流过于聚集并且移动滞留，就可以提前预警和疏散... 是时候加快城市计算的产业化了。”

他认为，如果我们能够在提前几个小时就知道外滩会有多少人进去，多少人出来，如果我们知道，进去的人远远大于出来的人，而且知道这个地方的存在容量不足以支撑这么多人停留的时候，我们就应该提前做管控，发布一些疏导信息，甚至提前倡导不要进入该区域。因为这么多人一旦聚集在一个地方，上百万人，仅靠一两百个警察或管理人员来维护秩序是很难做到的，那个时候就为时太晚了。

所以当时郑宇就有了这个想法。他说，这次也算兑现了自己的承诺。当时在说这个的时候，有很多人不太理解，因为他们对技术背景可能并不是那么熟悉，觉得这是不可能做到的。但现在我们真的把它做出来了，还结合一些实际的案例，证明这个技术是可行的，其实可以推广到很多城市，对我们的城市公共安全和交通等管理都有很大的价值和帮助。

时空深度残差网络预测城市人流量技术解读

郑宇表示，传统的预测人流量是从个人出发，把每个人的运动轨迹预测来，然后再按区域对进出的人流进行整合，从而得到各个区域的人流量。这不仅涉及到个人的隐私问题，而且准确性也很低（要准确预测每个人的活动是一件非常困难事情）。也有通过基于物理学模型、交通动力学模型之类的经典模型的方法，但这些方法难以应对大范围（整个城市范围）、高密度(上千万人口）和细粒度时空范围（每平方公里、每小时）的集成、同时预测（即不是每个区域单独预测，而是所有区域同时预测，因为各个区域的人流量有关联性）。

而他们这次研究是第一次将深度残差网络用于时空数据，提出了时空深度残差网络模型（ST-ResNet），把整个城市，比如说北京地区，划成很多个网格，多个网格进行同时分析，所以它是一种整体性的预测。

城市人流量预测三大挑战

郑宇提到城市人流量预测三大挑战：

1.影响到人流量的因素非常之多，与区域里面前一个小时，有多少人进和出有关系，与周边区域有多少人进和出也有关系，甚至很远的地方，有多少人进和出对这个地方的人流量也会有影响。一旦一个大型事件发生的时候，很多人会从很远的地方坐地铁，或者通过高速公路前往，并不直接经过该周边区域，就直接达到，所以一个地方的人流量不光只是取决于周边有多少人。

2. 外部的影响因素多：天气、事件；

3. 时间、空间属性导致其他的深度学习方法如 CNN、RNN、LSTM 在这里无效。空间特点：距离和层次；时间特点：相近的时间人流量是平滑的，但还要看它的周期性和趋势。

训练数据的获取和整合

该论文中所用的数据来自北京近几年的出租车数据和纽约的自信车租赁信息。新智元请郑宇介绍数据经验，包括如何拿到这些数据并且如何把这些数据变成可以训练、可以评测的数据。郑宇表示，BikeNYC 是公开数据，北京和贵阳的数据是跟政府进行合作获得。数据大小是TB级。

数据其实是一个很重要很关键的问题，特别是现实中我们面临多元异构异源的融合问题，可用的方法包括拼接技术、通过语义等方法融合。在郑宇另外一篇发在 IEEE Transaction on BigData 创刊的文章 “Methodologies for cross-domain data fusion: AnOverview”主要就是讲数据的整合。

郑宇团队在贵阳市做了一个真实的系统，这个系统现在正在实实在在的运转中。大家看到系统现在每分每秒都在不停的进来数据，然后系统也在不停的去预测。

在这个项目中城市被划分成1km*1km的格子。然后人流量数据也好，或者是出租车轨迹也好，把它投射在这个网格里面，生成一些简单的热度图。比如说红的网格就说明这地方人越多。然后系统会同时有对应的事件和天气信息，这些内容相结合就构成了现在的一个数据输入。把以前的时空数据转换成这样一个模式，生成很多帧，这样就是一个序列了。然后去预测，每个格子里面未来会有多少出租车的进和出。如果可以给系统人流量的数据，系统就能预测对应这个数据的人流量。比如通过手机信号，系统就可以预测，比如有多少人进出地铁的刷卡记录，系统就能预测地铁站有多少人进和出。这个模型是通用的，使用时只需要在数据上面去验证这个模型的准确性和有效性。

把时间和空间特点融合进训练过程

有了这些数据之后是不是直接用深度学习就可以了呢？答案是否定的。那怎么来做呢？郑宇说，首先把最近几个小时的数据，比如说最近这几帧的数据输入到一个深度残差网络里面，我们叫时空残差网络里面来模拟。

首先，模拟相邻时刻，对应最近的这段，它应该是一个平滑的过程，比如晚上六点跟七点流量变化不会很大。

第二，把对应时间点昨天这个时刻，比如说昨天的两点钟，前天两点钟以及再往前面同一时刻的这个数据，作为输入来模拟周期性。把前面这几个对应时间点的数据拿来作为参考，就相当于把周期属性考虑进来了。

第三，把更远时间点相同时间点（比如上个月、以及上上个月礼拜三下午2点钟）的数据拿进来，然后模拟趋势性。

所以这边分别是模拟刚才说的那3个时间属性，平滑性、周期性以及趋势性，这3个残差网络结构都是一样的，都是深度残差网络。

这3个结果出来之后，系统会做一个融合。第一部分融合，就是只考虑它的时间空间属性。再把外部因素拿过来做2次融合得到一个结果。因为外部因素，比如世界的天气情况，可能也是整个全局的、广域的。

刚刚是讲怎么模拟时间3个特性，那空间特性怎么模拟的呢？就看着里面的一个结构，它抓的正是空间属性。我们就进去看看这个深度残差网络到底是怎么个结构。

我们都知道深度卷积神经网络，是这样一个过程，它把一些区域划成格子之后，把相关的区域做一个卷积运算再合并到一个值。你可以认为，通过卷积之后，我们把周围地区的这种人流量的相关性给抓住了，卷积多次之后，相当于把很远地方的属性都卷积到一起了。

为什么要用深度残差网络？

如果你想捕捉很远的地方跟你这个地方的相关性的话，网络层次就必须比较深。如果只有一层的话，你根本抓不到很远的地方的相关性。可一旦网络层次比较深，我们的训练会变得非常复杂、非常困难。为了保证训练效果，提高训练精度，我们引入了深度残差网络，来做这个事情。

这就是为什么我们要用残差网络来解决这个问题。为了能够捕捉距离不同的区域之间的人流量的空间相关性，我们需要很深的卷积神经网络，但是一旦卷积神经网络很深，训练效果就变得很差，所以另一方面需要借助深度残差网络这个结构来使训练效果变得更好。这部分其实是抓住了空间的属性。

而前面刚刚说的这个结构就是时间，这3个是时间的平滑性、周期性和趋势性，而每一个内部就抓住了空间的特性，就是在相邻的此刻，他们的是空间怎么样的，在周期上，空间是怎么样的。

因为有了之前对时空数据深刻的理解，我们才能设计出这样一个网络结构来，这网络结构的优势是什么呢？为什么不直接用深度神经网络，为什么不用RNN的网络？LSTM为什么不能直接用呢？

郑宇说，直接用传统的RNN和LSTM，如果你希望数据里面包含周期性和趋势性，那你输入的数据就必须很长，如果你只用了最近两个小时的数据进行输入，你不可能从里面体现周期性，也不可能体现趋势性。但如果你把过去3个月的数据做了RNN输入的话，这个模型就会变得非常大，非常复杂，最后是很难训练的，效果也很不好。

在我们的模型里，我们根据先验知识，只需要抽取一些关键帧，比如说昨天同一时刻，前天同一时刻，其他时间可以不做输入。这样的话，大概只要用几十帧的关键帧，就可以体现出我们几个月里面所包含的周期性和趋势性，使得我们的网络结构大大简化，训练的质量和效果也大大提高，这就是很关键的一个地方。

新智元记者问道，这次的神经网络做到多少层呢？郑宇表示，这个项目采用了不同的参数做实验，现在得到最好的结果是24层。具体多少层效果最好，跟不同的应用和数据规模都有关系。对于不同的问题，最好效果的层次是不一样的。如果现在换成上海市的数据训练，可能效果最好的层数又不一样了。

实际应用成本高吗？

新智元：训练需要多长时间？

郑宇：训练时间大概一两天，根据具体问题有所不同，使用的计算资源不同而不同，总体说来不会太慢。

新智元：如果应用的话，需要很多算力嘛，成本是否是这些公共部门可以承担的？

郑宇：线上运行花的钱不多，但是你要接入在线的数据。成本方面最大的成本是数据接入成本，第二才是离线训练，最后是线上的运行，其实花不了太多钱，几块GPU就搞定了。我相信这是一个可以承担的合理数字。

新智元：有没有跟政府合作应用？

郑宇：目前我们与贵阳政府有合作，贵阳政府的大数据基地目前是唯一可以接入实时数据的，但是因为城市规模以及出租车数量相对一线城市有差异，所以数据量不大。

在雾霾、反恐等其它方面的应用

新智元：您觉得这次的研究成果接下来会在哪些领域得到最快的应用？

郑宇：在交通管理和公共安全部门会最先应用。之后地铁调度也可以用到。

新智元：您还做过雾霾的预测，请问这方面用到的技术又是什么？是否也是深度残差网络？雾霾预测有什么新的进展吗？

郑宇：雾霾跟这个问题不一样，。雾霾以前根本不能用深度学习做，因为数据量不够大。我们中国是2012年才开始对外公布pm2.5浓度，站点也不是很多，且每个小时才公布一次空气质量读数，因此样本不是很多。随着时间越来越久，慢慢的就可以开始引入深度学习的方法来做。即便要用深度学习也得有讲究，要考虑数据的时空属性，以及样本的不充裕。因此，这个网络结构怎么优化，怎么利用时空数据的特性，怎么降低这个层次，同时保证精度，还是有一定难度的。深度学习在时空数据上的探索，绝对不是直接的拿来主义，还有很多问题有待解决和深挖。

新智元：反恐方面，人工智能有些什么样的解决方案？论文提到的技术，在反恐方面有应用前景吗？

郑宇：反恐也是完全不一样的问题，它属于异常检测，是否能提前知道可能发生的事情，并不是大样本的数据。可以通过机器学习来做。

【寻找AI独角兽】新智元联手10大资本

启动2017创业大赛

AI 创业大赛由新智元与10 家主流 AI 创投机构：蓝驰创投、红杉资本中国基金、高瓴智成人工智能基金、蓝湖资本、蓝象资本、IDG资本、高榕资本、中信建投证券、明势资本、松禾远望基金携手发起，由新智元主办，北京市中关村科技园区管理委员会、中关村科技园区海淀园管理委员会支持，是一场聚合了 AI 技术领袖和投资领袖的盛会。新智元向满怀雄心的未来AI独角兽提供强大的创投资源对接机会，顶级风投 TS 等你来拿。

http://form.mikecrm.com/gthejw

点击文章下方阅读原文，在线填写报名申请报名表。该报名表为参与评选必填资料。

如有更多介绍资料（例如BP等），可发送至 xzy100@aiera.com.cn，邮件标题请注明公司名称。如有任何咨询问题，也欢迎向该邮箱发信联系。

大赛咨询，请添加新智元微信号：