阿里巴巴华先胜：城市管理的三个问题、三大挑战及解决方案

近日，由雷锋网主办的AI盛会 ——「2018中国人工智能安防峰会」，在深圳科兴科学园国际会议中心顺利召开。

下午场中，阿里巴巴集团副总裁、达摩院机器智能实验室副主任华先胜博士在大会上发表了主题为《城市大脑中的的大规模视觉智能》的演讲报告。

华先胜作为视觉识别和搜索领域的国际级权威学者，获得过美国计算机协会ACM2015年度杰出科学家、MIT TR35大奖(全球35位35岁以下的杰出青年创新人物)等荣誉，也曾担任ACM Multimedia大会的程序委员会主席。现任阿里巴巴集团副总裁，达摩院机器智能实验室副主任。

华先胜在演讲中介绍到，阿里巴巴在两年前就已经有两个团队开始探索实现城市智能大脑。当前AI技术的发展、计算机算力的不断提升以及每天城市数据的超大规模汇聚，都促使着城市智能大脑的飞速发展。

华先胜表示，城市智能大脑的核心就是利用不断发展的AI技术和逐步增长的计算能力，来挖掘城市中国大量异构数据不可替代的价值。这种不可替代的价值体现在，通过分析这些城市数据为城市的管理和服务进行全面、实时的优化，从而让整个城市的管理和服务更加的便捷和灵活，同时对城市的安全管理也有很大帮助。他期望城市大脑最终能成为一个城市像水煤电一样的基础设施。

以下是华先胜的演讲实录，雷锋网AI掘金志做了不改变原意的整理与编辑：

华先胜：我之前讲城市大脑讲了很多次，今天是第一次在安防的会议上讲，我想我从人工智能的角度来看安防问题，或许能给大家带来新的思考。另外一方面我今天要讲的内容也是我们团队经过两年的时间和交警、公安一起摸爬滚打出来的技术点、应用场景和系统，也希望能给大家带来一些启示。

“城市大脑”这个词是两年前提出来的，是怎么提出来的呢？它的背景其实就是AI技术的发展、算力的提升和数据超大规模的汇聚。这些就使我们在想，可不可以为城市安装一个大脑，去挖掘这个城市的价值，它的核心是，用不断进展的AI技术和逐步增长的强大的计算能力，挖掘城市里面大量异构数据不可替代的价值。

这个价值体现在什么方面？可以从不同的角度来讲，首先是数据智能助力城市管理和服务，全面、实时的优化和干预，这带来的必然是便捷和灵活。往上一层就是城市管理领域、服务领域和产业发展领域的突破。再往上提一层是城市安全管理。

那么现今城市管理有哪些问题呢？我总结有三点：

第一点是盲人摸象。城市中有很多交通和安防感知设备是单点、局部的，且存在着设备损坏的现象，资源利用效率很低。

第二点是灯下黑。目前城市中安装的摄像头大多并非智能摄像头，少量带智能分析的设备功能单一、安装要求苛刻、成本高；大量的摄像头目前利用率极低。

第三点是雾里看花。已有的感知手难以发现现象背后的本质原因• 视频是即时、直观的，未被有效利用。

为了解决这些问题，我们希望聚合整个城市的各种数据，尤其是视频数据，发掘它们的价值。启动这项目时我们面临不少挑战。这些挑战也可以总结为三点：

一是投入，即处理城市产生的庞大数据所需要的的算力投入，带宽投入，算法研究投入等。

二是价值，我们能从这些数据中挖掘到哪些价值？这些价值是锦上添花还是不可替代？

三是不同，即跟过去讲的智慧城市、视频监控有什么不一样？主要区别在哪里？

什么是城市大脑？

那么到底什么是城市大脑呢？

首先是数据。城市每天产生大量的数据，有摄像视频、GPS、公交、微波等等，这些数据都会被使用，其中潜在价值最大的数据是视频数据，但这也是最难用的数据。

其次是感知，或者叫认知，即理解视觉里看到的事件，物体，做到了如指掌。之后是进行决策优化，比如派遣交警处理监测到的交通事故，感知全城的车、人流并进行全局优化。

另外就是搜索挖掘，我们可以将全城的视觉元素发到一个搜索引擎里面，然后在索引里面搜索全城摄像头看到的视觉元素。

再者是预测，我们可以根据历史数据对交通或安全进行更为长期的预测。然后根据预测出来的交通，安全状况来对城市进行干预，缓解城市拥堵，事先为市民提供更好的出行建议等。

这是整个城市级别的全局智能，我们把这样一套系统叫做城市大脑。目前以交通和安全为重要应用场景，之后会拓展至环保、能源、土地等领域。限于时间，我下面只针对以上感知、搜索和预测这三方面展开来讲一讲。

感知

城市大脑的基础层是感知层。城市感知层的发展经历了很多阶段。最早是无感无知，那时候想知道发生了什么需要到现场去了解；后来是感而不知，很多摄像头和录像带，但都需要人来监控；再后来是感而略知，摄像头有了一点点智能。而我们今天要做的城市大脑则是要做到感而全面知，感而全量知，感而实时知。

1）全面

所谓全面，就是要对摄像头看到的东西能全面地感知，能够检测识别移动的或者静止的目标（例如车、行人等），分析出目标属性（车牌、车型、性别、服饰等），同时还要求快、准、大小目标都能检测，且对视频质量、光照、天气、夜晚等具有较高的鲁棒性。

为达到这个目标，我们做了一个高效全尺寸多目标检测的算法，在车辆检测和行人检测方面效果极佳。基于这个结果，我们赢得了两项比赛的第一名，第一个是车辆检测，在榜单第一名持续了一年时间。第二个是行人检测，持续了几个月第一名。

除了感知人、车、物以外，还必须要感知事件。平时车流都是正常通行，这样的数据是大量的，而异常数据一般是稀少的。所以首先我们为正常事件建模；当异常事件出现时，它就会有明显的响应。基于时空异常的检测，我们可以检测到车与人相撞、车与车相撞、车与路相撞，人与人相撞等等。

2）全量&全时

刚才讲了两个事情，一个是物，一个是事。这里面有一个很大的事情，我们号称要在云端处理，到底能不能算得过来？在云端的计算能力有多强？这涉及到全量和实时这两个指标。

背靠阿里云，我们建立大规模实时处理平台并没有那么困难，但由于处理的数据量非常大，计算也并不是一件容易的事。并且还要考虑使用大量机器所带来的成本问题，所以我们一直在提高系统的性能。目前我们用了2000台，性能已经比第一版提升了20倍，并有望在加入新硬件后继续提升好几倍。

关于城市大脑，我具体举个例子，也是我们即将发布的一个产品，叫做机器代替交警巡逻。当前城市中存在着大量没有智能的球机，我们今天的工作就是让城市中大量的球机变得有智能，不管是交通违法还是交通事故，都可以让它进行监控。这是一个实时监控到的路况视频。在几秒中内我们就检测到这个地方发生了交通事故，用的时间和交警差不多。其实还有很多，例如行人闯禁、拥堵、摩托车闯禁、夜间事故等，及时目标非常小，我们依然可以检测出来。现在杭州有200多个试点球机，每天会有好几千起事件被发现，这远远超过了交警的能力。

这个工作有一个特点，就是充分利用城市既有的监控设施发挥它最大的效率，不需要再安装一个摄像机；不管你的视频的质量怎么样，我们都可以解决问题。

这是在杭州城市大脑的实践，我们在不增加外场设备、不改变现有链路的情况下，通过视觉云上的计算，使得设备的能力得到很大的提升，我们现在也在做AI芯片的线上测试，会进一步减少计算的消耗，可以提升到很高的处理能力。

搜索和挖掘

再往后就是「搜索和挖掘」，这是实时进行处理的。

我们在互联网上找东西可以通过搜索引擎来找；如果我们把城市里看到的人、车、路、物、事等等全部放到搜索引擎里去，那么城市的管理者要找城市发生的事情，就可以直接通过城市的搜索引擎来找了。

做这件事情有两大挑战：

第一个挑战是系统的挑战，也就是说你要去索引那么大量的数据，怎么才能够让索引的搜索足够快。这部分是阿里擅长的，我就不再细讲。

第二个挑战是用什么东西去描述我们关心的这些对象。当然我们可以用结构化的信息来做，例如车是什么颜色、什么牌子，人是男是女等等。但我们这里用的是特征的方式来表示，它是一串数字，这串数字就代替了你所关心的车和人的特征，我们通过这个特征进行目标的索引和检索。怎么样找到合适的特征呢？怎么样把一个图片、一个目标变成一个特征呢？这是核心的课题。事实上可以有很多方法，例如通过学习方法、神经网络方法、目标函数设计等。

这里我只介绍我们前不久的一个工作，就是Part-Level特征学习。通过这个学习，在索引和比较时，学习到的特征就会成为重要的指标。通过这种方法也可以发现一些独特的地方，例如我们做商品车检索时比较简单，同一牌子和型号就可以认定是同一产品了；但是在安防的场景下，不同人的车是不同的东西，这时候需要发现它的细小的差别，而且要自动发掘它。我们这些工作应用在行人Re-Id测试中，目前结果是最好的，达到了97%，而人类的最好结果是94%。

预测

接下来讲「预测」。虽然我们无法预测某个个体的行为，但是我们可以预测整体的趋势。

我们在苏州做了这样一个实验，预测车流在20分钟、30分钟后的变化。我们平时经常使用的GPS导航，事实上它仅仅是根据当前车流给你选择的一条最优路线，而并没有车流预测；由于交通状况一直在变化，所以可能走着走着它就会给你建议不同的路线。显然如果有了预测，GPS的路径规划就可以做得更好了；如果预测时间更长的话，甚至还可以进行更好的干预。我们用深度学习的方法在苏州做过一个预测车流10分钟后变化的实验，预测结果很好，错误率在8%以内。

城市大脑的不同之处

在最后，我简单讲一下城市大脑与其他概念的不同之处。这主要也有三点：

第一，用大量异构城市数据、大规模计算和AI，挖掘其不可替代的价值；

第二，城市大脑是在做人的智能不能完成的事情。城市中有些问题的复杂度、计算量已经没有办法用人力来完成，比如说红绿灯的配置、众多球机的观测等，因此我们要通过城市大脑完成人不能完成的事情；

第三，希望城市大脑将来能成为一个城市的基础设施，像水电煤一样。

深度学习、数据、计算能力使得AI有了发展，这个发展使得我们去思考能不能为城市建造一个大脑，挖掘城市的价值，改变这个城市，改变我们在城市里的生活方式。由于城市的环境是非常独特的，它的数据量、计算需求，问题复杂性以及它对价值挖掘需求的量和迫切性使得城市可以成为一个平台，或者说城市大脑可以成为一个平台，去孵化更多的技术，在这个平台上有更多的创新能够发掘出来，使得一些科研的技术、实验室的技术在这个平台上得到锤炼，得到扎扎实实的实现。这也是为什么「城市大脑」会被科技部选为首批四个国家人工智能开放创新平台之一。