中国科学院沈阳自动化研究所所长于海斌：机器人智能能力评测太难了

2017年5月21日，由中国人工智能学会、中文信息学会主办，亿欧承办的2017·全球人工智能技术大会在北京·国家会议中心拉开帷幕，学术界、工业界、高校师生参与其中，5月21日为活动的主论坛，主讲嘉宾包括中国人工智能学会理事长-李德毅院士、IBM中国研究院院长-沈晓卫、微软公司全球资深技术院士-黄学东、香港FDT金融银行家兼FDT总导师-马蔚华等。

中国科学院沈阳自动化研究所所长于海斌做了主题为“机器人智能技术与测评体系发展”的演讲.

本文为其演讲速记整理：

本来大会给我的题目，是希望我讲一讲机器人的智能检测。这个题目太超前了，检测还远没有发展到智能的阶段。因为我们现在在做机器人测评技术的研究。因此，一方面想从我的角度谈谈机器人测评与智能机器人的关系。从测评技术发展的历史看，早期面对的是机电系统，后来到了可编程系统的时代，现在到了人工智能的时代。现阶段，我们测评工作该怎么做呢？所以想和大家探讨一下。

另一方面，我觉得人工智能有今天的形势是非常不容易的，我们想保持好这样的态势，使得社会长期关注，需要形成一个巨大的产业。但是任何一个产业能够规范化发展，测评也是离不开的。所以我到这里讲讲可能也许有意义。

刚才李院士讲到图灵测试的问题，我也有很多的感触。第一，我先说从自动化到智能化，以机器人为背景；第二，讲讲机器人的测评要素和测评的重点；第三，给大家介绍一些基本的现状，机器人现在从全球的测评角度都有哪些机构在做，做哪些事情，哪些能做，哪些不能做，哪些和智能有关系，哪些还会继续往下做。第四部分原来写的是展望，后来就写成机器人智能能力到底怎么测评，刚才李院士讲了图灵测试的问题，现在是不是进入了后图灵测试的阶段。

第一个，机器人从自动化走向智能化。我觉得传统的机器人，早期的时候，19世纪是一个自动化的机器，但是你说它有没有智能，我觉得多多少少有一些，因为它有感知的能力。因为早期的自动化和搞人工智能是分不开的，实际上原来搞人工智能的好几个大家，和搞自动化维纳等都是在一起工作的。

在那个历史阶段，19世纪还是以自动化为主，体现的是机械自动化。19世纪以后，数字程序控制，一般从标准的角度和测试的角度，叫可编程系统，可编程带来的测试问题，和原来机械系统测试问题是不一样的。机械机构的测试，机械和电力系统的测试，更多的体现在精度等物理量指标，到了可编程的阶段，更多地体现在测试可覆盖的东西，因为可编程以后，能够带来的可达空间非常之巨，所以对我们测试的要求，特别是测试案例的设置就有很多的要求。

李院士最后讲到中国建的无人驾驶车场，是不是将来图灵测试的场所，也面临这个案例怎么设置，怎么具体化的问题。这也有触类旁通的可能。到21世纪我们进入到了人工智能的时代，大家讲的人工智能的机器人，传统的机器人是效率优先的，现有的机器人应该是智能优先的，但是现在国内国外比较认可的。

我们现有的人工智能阶段，有两个基本的特征，一个是人工智能如果和机器绑定在一起，会带来巨大的变革和效应，特别是美国总统的经济报告里，在去年的报告里讲到，因为机器人就是智能和机器结合的结果，说机器人未来会像蒸汽机一样影响工业的革命。另外一个角度，是人工智能和人之间产生更多的共鸣和交互，就是人机融合，这应该是最高的阶段。

刚才大家讲到的都是从软件的角度，从信息的角度谈智能的问题，我觉得以机械和机电为载体的机器确是有非常广泛的应用前景，但是未来可能还有另一条路也是我们需要认真考虑的，就是我们为什么一定要自己去造一个像生物体那样智能的机电系统，而不是直接实现生物技术和机电系统的嫁接。

单独依靠信息技术，实现与人能力相当的智能，这个难度相当大，而且我们读书的时候就讲有很大的难度，我觉得这些困难并没有从根本上解决掉。现在的技术发展，生物体的肌电信号应用，就是生物信号和机电信号的融合，是不是会产生这种智能的路径。

最近我们在做一件事，我们能够把蝙蝠下眼窝下的蛋白取出来，做成视觉系统，它具有高灵感度探测的能力，但是生物体蛋白如何做离体保持，也是一个新的问题，但显然这是一个非常重要的方向。

另一方面，我们在生物体和人相互紧密融合协同方面也是一个非常重要的方向，譬如人工外骨骼系统。所以我讲，从广义的智能角度还是有跨学科的问题。机器人与人工智能呢，我们现在理解，如果大家讲的都是信息技术体系，需要较深的技术基础，从机器人用户的角度来讲，他只要理解，我怎么样让机器人更多地理解语言，能够对图像识别的能力更强，这是最直接的想法和需求。具体来讲，这些东西也在各个演示会上，各个技术推进的会上有所展示。实际上现有这些成果，我觉得大部分就是这些直白想法的体现，我不一一赘述了。

要从体系上来推动机器人的智能化，应该说还是有很多单元技术需要解决的，最核心的是交互能力，人和机器人的交互能力迫切需要得到巨大提升，如果这个能力不能得到提升，人工智能在机器的应用就会变得很局部，也就是说除了人工的脑以外，其实在人机交互方面，行为能力的提升，也是有巨大的空间。

第二个就是群体智能也是我们必须关注的问题，这是从体系上来讲，像机器人的多模态的交互，在工业领域，国外的规划已经有明确的路线图了，大概在未来10年左右的情况下，工业机器人的多模态语言的交互，会使得机器人的编程和机器人的应用会形成一个快速部署的能力，使得原来工程师编程，变成一般人员的意图表达，可以直接实现的历史新阶段。

大家想一想，如果一个工业机器人不用训练有素工程师布局，将来的制造完全可以做到在线重构的程度。比如现在造手机，有人跟我说，一款新手机的生命周期10几个月，但是复杂手机的生产线，工程师的调试就需要消耗一两个月的时间。机器人自主决策和群体智慧，比如说做一个机器系统，单体的系统你要做的功能很强大，成本要很高，群体的可以做到低成本，在各个方面有很大的需求。所以无人系统在中国现在也是比较关心的事情，我这里只是简单介绍一下情况。

另一方面，我今天的题目有两个主题词，一个是测评，一个是智能。机器人技术的要素和测评的要点，大家可能不了解测评是怎么回事，其实你要测谁，就得知道它是干什么的，我们想机器人比较复杂，测评的事比较多。我挑出和智能有关系的两大方面，值得大家关注。如果想维持这个行业健康发展，如果没有标准，没有测评，是很难形成规范产业的。第一个是机器人性能方面的测试，我挑出和智能相关度高的，第一个是自主决策与功能的性能，不是自动决策，是自主决策，第二智能感知性能，还有第三智能交互性能，第四是智能控制与作业性能。

机器人的安全，包括功能安全，机械与电气安全，信息安全等。这个领域原来是工业界，就是OT领域人做的事，另一方面，安全（security），因为英语不一样，我们叫安防，防止被攻击的能力，这是IT的人在做。如何实现IT的智能和OT的物理系统真正融合，首先这两个领域的文化完全不一样，现在整个业界都说这件事，另一个，他们考虑的焦点也不一样，但是这个安全如果是广义的安全，在智能驱动下的广义安全，一定是IT、OT综合的情况，这样的安全如何体现，比如对机器人来说，我们将来设计机器人的时候，在设计的时候就有运动范围的要求，在加装传感器的时候，对它分布式的安全功能进行设计，而不是说像原来自动停下来；譬如像做一个抓取的机械手，如果抓取一个瓶子，它操作力大瓶子就抓碎了，现在利用传感器做成一个柔顺的操作，不会出现那样的情况了。

所以关于安全的问题，确实由IT、OT引发，在人工智能上变得更为复杂，是需要我们关注的事情。自主决策与规划性能，自助行为的概念，现在全球有一个自主能力的分级，但是这个说起来好听，可操作性、可实施性都比较差，比如刚才说的自动驾驶的车，如果做一个标准可测试规则的话，很难取得一致，会有很大的异议。

这两者间有相似之处。所以对自主决策方面，我们在最底层的导航，技术上可以用技术指标说明的，反倒在自主决策的测评上是有巨大的挑战的，这是一个实际的情况。第二个是智能感知性能，机器人的技术进步，在近三到五年，最大的在于视觉的进步，这是最有现实意义的进步，因为原来的视觉传感器就有一些应用，在这些情况下如何做认知，仅仅就视觉就有很多的挑战，我不再说了。最核心的是交互的能力，我们原来让机器人学习，靠什么学习？是在一个离线的空间里采用示教的方式，如果教机器人拆解一个未知的发动机，一种办法，我精确告诉它的次序、位置等一切物理量，这是不可能的。

另外一种方法，就是经过交互式学习，如果这个技术没有大量传感器配合的话也不可能，所以这是一个动态的学习环境，有挑战性，当然这方面有一些标准需要讨论，我相信如果和物理实践相结合，至少时间和空间两个维度，引发的一系列事情，就变得十分复杂了。第四个是智能控制与作业性能的考虑，应该说我们现在大量的外部传感器加进来了，现在讲新一代的机器人，其实大家想的代表性的是三类东西，一个是柔性的机械臂，一个是移动可作业的机械臂，一个是多臂可协调的能力，大量的是操作能力的提升。

关于机器人的安全讲过了，传统的是机电的安全。关于机器人安全，现在没有一个在新体系下满足的要求。关于服务机器人的智能交互安全，现在刚刚有它的基本讨论，没有可操作的东西。一个是功能性能，一个和安全相关的，是和智能机器人绑定比较紧的。下一个问题，机器人测评有哪些技术？现在谁在做？做到了什么程度？第一个，机器人的测评一般包括四个方面：要想能够让大家认可，首先得有一个标准。

第二个，检测得有一套技术手段。第三认证得有一些机构或者有社会的认可度。像手机的安全检测，就是由有社会认可度公司完成。第四个就是评估，评估的意思是一个挺高级的阶段，你做出来一个东西，在我这测出来以后，做了数据的评估，是给你再改进提出一个评估报告或者改进报告。我在想，我们现在评测也产生了大量的数据，这些数据怎么用智能的办法给大家提出一些知识和建议，也是一个题目。假如说有这套东西，我这个咨询也能变成一个很大的产业。

国家关于机器人标准化，现在有好几个相关的技术委员会，最后把大家放到一起作为一个总体的工作组，目的是加强和国际的交流，和标准体系的建设。我们所有幸国标委选为秘书处单位。这两年做的工作，我们现在在IEC和ISO之间建立了桥梁，成立了工作组，专门研究全球机器人标准的重叠问题、空白问题和布局的问题。

为此我们提出了标准体系表征的架构，已被被工作组采纳。另一方面，国际服务机器人的标准的情况，ISO是TC299，在这方面做了很多概念词汇的描述，但是可用可测的东西还不多。IEC是较传统标准组织结构，就是把它的技术分散在各个技术委员会，所以除了两大标准体系有冲突以外，各TC间也有重叠的问题，譬如在大家关心的护理机器人，也就是服务机器人的安全，就是关注的热点。

国际机器人的检测情况是这样，三大机构，大家得关心一下，真要变成产品他们是有说服力的，一个是德国的莱茵Tuv，美国是UL，英国是天祥，中国未来是CR。他们测试的内容，主要还是将机器人当成机电产品测试的，因为这些东西是成熟的。国内的情况是，2015年国家质检总局开始布局机器人检测中心，到2017年国家已经发布了推进机器人检测认真体系的意见。进行这么多年，大家已经认可这件事情了。关于国家机器人检测评定中心，国内按大的区域有五六各单位，包括四个中心，两个平台。

我介绍一下辽宁中心的建设情况，一个是机器人的整机制测试能力基本建立起来了，机器人的核心零部件的测试也建立起来了。工业机器人的测试，关于性能、安全、可靠性，和服务机器人性能、安全可靠性，都是按照国际标准建立起来了，硬件方面已经不错了，未来希望在测试能力上有所提升。

关于工业机器人上我们现在可以做标定，还有轨迹特征测试也可以做。服务机器人的测评已经可以做越障能力、覆盖率的要求，这是几款不同的，现在国家委托我们做的，像扫地机器人，做覆盖率的测试，这些测试还是挺有意义的事，至少能对产业规范起到一定作用。我个人认为，除了有测试条件以外，更多后面的规范管理，你能做出什么样的测试诚信度，让行业认可。

最后做一点小的展望，是关于机器人能力的测评怎么体现的问题，不一定对，也不成熟，供大家参考。

第一个，你研发智能机器人一般没有异议，但如何测评就难了。第一个，测评的过程要不要智能化，现在提不到这个层面，很多有人为的因素在里面。

第二个，测评以后的数据做评估的时候要不要智能化，我说绝对要的，大家如果真的有兴趣做，可以做很好的服务业，我们测了那么多数据，最后代表的含义和给用户的升级的建议，现在没有人做的很好，也没有人考虑这件事，我相信这是一个非常好的发展方向，实际上这是一个社会咨询的功能。

第二个我们机器人有了智能能力以后，怎么评测机器人的智能能力，这个事太难了。大家想一想，我们进入到可编程电子器件的时候，它测试集有没有覆盖性已经很难了。如果测了一大堆，没有遍历性，你敢说这个事行或不行吗，所以很多人研究，我测试的案例具有覆盖性，最小的时间有最大的覆盖性这对测试是很重要的，

另一个阶段，今天到智能阶段怎么测，可能是两个路在探讨。第一个情况，就像刚才设定不同的层级，你的智能在不同的层级，我觉得图灵测试是测试是不是具有人那样的智能的盲测，但是要不要有等级，说它的智力水平在5岁、8岁，但是我们和搞生物智能的人讨论，5岁的表征是什么，8岁的表征是什么，不知道，怎么样技术化、定性化描述，就更难了。还有一种测评方法是对抗式的，在这些领域稍微好一些。

像李院士的自动驾驶车，你要认证完了，那后面的就有赫达的责任，这个体系是一个真的挑战，谁要能做这样的认证，对推动这个行业是非常重要的一件事情。既有研究的内容，又有一个商业推动的价值，但是我个人感觉，现在做等级分类的可能性还是存在的，只是要局限于某个领域。

院士讲的驾驶脑，其实最后这个特征就是在驾驶领域是专家，其他的先不涉及，人脑功能的全覆盖还远着呢，但是对驾驶脑而言，还具有人脑的学习，记忆，这些一些基本的特征，我觉得对人工智能是一个巨大的进步，也对无人驾驶汽车也是一个巨大的进步，所以现在想这些事也是有挑战性的。

譬如，我们可以先从一些家庭陪护的玩具，可以作为优先考虑的领域，避免不必要的风险。我们觉得机器人测评技术的发展和智能有关的，我们要关注的是，智能交互性能与安全评测，信息安全的评测，智能水平的评测，可靠性的评测，除了智能水平的评测是处女地，其他的都有一些结果。除了可编程，又加了智能，可以组成新的案例出来，对我们的挑战更大了。

总而言之，我们现在的想法，是沿着等级的路在走，对复杂问题做好简化处理。因为研究是研究，可实现是可实现。美国有一机器人路线图，既然它说过，我相信就有一定的道理，近期我们准备集中精力把这个事搞清楚，我相信机器人的自主能力。如果搞清楚了，我们再跟车结合就有了基础。

另一方面，关于机器人的智能的能力，美国人的机器人路线图里，干脆到相当于几岁的智力，但10岁的水平，10岁的水平怎么表征？况且10岁小孩的能力水平也不一样，智力水平也不一样。我们需要和开始搞生物学的人、搞伦理的学者一起讨论这个事。希望能找到一个切入点，这件事是切合要求的，能发挥一点作用，对我们的促动也是有很大的帮助。

我的感觉，从测评的角度，对人工智能的产业发展和规范，是重要意义的。另一方面，人工智能对我们测评也有巨大的推动作用，因为这件事我们做了两三年了。我们的目标是建成一流的机器人测评硬件环境，再用一到两年的时间，在机器人的测评设计软能力提升到国际水平，这几年关注了这些事，并取得了初步的进展。谢谢大家。