清华医学教授宋森：神经环路研究最新进展及对类脑计算的启示

2017年5月21日，由中国人工智能学会、中文信息学会主办，亿欧承办的2017·全球人工智能技术大会在北京·国家会议中心拉开帷幕，学术界、工业界、高校师生参与其中，5月22日上午为脑科学与人工智能分论坛。

大会上，清华大学医学院宋森教授，在本次论坛上进行了以“神经环路研究最新进展及对类脑计算的启示”为主题的演讲

【宋森现场演讲实录（有删减）】

脑环路和深度学习可能有一些相似性，但有些是不同的。我的演讲有两部分内容，一方面是我一直强调的，复杂科学对整个领域的影响，另外一个就是大脑的连接结构。

一、复杂科学对整个领域的影响

我们生活在一个复杂的世界里，有空间、时间及时空的复杂性。什么叫复杂？大家可能知道有个叫复杂性科学的领域，在90年代比较热，后来冷了一些。但是大家觉得这个领域还处于萌芽期，真正大放异彩的时候是在未来。

概括起来说，复杂性有一些共同的特点，在看似复杂的过程中有一些规律，但是规律不是那么清晰，现在更多的是统计上的规律。我们能不能把他们提炼出来，像尧老师说的，在发现了很多东西后能不能变成有用的东西，这是这个领域能够往下走最重要的事情。

大家对复杂性批判的相关领域听到过很多了，比如混沌理论，但是哪有根据混沌造的飞机？没有现实能用的例子，不像牛顿力学一发现，人类就能发火箭了，虽然相关工程化也经过了很长过程。

那为什么我还是觉得这个东西很重要呢？还是要从深度学习说起。

这次深度学习为什么能爆发？我觉得最重要的因为是大数据的作用，有了大数据，有了训练算法和计算能力，就有了深度学习，用很复杂的模型能显著提高功能。

但是，世界是复杂的，世界里面数据量是呈长尾分布的。什么叫长尾分布？就是尾巴特别长，即不常见的事情，如果加起来其实很多。对这些常见的事件，我们是有大数据的，用深度学习就行了。但是我们生活中存在足够多的不常见的事情，让你没法用深度学习全部搞定。

大脑是在这么一个世界里进化出来的，所以它对长尾不常见的事情有一定办法，比如用推理、可以猜，这是我们一定要考虑的问题，而不光是迷恋大数据。而大脑的特性本身也就有复杂性，所以在某种意义上他和这个世界是同构的。

具体来说大脑中常见的长尾分布有两种：

1、幂律分布。最经典的就帕雷多分布，富人总是很少的，但他们总是掌握很多钱。它最大的特点就是具有无尺度性，从哪个尺度看好像都长的差不多，很难说哪个尺度是关键的尺度，分型就是典型例子。

这个分布在物理学上和一个叫混沌边缘的概念对应起来了，这是当年复杂性科学里面一个比较经典的成果。用很简单的规则拼起来，观察发生了什么情况。有一个参数，你可以认为是复杂度。当它小的时候，就是很简单的行为。当复杂度很大的时候，已经变成完全不可控的混沌状态了，此时不能预测下一刻会发生什么。但有一个很有意思的参数区间，在混沌的边缘，有点像分型的东西就出来了。所以有可能大脑就处在中间的状态，这也是为什么出现了很多长尾分布。

大家问了，中间的状态是很小的一个区域，其实更有可能处于完全不可控的混沌区域，也有可以预测的简单区域，但在工作状态中，大脑处在临界状态。

大家想为什么我们大脑会经常处于临界状态呢？一个可能性是大脑具有兴奋和抑制的平衡，这个好像在现在的人工神经元网络没有太多讨论的。现在人工神经元网络没有把兴奋神经元和抑制神经元分开，它不具有单独的抑制能力。大脑可以通过调控兴奋抑制平衡，尤其是抑制性神经元是可以调控的，比如已知的结果，抑制性神经元功能太强就睡觉了。

现在有很多研究，大概说，信息传输和记忆学习在网络处于临界态的时候有一定的好处。我觉得它最大的效果可能是没有完全被搞明白的，这跟人思维的方式有关。比如我们创造力的过程，经常是你自己苦思冥想但是你自己不知道在想什么，你的潜意识在不断酝酿小火花，但一旦一个时间它们足够大了以后就会聚成一个大的火花，形成一个创造性的发明。我一直觉得这里好像有些什么重要的规律，当然我还没有完全把这个搞明白。

2、对数高斯分布。什么叫对数高斯分布呢？如果把这个分布取个对数就是高斯分布了。它的尾巴没有刚才说的幂律分布那么长，但这种现象也很常见，为什么呢？有个很简单的原因，大家知道根据大数原则，把很多数乘起来的就出现了一个对数高斯分布。

二、大脑的连接结构

下面我想介绍另一个话题。神经科学最近发展很快的领域就是大脑的连接结构。

根据现在已知的连接组学数据，可以得出两个非常重要的原则：1、他们都具备有一定的紧凑性；2、在局部之间通常有很强的长程连接。

我们想这个有什么好处？首先局部的紧凑性可以减少布线的长度，像人的社会里也是有这样的组织。现在国家建特色小镇，把有特色的人放在一个地方，他们联系起来就方便了。第二如果全是孤立的小镇，小镇之间联系就不方便了，所以要建高速公路。现在看来包括我们大脑网络里面的很多网络所谓复杂网络都采取这种结构。

我想分这两个方面简单介绍一下神经科学的进展。

先从局部神经网络说起，也是我2005年那篇文章里的工作，我们从4个神经元里面研究他们的连接强度，我们发现如果把4个神经元分成2个或者3个的小组，发现2个神经元小组中两者互相连接的概率比随机网络大，3个神经元小组中和随机相比，出现异常概率最大的小组是三三相连的，这是它最重要的特性。4个神经元是很小的数据了，扩展到十几个神经元数据上面也发现一样的规律，确实是很紧密连成一团的神经元。

这有什么功能上的意义呢？汤姆做了一系列的工作，在nature science上发了六七篇文章说这个问题。他用什么方法呢？他通过成像能够直接看到每个神经元功能特性是什么，然后通过切片的方法，研究有这些特性神经元之间的连接功能是什么，他通过这个发现了一个规律：连接比较强的神经元它们的功能特性差不多，有点像我们举个特色小镇的例子，它们想干的事情差不多，所以他们互相相连。

这是我想讲的最近学生做的工作，到底神经元网络的特性能不能通过深度学习来开始理解？

我们也做了一个简单的例子，最简单的深度学习模型是没有反馈连接的，而大脑中的反馈连接是很多的，一个问题大脑中反馈连接到底是干什么的？

我是指同层之间的反馈连接。我们的工作很简单，相当于用一个类似于深度学习的结构，但是我们在同层之间引入反馈连接。为了更加贴近生物和简化问题，我们引入了column的概念，因为我们知道生物里是有column结构的，每个column都差不多。这样模型训练可以更容易一点。

数据集也比较简单，只是简单的图像分类数据集。

折腾了半天，最后结果是什么呢？这些都说明初级神经皮层上面有些现象可以与CNN对应起来。

这是我们最近合作完成的一个工作，钱卓老师很早以前提出层级编码的模型，可能因为在层级中占有更高的地位，所以编码是广泛的概念。

最近一个发现比较有意思的，层级编码对应2/3层和5/6层在大脑中有不同的功能，2/3层神经元大部分只对一种刺激感兴趣，在5/6层则相对增加。我们可以看到以后也许有办法把这个概念推广出来，成为我们皮层的一个编码方式，这是比较有意思的。

举个简单的例子，现在在深度学习的语言处理工作上，基本上采用LSTM，是一种线性的记忆，包括Google最近很热门neural turning machine的也是线性的记忆，大脑采取的这种层级编码方式，在很多时候都是可以用上的，这是深度学习和神经科学可以对话的地方。