芯仑光电创始人兼董事长陈守顺：从汽车开始，重塑机器之眼 | 摩尔领袖志

芯仑光电创始人兼董事长陈守顺：从汽车开始，重塑机器之眼 | 摩尔领袖志

智能工厂和无人驾驶汽车的兴起，带热了市场对机器视觉系统的需求。

我们所说的机器视觉，是指用机器来代替人眼进行信息收集和决策判断的系统。在其实际操作中，通过机器视觉前端图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

这种极具优势的系统在面世之后就被广泛应用到各个领域。但最近几年，随着自动驾驶等高需求应用的兴起，传统的机器视觉系统就显得“力不从心”。我们执迷于越来越高的算力堆砌，疲于应付随之而来的整体模组（尤其是内存、GPU）成本上涨，系统效能不堪重负等问题，却往往忽视了机器视觉的数据之源——前端摄像头。

为此，国内首家动态视觉传感器芯片（Dynamic Vision Sensor ，简称DVS）研究型产业化企业——芯仑光电（CelePixel）提出了从前端传感器端来解决机器视觉图像处理痛点的解决方案。该公司的创始人兼首席科学家陈守顺博士在接受摩尔领袖志专访时表示，为机器设计的摄像头与传统为人眼设计的摄像头侧重点并不相同，需要为机器视觉打造独特的“眼睛”。芯仑光电通过其革命性的动态图像传感器技术，大规模提高了图像处理系统的使用性能，显著地改善稳定性和功耗、算力、存储的问题，重塑机器视觉之源。

1

颠覆传统方案，机器“眼球”的重生

传统的机器视觉系统摄像头前端普遍采用CMOS有源像素传感器（APS），其工作方式是将捕捉到的光学信息（包括采集点的灰度和颜色）转化成电信号，实现整个场景的还原。

陈守顺博士指出，传统CMOS图像传感器的采集都是有间隔的，即图像抓取不连续，记录的是阵列中像素点在曝光时间内的总亮度值（积分），而积分常常会把在快速运动的物体的运动特征丢失，但这恰恰是对运动物体的检测至关重要的。

DVS则更像“微分”，检测每个像素点的光强是否随时间有细微的变化，如果单个像素点的数据没有变化，那么传感器将只保留之前的记录数值。这种实时监测动态信息的能力，直接可以移除冗余的背景图像数据，为机器视觉提供精确的输入，解决多余计算问题，减少了信号传输、存储和处理的系统成本。

芯仑光电基于该DVS技术，打造了其革命性图像传感器系列产品CeleX。经过多轮流片和产品升级，目前最新的一代芯片CeleX-IV采用0.18um CMOS Image Sensor工艺，拥有目前同类产品中最高的分辨率，达到50万像素（768x640），单像素点尺寸为18um x 18um，100MHz高速双读出通路，可以提供三种工作方式，分别为传统的“图像模式”，专为机器视觉而生的“动态模式”，和独家绝技在传感器端即可提供的“光流模式”。

下一代产品预计今年第二季度流片，分辨率为1280x800（100万像素）甚至更高，最终可在全幅画质和图片细节上与传统的图像传感器分庭抗礼。通过几张动图，可以一窥CeleX传感器的神奇：

1、在“动态模式”下不再具有帧率的概念，纳秒级别的极快速反应

（注：本文中出现的GIF均为上一代CeleX Sensor拍摄，图像分辨率384x320）

高尔夫球击打，能够捕捉挥杆整个过程

壁球，以同样的速度拍摄时，能够完整显示网球的移动轨迹

传统传感器中，图像的记录存在固定的帧率，即以某个频率对阵列的所有像素点采样一次；在CeleX中，只有光强发生变化的像素才会被读取，这样，芯片的输出数据就不受帧率的影响了，运动频繁的点读出次数会相应增多，因此可以完整记录下运动的过程。

2、低数据流，剔除冗余数据

傍晚道路行车时，两边静止的车辆和建筑（非动态数据）“消失”

因为CeleX传感器在“动态模式”下只记录变化的数据，所以实际上CeleX传感器输出的都是“有用的数据”，用户也无需再在机器视觉的后端部分浪费宝贵的运算资源和时间，构建复杂的算法，进行图像冗余数据的排除和运动物体的提取。

3、优异的亮暗环境成像，适应大范围光照条件

维多利亚港摩天轮，能够显示中间传统过曝位置的图像变化

出入隧道瞬间，不受光照强烈变化影响，仍可以捕捉路面信息

在极暗场景下，也可以清晰显示部分物体的移动

由于像素点单独获取数据，不再受统一的成像参数（白平衡、感光度）影响，在图像存在过曝源、过暗的情况下，依旧能够利用单个像素点的改变读出整个画面的特征。

4、可在空间和时间上做持续追逐，输出四维图像信号

高架测试，完整捕捉道路划线和路牌标识内容

在传统台式机7200转磁盘上画字，能够完整捕捉并且生成清晰的瞬间画面

DVS在时间和空间域上是连续工作的，有效的像素跟着物体同步运动，其运动路径上的所有像素点都会被读出，而不用在物体的周围的大范围内做暴力搜索。

2

以芯片为核心，提供平台化机器视觉方案

看到CeleX传感器如此优越的性能，不由得会想，如何将其应用到实际的机器视觉场景中去？

以自动驾驶汽车为例，采用传统CMOS传感器摄像头会采集大量冗余数据，带来巨大的运算压力，某家厂商甚至在后端部署了三个GPU同时处理收集到的数据，这些GPU每个耗电1千瓦，大小也有冰箱那么大，同时产生严重的散热问题。

但如果替换成CeleX系列传感器，通过精密的电路布局和并行运算能力，搭配独特的读出算法，使得其速度不受传统的曝光时间和帧速率限制，可以有效的过滤背景冗余数据，从而多至成千倍的节省运算数据流，降低整个图像处理系统成本，使实时处理的难度大大降低。而更为关键的是在兼顾了架构优势的同时，还会向后端输出多维度信号（X,Y,A,T）和多模式（图像、动态、光流）数据，让配套应用的开发和部署变得简便，这是其他方案所不能相比的。

值得一提的是光流模式在自动驾驶领域的应用：一直以来诸如KITTI.ai之类的传统的数据集和测试天梯中对光流算法的评判都是整体系统效能中至关重要的一个维度。而光流作为描述特征运动的向量场，通行的做法是运用复杂后端算法通过前后帧全幅图像的变化对比进行运算和处理。针对这一痛点应运而生的芯仑独有on-chip光流绝技不仅仅把多余的背景冗余信息有效进行过滤和预处理；同时还可以大幅提高光流模型的分辨率和效率（摆脱帧数概念的限制和全幅图像对比方法的制约）；同时所有的光流信号的输出完全不依赖任何后端运算元器件的帮助，直接在采样层面把相关信息抓取和读出，感知系统的鲁棒性和效率将由此大幅度提升。

同时，因为传统的机器视觉中需要在普通的图像基础上进行大量后端计算。即便花时间打磨算法，但因为从算法到硬件还需要一系列API连通，并且受制于传统帧率的制约和全幅图像带来的数据压力，系统整体效率不高而且容易出错。而CeleX实际上将原来后端的算法固化，内嵌到到传感器前端完成预处理，效率非常高。

另外，CeleX作为一种平台化技术，有多种应用模式和形态。根据不同的应用场景和市场需求，芯仑光电灵活地提供芯片、技术授权或终端解决方案。

在与半导体行业观察记者的交流中，陈守顺博士也多次表示，对自己公司的定位绝不仅仅只是一家芯片厂商，而是成为业界领先的机器视觉图像和图像处理解决方案的提供商，为从辅助驾驶到无人驾驶的全技术路径提供最佳的图像感知和处理解决方案，在更大的市场创造更高的价值。

同时解决了高速捕捉和后端计算的瓶颈，这种颠覆性的方案从推向市场开始，就得到了终端客户的认可。据陈守顺博士介绍，现在芯仑在垂直领域瞄准车载市场，主要分为两大类产品：车内驾驶员监控（DMS）和驾驶辅助系统（ADAS）。而其中关键零部件DVS传感芯片也经过了博世、LG、Continental等知名厂商的评估，并和Intel、Infineon、Panasonic等启动了合作项目。

3

从学者到创业者，陈守顺的理想和期望

回国之前，陈守顺博士为新加坡南洋理工大学教授，此前先后获得北大学士、中科院硕士、香港科技大博士，并在耶鲁完成博士后，已有超过15年的图像芯片和混合模式集成电路设计开发经验。

据他透露， CeleX方案最早源自他的博士求学阶段。当时他在研究一种能通过类似于神经元突触信息传递方式，将像素阵列的电信号读出芯片外的新型传感器。直到2011年，他终于将这个设想落实到了一颗64×64的原型芯片上。经过几年的迭代更新之后，陈守顺博士在2015年于新加坡创立了Hillhouse Technology公司，这就是芯仑光电的前身。

在创业这条路上走了多年的陈守顺认为，这是一段不同于以往研究生涯的经历，与客户的沟通和与学生沟通也是完全不同的体验。他指出，与客户沟通的时候，需要了解客户的痛点，才能做出符合需求的产品，传递企业的价值。例如芯仑光电以前的产品并不具备光流模式，是在与不同客户的密切沟通之后，才挖掘出了这一需求，进一步提升了产品的价值。从这一点来看，芯仑光电不仅仅是一支埋首实验室研究高精技术的团队，而是一家以市场为导向，具有敏锐洞察和战略规划的技术型企业。

依托十几年的研发积累，芯仑光电建立了完整的独立知识产权体系，在并在多个细分硬件指标和兼容性指标上领先于国际同行。运用芯仑光电的DVS，机器视觉视频流不再具有帧率概念的制约，图像信息以事件和动态触发为驱动；由光强产生的动态像素流以纳秒级的反应速度实时输出，并且直接在芯片上完成光流（Optical Flow）和一系列预运算（Pre-processing），从而大大提高整个机器视觉系统敏锐捕捉和响应物理世界的能力。

这样极高技术门槛的前沿技术，应用领域不可能只局限在汽车，在问到对于这个产品未来的期望的时候。陈守顺博士告诉半导体行业观察记者：“首先，我们的目标是想替换掉现在的车载传感器，至于安防、无人机防撞预警、工业过程控制、SLAM和消费电子类产品（例如体感游戏）等市场，也都是芯仑光电的长期目标。在所有目标快速变化的领域，DVS都能够更快发现、更准把握、更低代价的传输和计算，大大扩展机器视觉的应用范围。”

“不排除说其他的厂商也会看好这个技术方向并有所动作，但我们不惧挑战。芯仑光电具有先发优势，还在不断迅速地迭代发展中；更重要的是，我们的技术方案有很高的门槛，且优越的性能已经被合作伙伴们验证并认可”，陈守顺博士补充说。

百度刚在CES2018上发布了其第二代自动驾驶平台 Apollo 2.0

依赖于产品技术优势稳扎稳打和他们所聚焦的市场的潜力，芯仑光电获得了投资者的青睐。在种子轮，他们就拿到了天使投资人100万新币加500万人民币的投资；2017年7月落地上海后，更是取得了加速发展。近日，公司宣布拿到了由百度风投(BV)领投的4000万元Pre-A轮融资。这笔投资证明了自动驾驶新巨头对芯仑光电技术产品的信心；也必将给公司的未来带来更强的资源和帮助。

芯仑方面表示，拿到融资之后，他们将会加速百万级像素动态视觉传感器平台的搭建，加速与汽车相关领域的应用项目的落地，推动消费电子应用领域的合作。

站在机器视觉的风口，陈守顺博士表示，掌握芯片核心技术，布局全球市场，成为一家AI时代的机器视觉平台公司，是自己对芯仑光电的期望，也是他作为一名中国芯片设计创业者的理想！

本期采访嘉宾：陈守顺博士

陈守顺博士是芯仑光电的联合创始人，董事长和首席科学家，是公司核心技术的发明人。他于2000年获得北京大学的理学学士学位，于2003年获得中国科学院的工程学硕士，于2007年获得香港科技大学的博士学位。他是中国第一款通用CPU ”龙芯一号”的核心开发成员。博士毕业后他在香港科技大学电子与计算机工程系进行了一年的博士后研究，又于2008年2月到2009年5月，在美国耶鲁大学电气工程系做博士后研究员。2009年7月，他作为助理教授加入新加坡南洋理工大学。陈教授的研究方向包括智能图像传感器以及成像系统，遥感成像系统，混合信号集成电路。在南洋理工大学期间，他作为项目负责人完成了超过1000万新币的研究项目，指导并毕业超过6名博士生。他是IEEE高级会员，是IEEE电路与系统(“CASS”)传感器专业委员会成员和秘书长；IEEE传感器期刊的副主编。

关于芯仑光电

上海芯仑光电科技有限公司成立于2017年7月，前身是在新加坡成立的Hillhouse Technology Pte. Ltd， 是一家提供集成化的传感器系统解决方案的科技公司。依托公司拥有全球领先的传感器芯片技术，将先进的信号处理技术嵌入传感器芯片，推动机器视觉产业发生根本变革，并在应用端实现商业价值最大化。

摩尔领袖志

中国半导体CEO访谈专题栏目。领袖，是一个企业的灵魂，决定着整个团队的前进方向和成败。这一点在资金和技术高度密集的半导体行业显得尤为突出。“半导体行业观察”作为摩尔精英旗下的专业半导体行业媒体，利用自身30万微信关注的影响力，为广大专业读者了解半导体行业领袖构建沟通平台，“摩尔领袖志”访谈内容集中在行业发展趋势、经营管理理念、创业创新故事、企业人力资本运营等四个方面，从宏观到微观、从理念到实践、从创业到管理全面覆盖。

本期特约记者：张竞扬

张竞扬，摩尔精英创始人兼CEO，东南大学无线电系硕士（电路与系统），拥有十余年半导体产业从业经验。摩尔精英是领先的半导体专业服务平台，旗下业务包括“芯片设计服务、流片封测服务、半导体招聘、媒体研究”。在创立摩尔精英前，张竞扬曾任：上海工研院商务总监、SEMI 高级经理、IBM微电子中国区业务拓展主管、IBM微电子亚洲技术支持中心负责人、IBM微电子芯片研发中心高级工程师、射光所RFIC设计师。

【关于转载】：转载仅限全文转载并完整保留文章标题及内容，不得删改、添加内容绕开原创保护，且文章开头必须注明：转自“半导体行业观察icbank”微信公众号。谢谢合作！

【关于征稿】：欢迎半导体精英投稿（包括翻译、整理），一经录用将署名刊登，红包重谢！签约成为专栏专家更有千元稿费！来稿邮件请在标题标明“投稿”，并在稿件中注明姓名、电话、单位和职务。欢迎添加我的个人微信号 MooreRen001或发邮件到 jyzhang@moore.ren