成电讲堂

电子科技大学教授曾兵

　　感谢学校给我这次和大家交流的机会。我是做图像的，在想这次发言的标题时，我突然想到这学期给英才学院的学生上了一门课，我用的题目叫“一切从图像开始”，所以我就把这个“搬过来”，给大家讲讲我们做的工作。当然学校让我也讲一讲回来一年多的亲身感悟，和大家分享一下。

　　第一部分相对比较容易，就是谈谈我和我的团队一年来做的事，还有我们的未来规划。如果从图像谈起，第一步就是怎么获得，我有一个关于成像的多年发展的趋势图，标示了几个方向。我们瞄准了这五个方向中的三个展开工作，第一是关于时间分辨率的问题，现在我们拍一个视频一般是每秒30帧，以后可以提高到1000、2000、5000帧。高时间分辨率下我们会得到什么呢？有什么用处呢？第二部分的工作是关于视角方向，我们做三维，在此基础上，我们扩展做光场成像的研究。我将给大家看看光场成像和传统成像的区别。第三方面，我们关注空间分辨率。现在已从标清走到高清，甚至超高清了，因为现在电视可以到8K。其实我们还可以往前走，做到十亿像素甚至二十亿像素。我列出了成像部分以及后面处理所面对的六个核心技术挑战。大家可以想一下，做到二十亿像素是什么概念？你拿一个二十亿像素的相机去照相，也许能够把空气中的雾霾照出来，还能分析得非常细致。有了角度分辨率我们真正可以做到原始的光场信号的记录，有了光谱分辨率我们可以从可见光突破，实现非可见光比如红外紫外等等。这个光场可以形成非常大的数据，数据的处理包括编码压缩，这其实是我的老本行。我们能不能做到，比如800：1的压缩比例？现在最好的技术大概能做到400：1，我们希望在现在的技术上继续加上一倍。当然，整个系统里面还包括数十万个传感器、控制、芯片的设计等等。

　　下面我有段视频，这是一个很简单的场景，用每秒五千帧的frame rate拍下来。其实就是两滴水滴到一杯牛奶的过程，用了0.6秒，但是以每秒5000帧的速度拍下来，再以200倍放慢的播放速度放出来。最精彩的是反弹回来的和下面一个water drop碰到一起，细节的部分全部抓住了，牛奶的颜色和水滴的颜色是不一样的，所以有颜色的变化。第二个实例是这样，人们在研究脑科学时希望把神经细胞单元在一定尺度上成像出来，现在能做的就是这样一个场景（成像效果不尽如人意）。斑马鱼是透光的，在不影响它游动的情况下，直接能够成像，但成像分辨率还不够高，我们成像主要关注的是什么呢？是神经单元。那么如果我们把这两个实验合在一起，如果哪一天我们对脑成像真正能做到不刺激脑，在很正常自然的环境里，把脑细胞的状态成像出来，而且还能够做到每秒多少帧，那么对我们国家推进的这个脑计划，包括脑科学和类脑计算这两个部分，会有极大的帮助和促进作用。

　　我们现在做的一个工作是从传统成像想过渡到光场成像。传统成像是平面的成像，它有x、y这两个坐标，当然有时间轴t，但是频谱上只是采了三个点，三种RGB颜色。我们把它推广出去，第一个阶段就是有距离这样纵向的一个z，同时频谱可以从可见光（包括RGB）推出去，我们可看到整个场景，另外还有两个角度信息，这两个角度信息其实是记录的从不同角度的光照射到这个物体再反过来。我们把所有的信息都记录下来，你们可以想象，这是一个巨大的数据。

　　光场相机现在市场上有两类，它的成像原理和普通相机有区别，在相机的主焦距上，它不是放的CCD或者CMOS，它是加了一个微透镜，光聚焦到微透镜上，分光出去，可以记录到背后的CCD/CMOS的不同位置，记录了不同角度的光。这样的数据看起来非常非常差，当然不能直接拿来用。但是如果我们对光场数据做后期的process，比如做一个refocus，可以聚焦到离我20m、50m的距离。因为你知道现在普通相机拍的效果，如果把它变成远景，那么近景是模糊的；变成近景，远景是模糊的，光场把信号全部采集了以后，我们可以通过算法，把整个大场景的信息全部成像出来。

　　目前，我们这方面的工作进展还是比较小，具体的就不讲了。这个实验数据有多大，我还没有加角度信息，帧率加到了每秒100，希望在z轴上采100个景深，我采的是对血红细胞动态的视频，面积只有25px*25px，分辨率我希望是每个红细胞有5*5个像素点。一个红细胞的尺寸大概是10u，简单算一下，大概250G每秒，这是个巨大的数据，需要我们做压缩或者做其他的相关处理。当然你们可能会问为什么要对血红细胞这样一个场景成像，现在的显微镜不能看吗？现在的显微镜也能看，它的视角看不到25px *25px，必须进行扫描，我们的成像是把25px *25px一次性成像出来，对我们后期的研究，特别是图像处理带来非常大的功效。

　　我们还有一项重点工作，就是在医学上检查人的消化道，得到图像。检查有两个手段，其中之一是用无线传输胶囊，很多年前人们已经开发出来，最近五年进入临床。病人吞下这个药片，在体内留6个小时。药片可以照相，可以无线传输图像，每秒能照两到三帧，整个检查过程要四到六万张照片。目前这个药片最高的分辨率很低，而且在胃和肠道里胶囊的运动无法人工控制，缺失大量姿态角度的信息。虽然这些图片在时间上是连续采集，但两个连续的图片之间，内容上大多没有相关性。我们想做的研究是这样的，对这些图片进行分类，剔除很多没有用的图，再做高分辨率的成像。我们把大量图片拼接起来 ，做一个宽景的图片，然后提景深，进行三维建模。在高分辨率拼接以及三维的基础上，我们最重要的一步是要做一个病灶的检测定位分析。

　　当然我说了，对于WCE（无线胶囊内窥镜），其图像处理特别难做，我们的工作是针对传统的光纤引导，进了人体的胃、大肠、消化道去检查的传统的电子内窥镜图像，这也是非常非常困难。我们最近有了一些进展，下面我给大家展示的图片，就是胃镜检查时在人体的一个部位相邻的四个图片。如果我们用传统的三维建模的方法去做，非常困难。它的特征点数量不够，如果强行的取很多，互相之间不match，导致算法做不出来。我们最近想了一个比较妙的东西，目前得到了一点初步的结果。虽然三维还不是很准，但是我们至少有了第一个结果，通过这四个图片做的三维模型出来，你会看见这个纹理部分不是很好，但是我们的网格点阵建得好。以前建不了，现在是能把它建起来了。

　　接下来我跟大家谈的研究和生活细节有关。你们看，拍视频时，手不可避免地要抖动。坐在川西北的大巴上，你想用手机拍九寨沟的风景，得到的视频会有抖动。这是新加入我们团队的一个年轻老师，在新加坡读博士期间的成果。我们发现，一个场景中，有一些物体离你比较远，有一些离你比较近。要么近景做不好，要么远景做不好。现在我们团队做了一个非常好的东西，我们能把近景远景都很好地呈现。其实这个工作主要的一个成员是我们大四的一个本科生。我发现电子科大的本科生真的是非常优秀，只要他们感兴趣并全力投入，真的能把工作完成得非常非常好。

　　我现在谈一谈我回来一年半的感受心得。首先，我是从哪里来的，大家也许还不太清楚。因为我的题目叫做一切从图像开始，所以第二个部分，还是用图像来讲。我展示的第一个图像，很高兴你们知道，香港科大在清水湾；而第二个图像，我想大家都知道是电子科大图书馆外的景色。我很简单地地总结我的变化，这样一个选择，就是“从清水湾到清水河”，只变了一个字。如果从学校来说呢，也变化不大，从香港科技大学到电子科技大学，变了两个字。

　　现在国内提供了非常大的机会，非常大的舞台，这是我们选择回来的唯一理由。这三个关键词“梦想 机会 奋斗”是习主席谈中国梦时提到的。我的理解是，每个人都有梦想，现在国家给了我们机会，我们就需要自己奋斗。梦想很简单，人人都有梦想，小时候有，读书期间有，我在香港科大期间也有梦想。那么这个梦想到底是什么，比如说我们从大学开始，一直到博士这十几年的时间，当然希望学得好，同时我还有一个梦想，就是要追到一个漂亮的女生，这个梦想我实现了。香港科大期间的梦想除了拿“终身”职位外还有另外一个梦想，就是要把家庭建立起来，要有孩子，家庭这个梦想也实现了，现在两个小孩都在成都读书。那么回到母校以后，我其实只有一个梦想，我梦想五年十年甚至更长的时间我还会和大家一起在成电共事，那意思是说我本人做得还不错，学校没有把我开掉，另外学校发展得非常好，值得我在这里。

　　对我自己来说，机会对我一直非常好，在国家改革开放之初，我们这些大学生有了出国留学的机会。那么在中国梦大幕拉开之际，我们得到了报效祖国的机会。我们非常珍惜这个机会，那么回来的感觉总体上是这样的，不是像古人说的“独上高楼”，而是大家一起上高楼，我们一起看清未来的路，包括自己的，学校的，整个国家的，都息息相关，真的感到非常振奋。那么剩下的就是奋斗啊，回来后，我们做好了回到零点重新出发的准备，从零开始重新颠簸。当然我们还是希望坚持一些东西，坚持做我们的本职。在国外呆了这么多年，形成了很好的国际视野，但是很重要的是要接地气，国家有国家的地气，成都有成都的地气，学校也有学校的地气，我们一定要做好这方面的工作。剩下的就是拼搏了，当然你会发现，拼搏的过程其实很痛苦，很多痛苦相伴，但是我们没法放弃，我们必须执着。

　　下面我想用古人说的一句话和大家共勉，我们不一定是君子，但是我想我们是学者，所以我们立志，尤需要坚忍强硬，虽遇颠簸流离，我们不屈不挠。我希望用这样描述君子的一句话来和大家共勉，“君子自勉, 犹天之运行不息, 不得有一暴十寒之弊。”当然，说了很多感性的，精神上的，或者说叫上层建筑的话，我们回到现实，我说点理性的 ，说点物质基础。关于电子科大，刚才我们校长做了很好的介绍，那么我说说成都。成都是一个来了就离不开的城市，成都有很多美丽的东西，举两个例子：第一，美景，也是我开车常喜欢去的。第二，是美食，这也是不可否认的，人人都会同意的。成都还有一个好处，成都和同类型的省会城市来比，居住环境非常好。你们可以在成都市中心城区发现非常好的房子，周边配套设施非常好，而且价格确实不贵。如果你们像我一样能忍受一天来回开两小时车，就住到郊区去。虽然有点远，但就像在美国的郊区生活一样。我们当时选择成都也有几点考虑，对你们也十分重要。成都是一个内陆城市，但是经过十几年的发展，从一个满城都跑奥拓车的地方到现在一个现代化城市。你去查一查成都的国际航班，相当的多。随便哪一个地方，欧洲、美洲、澳洲、日本、新加坡等等都有，这一年又开了新航班。回来这个城市就带回家庭，小孩的教育是重要的考虑因素。成都的教育有非常好的保证，包括优质的本地学校和国际学校。

　　说了这么多，又回到一点感性的话题。最近我看网上流行一首关于旅游的诗：亲爱的，我们去旅游吧，我带着你，你带着钱。你一定要带着钱啊。那我就借用这首诗，就是学校带着我们，我们带着我们的知识，带着我们的才华，来到这样一个舞台上，你真的发现你有一个让自己尽情发挥的舞台。这真是一个令人激动的时代，不管从国家层面还是学校。前两天我看到尼泊尔地震的时候，中国派飞机接我们的同胞回来，很多人有这样的感觉 ，在机场上你打着中国国旗，其他国家没有任何人敢去招惹你。国家的发展，会慢慢引领世界的大潮，我们其实很有幸，有机会投入到这个大潮中。在这样一种环境中，你停不下来，因为你发现有这么一种催人奋进的号角在催促着你前行。最后我来做一点点小结，两个字来描述，其实这个过程还是比较辛苦，比较累人，但是我还是想用“充实”来描述自己的感觉，如果再用两个字，回来的一年多，我的团队、项目，包括给学生上课，其实已经走上正轨，回到了一种很平凡、正常的状态，但我还是想说，在这个过程中，还是充满着“精彩”。用我们四川话来说，“巴适”。把这两个字再减一减，用一个字来说，我会说很“值”。最后再用一个字，我觉得很“爽”！（学生记者团  刘陆琛根据论坛现场录音整理）