“普渡”夜视技术难题攻克，感叹“多亏妻子兜底”

今天，很高兴为大家分享来自媒体滚动的夜视技术难题攻克，感叹“多亏妻子兜底”，如果您对夜视技术难题攻克，感叹“多亏妻子兜底”感兴趣，请往下看。

这时，手机收到一则信息，他和妻子同时欢呼起来，那张以为没戏的Nature封面投稿图，终于在沉寂两个多月后收到图片修改的回复。

7月26日，Nature以封面论文形式发表了这项可以在黑夜看到白天景象的夜视技术。美国普渡大学研究助理教授（research scientist）鲍芳琳是该论文的第一作者。

这篇耗时4年的论文发表后，鲍芳琳并没有过分惊喜。他坦言，很多情绪已经在两年3轮的审稿过程中被逐渐磨平。的确，光是第一轮意见，他就补充了80多页说明，第二轮意见更是让他一口气开发出10个应用场景。

鲍芳琳现在最想做的，就是在回国前，带着没怎么走出过校园范围的妻女，好好转转这座生活了4年的城市。

?

鲍芳琳

鲍芳琳没有想到，2019年进入普渡大学做博士后的第一个“小组作业”，竟然一做就是4年。

合作导师Zubin Jacob当时正在酝酿一个关于热成像技术的项目课题，但究竟要解决什么问题，Zubin也没有想好。刚加入的鲍芳琳便被安排通过这个“小组作业”练练手，为后续开展红外量子传感与人工智能方面的研究做铺垫。

起初，他希望用擅长的量子技术来提升红外传感。但研究后发现，即使不利用量子技术，传统热成像也有瓶颈亟待突破。

鲍芳琳开始思考，如何让黑夜的热成像跟人们在白天肉眼看到的世界一样清晰。

目前，让机器拥有“高清”视力的传感器主要是摄像头和激光雷达。但在“实现黑夜高清成像”面前，两者各有弊端：摄像头只能在高可见度条件下作业，而未来如果成百上千的激光雷达同时作业，不仅会导致信号串扰，还对人眼有伤害。

热成像技术恰好可以作为提升机器视觉感知的有力补充。鲍芳琳说，红外热成像技术和摄像头一样，都是被动接收信号而不对外发射激光，不仅可以在很低的能见度下实现态势感知，也避免了对人眼的伤害。

但大多数热成像系统都面临一大障碍——“鬼影效应”。热成像的照片就像人眼直视耀眼的灯泡一样，只见轮廓，鲜有细节。

鲍芳琳想，如果攻克“鬼影效应”，就有望打造一个能在夜间识别物体纹理细节，实现高清成像与测距的“热雷达”！

通过查阅文献，他发现这一难题尚未被解决。这个原本只是打算练练手的作业，一下就引发了他的兴趣。

鲍芳琳意识到，结合机器学习、光学成像、红外物理等综合性知识，将机器视觉与热成像耦合，或许是击败“鬼影效应”的大胆尝试。但这让原来做量子理论研究的他，吃了不少苦头。

为此，鲍芳琳开始自学机器学习，捣鼓数据分析，还开发了一个光线追迹的渲染模拟器，对高光谱热成像进行仿真模拟，并用这些数据训练了一个神经网络模型。

最终，他们提出了一种热辅助探测和测距技术——HADAR。HADAR技术能像人眼在日光下一样，揭示黑暗中的纹理和深度。同时，HADAR还能提供每个物体材料及其周围环境温度的信息，形成一幅全面的“图像”。

对于能攻克“鬼影效应”，鲍芳琳认为是最初的“门外汉”角色给自己带来了机遇，对于领域里司空见惯的现象，反而敢于质疑并提出了自己的见解。

2021年4月6日，鲍芳琳忐忑地将两年的钻研成果投给了Nature，虽然深知HADAR技术非常创新，但还是多少感到心里没底。

实际上，导师Zubin在投稿前认为论文的体量和内容已经足够，但鲍芳琳还是坚持研究信息理论的极限，不仅让HADAR技术能够在黑暗中识别物体纹理，还深入探索了它在目标识别以及测距精度方面能达到的理论极限。

没有太大疑问，这项研究让Nature审稿人耳目一新，但他们也提出了不少问题。尤其，他们希望论文能进一步阐释HADAR技术的理论和算法逻辑。为此，鲍芳琳写了80多页的补充材料。

接踵而至的第二轮审稿意见，则差点让研究“夭折”。审稿人认为他们的理论论证已经很充分，但仿真模拟的复杂程度不足，而且他们使用红外相机加滤光片进行的实验也显得粗略。但获得更优质的数据，所需的实验设备极其昂贵，市场价格可达上千万元。

幸运的是，依据热雷达以及其他相关工作，Zubin带领整个组如愿申请到了项目资助，通过项目恰好能接触到该设备，获得文章所需的数据。在当时，竞争该项目的有80多个团队，最终仅4个团队成功，来自大学的团队只有普渡和麻省理工。

同时，鲍芳琳辗转找到业内的计算机图形仿真工作人员，经过8个月的通力合作，最后开发出了10个不同的复杂应用场景。所用到的计算机图形仿真，正是科幻电影《阿凡达》等常用的技术。

最终，审稿人对这项研究给予了高度评价，认为这是机器视觉及人工智能领域的突破，并表示HADAR重新定义了低能见度环境下的机器感知。

审稿人表示，HADAR使得机器可以更准确地评估周围环境并提供关键安全信息，有望重塑我们的未来。

回望改稿的两年，鲍芳琳感慨说，如果没有Zubin带领小组从80多个团队中脱颖而出的那个项目，补充实验数据就是天方夜谭了。

40岁左右的印度裔学者Zubin，是普渡大学电气和计算机工程学院副教授。鲍芳琳刚加入实验室时，组里只有十几个人，只是学校里很小的一个研究组，如今已发展到30多人。

?

Zubin课题组 （一排右三为Zubin）

在鲍芳琳看来，Zubin敢于“往前想”，思维也非常活跃。

当鲍芳琳还在想着如何优化HADAR时，Zubin已经在跟他聊“要不要先搞一个热成像技术公司，然后创建全球第一个热成像技术中心”。甚至在申请一个与量子加速的天文成像理论相关的项目时，Zubin还会提到要不要在普渡建一个天文台。

在这个学科交叉、文化更交融的环境中，鲍芳琳的思维和表达变得更加“开放”。

2007年考入浙江大学之前，鲍芳琳的世界很小。知识改变命运，放在这个出生在千岛湖附近一个普通农村家庭的小伙儿身上，再合适不过。

“当时学习没有强烈的目的性，不会说立志要考哪所大学，就是觉得学习有意思。”走出村子前，鲍芳琳从没想过考上清华北大，他直言就算没考上浙江大学，也不觉得遗憾。

对于选择浙江大学，鲍芳琳的理由很简单：就在家门口，而选择物理专业只是兴趣使然。虽然父母没有多高的文化水平，但对于他的选择，父母一向很支持，也不会去想哪些专业热门赚钱。

对物理的浓厚兴趣，让鲍芳琳在浙江大学完成了直博的学业后，又跟随导师前往华南师范大学华南先进光电子研究院做了3年博士后。也是在这里，他遇到了当时的师妹，后来的妻子。

博士后出站前，两个年轻人便结了婚。得知鲍芳琳想出国深造，妻子很支持，为此辞去了专利工程师的工作，跟他一同前往。

“她跟着我来到美国，生活非常不习惯，一开始语言不通，也没有工作。”鲍芳琳回忆过往时十分动容，尤其在论文审稿期间，妻子还经历了怀孕生子。

他至今仍清晰地记得自己升级为爸爸的那一天。那是2021年冬天，恰好论文进入回复二审意见的阶段，鲍芳琳将实验室的工作加班加点提前做好安排，随后便带着妻子前往医院。

女儿的出生为两个在异乡打拼的年轻人带去了新的希望，但也带来了不小的挑战。

还记得女儿9个月的时候，鲍芳琳为了补充论文第二轮审稿意见中的实验数据，借来了那台价值昂贵的设备，但借期只有4天。他一分钟也不敢浪费，每天不等天完全亮就出门，回来已是深夜凌晨。

那几天，女儿身上长满了湿疹，白天夜里都因痒哭闹。为了不影响鲍芳琳，妻子硬是一个人扛了下来，“我忙的时候，全靠她给这个家兜底。没有她，也就没有我现在的研究成果”。

科研之外，鲍芳琳会最大限度地把时间投入在带孩子上，尤其是孩子进入幼托以后，妻子开始继续进修专业，二人在家庭和工作上的配合更加默契。

?

鲍芳琳一家

离家4年，鲍芳琳的父母还只是在视频里见过孙女。对于自己发了Nature封面论文的喜讯，他暂时没有告诉父母。

“他们都是农民，可能不懂啥是Nature论文。”鲍芳琳希望把《中国科学报》的报道当作礼物，送给年迈的父母，让他们知道寒窗苦读二十多载的儿子，在宇宙浩瀚星辰中已经采撷到了绚丽果实。

（以上图片均为受访者供图）

相关论文信息：

https://www.nature.com/articles/s41586-023-06174-6

好了，关于夜视技术难题攻克，感叹“多亏妻子兜底”就讲到这。