生物体的正常运转依赖一系列时空协调的细胞和亚细胞活动，观察和记录这些现象是了解它们的第一步。荧光显微镜与不断发展的荧光探针相结合，为科学家提供了一种具有良好分子特异性和高时空分辨率的观测工具。荧光成像的最新进展使我们能够以前所未有的时空分辨率解析生命活动机制，从纳米尺度的细胞器相互作用，到胚胎发育过程中的细胞足迹，再到与特定行为同步的全脑神经活动。

荧光成像的一个基本挑战是光子探测不可避免的随机性导致的光子散粒噪声，这是由光的量子本质决定的。从根本上说，所有测量过程都服从量子力学定律，最直接的表现就是任何测量过程都存在精度的上限，光学成像领域的这个极限被称为光子噪声极限。在理论上，光子噪声极限规定了成像信噪比的上界；在实践上，固有的光子噪声会增加测量的不确定性，降低图像质量，并限制成像的分辨率、速度和灵敏度等各个方面。光子噪声是前沿科学观测中绕不开的障碍，Nature杂志曾以“A shout-out for noise-reduction tools”为主题发表评述，指出任何实际测量的图像都必定是包含噪声的，呼吁开发更准确、更可靠、更高效的去噪方法以推动基础科学研究。

2022年9月26日，Nature Biotechnology杂志以长文形式发表了清华大学脑与认知科学研究院、自动化系、清华-IDG/麦戈文脑科学研究院戴琼海课题组题为Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit 的研究论文，实现了实时超灵敏荧光成像。

该团队继2021年在Nature Methods发文提出针对神经钙成像的自监督去噪基础架构后，进一步从网络结构和硬件部署两个方面对该方法进行了全面优化，在有效提升去噪性能和可靠性的同时，将模型体量压缩16倍，内存消耗降低27倍，处理时间缩减20倍，并设计多线程调度方法实现和显微镜硬件系统的融合，最终在双光子显微镜上实现了实时去噪（简称DeepCAD-RT）。借助该方法，即使可探测的荧光光子数目缩减十倍，依然能够实现超越光子噪声极限的超灵敏的荧光成像。DeepCAD-RT被应用于小鼠、斑马鱼、果蝇等多种模式动物，在神经元钙动态、免疫细胞迁移、神经递质发放等多种生命过程的观测任务上，均表现出强大的去噪性能。

图1.DeepCAD-RT通过模型压缩和最优部署实现实时去噪

在当今的神经科学领域，各种各样的模式动物正在被用于实验研究。开发一种对各种模式动物、各种细胞结构都适用的去噪方法，将对神经成像产生巨大的帮助。作者在不同分辨率下拍摄了小鼠大脑皮层树突棘、斑马鱼视顶盖神经元群落、果蝇磨菇体神经元的钙活动，包括低信噪比的原始数据以及具备十倍荧光光子的同步数据。使用DeepCAD-RT去除原始低信噪比数据中的噪声后发现，去噪后数据的信噪比得到大幅提升，原本淹没在噪声中的神经活动可以被真实地恢复出来，信噪比超过具备十倍光子的高信噪比同步数据。作者结合多种量化指标证明了DeepCAD-RT对于不同模式动物和神经结构的兼容性。

图2.DeepCAD-RT被应用于多种模式、多神经结构的钙成像实验

免疫细胞的迁移对于大脑损伤的修复至关重要。由于高激发功率所引发的光漂白、光毒性、组织损伤会扰乱正常的免疫反应，对免疫细胞迁移的观测必须使用很低的激发功率。而普通的双光子显微镜在低激发功率下的成像信噪比过低，很难揭示免疫细胞完整的三维迁移过程。为了解决这个问题，作者首先使用双光子显微镜在低功率下拍摄了急性脑损伤后，小鼠大脑皮层中性粒细胞的三维迁移过程，然后借助DeepCAD-RT去除图像中的噪声。量化分析表明，DeepCAD-RT能够有效去除图像中的噪声，恢复原始图像中被噪声淹没的信号，使免疫细胞的结构和迁移动态变得清晰可见。借助这项技术，作者成功观测到了炎症消除后，大批中性粒细胞从损伤位点逐渐弥散的整个三维过程。

图3.DeepCAD-RT用于在低激发功率下观测免疫细胞的三维迁移

在研究细胞迁移时，细胞分割能够获取细胞的数目、形态、分布等信息，通常是下游量化分析的第一步。DeepCAD-RT卓越的去噪能力能够大幅提升细胞分割的准确度，有助于协助研究人员得出更准确的生物学结论。作者以中性粒细胞的分割为例，使用Cellpose和Stardist这两种最先进的细胞分割方法，对去噪前后的数据进行分割，结果表明，DeepCAD-RT去噪之后的数据具有十分明显的细胞边界，分割的效果得到了大幅提升。

图4.DeepCAD-RT使细胞分割准确度大幅提升

随着荧光探针家族的不断发展壮大，用于神经功能学研究的神经活动探针已经从经典的钙探针，扩展到多巴胺、谷氨酸、乙酰胆碱等多种神经递质。在神经系统中，ATP（腺嘌呤核苷三磷酸）除了作为供能物质外，同时也是重要的信号分子。借助北京大学生命科学学院李毓龙教授实验室开发的新一代ATP荧光探针GRAB_ATP1.0，作者研究脑组织损伤后，损伤位点周围ATP的三维发放活动。由于激发导致的光毒性和组织损伤会诱发额外的ATP发放，使用低功率的激发光对于避免实验偏差尤其关键。因此，作者充分降低双光子显微镜的激发功率，对损伤位点周围的ATP活动进行了长达一个小时的连续三维记录。由于低激发功率下的成像信噪比十分低，作者使用DeepCAD-RT去除实验数据中的噪声。实验结果表明，去噪后的数据能够揭示更多细微的ATP发放活动，从而有助于得出关于发放位置、时间、发放点位的三维形状等更完整的统计结论。

图5.DeepCAD-RT用于监测大脑皮层神经递质的三维动态活动

作为一种在多种模式动物、多种生命过程上均表现出强大性能的去噪技术，DeepCAD-RT有望应用到更多的成像场景中，并推进多种成像技术的发展。例如，在对深层组织进行成像时，组织散射和吸收会大幅削减激发功率，导致成像信噪比无法满足需求；光场显微镜能够实现对活体样本的快速三维成像，但固有的成像噪声给光场的重建造成困难；结构光显微镜能够实现超过衍射极限的超分辨成像，但是噪声同样限制了其图像的重建。将DeepCAD-RT与这些技术结合，在数据处理的最前端有效降低噪声带来的不确定性，有助于解决这些难题并带来新的生命科学发现。

清华大学自动化系博士生李欣阳，复旦大学信息学院博士生李奕昕为该论文共同第一作者；清华大学脑与认知科学研究院、清华大学自动化系、清华-IDG/麦戈文脑科学研究院戴琼海教授，清华大学电子系方璐副教授，清华大学深圳国际研究生院王好谦教授为该论文共同通讯作者。