研究生物体内多个细胞和细胞器之间的相互作用和功能，离不开活体显微技术的持续进步，尤其依赖高时空分辨的成像技术以捕捉哺乳动物体内复杂微环境中的高速三维变化。在过去的十余年里，科学家们为三维荧光成像的技术革新做出了大量努力，促进了细胞生物学、发育生物学和神经科学等学科的快速发展。其中，作为计算显微成像的典型代表，清华大学成像与智能技术实验室所提出的扫描光场显微镜（sLFM）【1】凭借其高速三维成像能力、数字自适应光学和低光毒性，已被广泛用于不同模式动物中的肿瘤学、免疫学、神经科学等研究。尽管现有的物理扫描过程突破了光场成像中空间分辨率与角度分辨率的矛盾，但也导致在拍摄一些超高速生物现象过程中存在重建伪影与分辨率下降，比如高速血流中的细胞，神经电压响应等，限制了当前活体三维显微成像的时空分辨率。

针对这一难题，2023年4月6日，Nature Methods在线发表了清华大学成像与智能技术实验室戴琼海院士团队题为“Virtual-scanning light-field microscopy for robust snapshot high-resolution volumetric imaging”的研究论文。该团队在扫描光场显微的基础上，发布了国际首个大规模多样本的显微光场超分辨率数据集，进一步提出了虚拟扫描光场显微技术（VsLFM），配合扫描光场系统，能在近似样本结构数据上，将单次曝光的光场显微图像恢复至三维衍射极限分辨率，首次实现了500Hz的三维亚细胞分辨率果蝇多脑区电压成像【2】。VsLFM通过探索微透镜孔径衍射引起的多角度视图中频率混叠物理约束，构建了基于物理先验的深度神经网络Vs-Net，通过大规模数据集与深度学习求解频率混叠这一信号处理难题，相比于以往深度学习方法显著提升了可解释性与泛化性，公开的预训练模型即能广泛应用于不同的样本结构，实现用虚拟数字扫描以替代物理扫描的过程，在单次曝光下展现出超高时空分辨率，并有效去除了运动伪影，更适合在心跳、呼吸、血流等自然节律下的动物体内成像，全面拓展了扫描光场显微镜的应用范围与系统鲁棒性。

VsLFM的核心原理是将光场图像的维度关联性与深度神经网络的强拟合能力进行有机融合。如图1所示，Vs-Net充分利用了微透镜衍射引入的不同角度之间相位相关性的物理先验（这在宏观光场图像处理中均被忽视），并通过在上采样过程中同时考虑多个角度的测量图像，提取出空角、光场、角度混叠三种特殊设计的高维特征，从复杂的空角频率混叠中恢复了高频结构信息。经过Vs-Net后，光场相空间点扩散函数（PSF）作为另一个物理先验条件，对高分辨率光场图像进行三维重建，保留了数字自适应光学像差矫正能力，达到衍射极限分辨率。

图1. VsLFM原理示意图

传统LFM以及端到端的LFM重建神经网络，由于重建过程逆问题的欠定性，长期以来无法突破微米以内的亚细胞分辨率或者泛化性低而难以实际应用。VsLFM这一基于物理先验的分布式学习框架，通过引入多视角之间的相位相关性与点扩散函数的波动衍射性，能够很好地填补光场图像与三维体积之间超10倍的巨大分辨率鸿沟。如图2所示，研究人员对WGA标记的L929细胞进行了测试，对比不同深度学习方法在线粒体数据上训练并在微丝数据上测试的效果。相较于之前的方法，VsLFM展现出了最高的空间分辨率与鲁棒性，具备充分的泛化能力，没有网络重建伪影。

图2. VsLFM的高分辨率与强泛化能力

与体外成像不同，由于组织的异质性和光敏感性，活体成像通常伴有大量的光子噪声和光学像差，这为依赖准确成像模型的计算显微技术带来了巨大挑战。由于数据集的限制，端到端网络的训练通常被限制在特定的成像条件下，而VsLFM凭借其分布式策略和基于物理约束的先验，可以在复杂情况下维持很高的成像性能。为了评估这种鲁棒性，研究人员首先比较了VsLFM与两种端到端网络在噪声场景下的成像性能。这些网络都是在高信噪比场景下进行训练，并在光子受限条件下测试。如图3a-3c所示，预先训练的端到端网络对成像条件要求非常严格，容易出现过拟合情况，使信号与噪声混淆，导致严重的伪影和结构碎片；相反，VsLFM学习了角度视图之间的物理约束，可以有效地将信号与强噪声区分开来，在低光照条件下实现保真度的明显提升。另一方面，组织异质性会带来严重的光学像差，破坏端到端模型所学到的映射关系，造成肉眼可见的失真和伪影；而VsLFM运用了数字自适应光学技术进行畸变校正，获得了更优的成像质量，如图3d-3e所示。

图3. VsLFM具有对噪声、像差等复杂场景的鲁棒性

凭借着单曝光近衍射分辨率的三维成像能力和在复杂场景中的鲁棒性，VsLFM填补了在哺乳动物超高速复杂环境中分析亚细胞动态变化过程的空白。研究人员将VsLFM应用于活体小鼠肝脏免疫细胞的监测中。如图4所示，小鼠体内血流等强烈的运动不可避免地破坏了sLFM采集过程中的物理扫描模式，导致运动伪影和低时间分辨率。而VsLFM能够有效消除严重的运动伪影，保持了完整的中性粒细胞形状，兼具LFM的高速与sLFM的高分辨率。

图4. VsLFM有效去除高速运动细胞伪影，同时维持高分辨率（GIF）

基于这一强大能力，研究人员进一步尝试了对超高速三维电压活动的观测能力。活体电压记录对于研究动物神经系统反馈互连的学习单元以及短期和长期记忆之间的复杂相互作用具有重要意义。然而，长期以来，由于超过200Hz的极快三维电压瞬变，与短曝光时间带来的低信噪比问题，大范围内实现亚细胞分辨率的三维电压信号动态捕捉始终未能实现。凭借着VsLFM，研究人员首次以亚微米分辨率、500Hz的超高时空分辨率突破了果蝇全脑稀疏标记多巴胺神经元的三维电压活动记录，同时观测到了2.4毫秒的时间窗内PL1-α'2α2神经元轴突分支和树突树中动作电位的三维传播过程，还在体内验证了气味刺激时电压活动发射率的抬升变化。凭借着超高时空分辨率以及强鲁棒性，VsLFM有望对更多模式动物的复杂神经活动进行更广泛的研究。

值得一提的是，本文还公开了国际首个光场显微超分辨数据集Bio-LFSR 

(https://doi.org/10.5281/zenodo.7233421)，以供相关领域的研究者免费使用，促进构建计算显微成像的开源社区。相信以VsLFM为代表的活体计算成像技术将不断完善和发展，推动生命科学和医学领域活体研究的繁荣和进步，助力人类揭开生命体内微观世界的神秘面纱。

清华大学自动化系博士生卢志、天津大学电气自动化与信息工程学院博士生刘昱为该论文的共同第一作者，清华大学自动化系、脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海教授、吴嘉敏助理教授，天津大学电气自动化与信息工程学院杨敬钰教授为共同通讯作者。清华大学、天津大学的多位老师和研究生做出了重要贡献。

参考文献

[1] Wu, J., Lu, Z., Jiang, D., et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale. Cell 184, 3318-3332 (2021).

[2] Lu, Z., Liu, Y., et al. Virtual-scanning light-field microscopy for robust snapshot high-resolution volumetric imaging. Nat. Methods (2023). https://doi.org/10.1038/s41592-023-01839-6.