新型機器學習框架無需專用硬件即可快速校正成像像差解鎖高分辨率觀測
在生物醫學研究中，高分辨率組織成像技術常因樣本引起的光學像差而受限，導致圖像分辨率和對比度下降。傳統基于波前傳感器的自適應光學技術雖能測量這些像差，但其硬件復雜、成本高昂，且在測繪大視場中空間變化的像差時速度緩慢。為此，研究團隊提出了一種名為AOVIFT（自適應光學視覺傅里葉變換器）的新型機器學習框架，該框架基于三維多階段視覺Transformer，直接在傅里葉域中對像差進行建模與校正。AOVIFT通過分析樣本中由亞衍射尺寸熒光斑點（如網格蛋白包被小坑）產生的傅里葉嵌入特征，快速推斷像差并恢復衍射極限性能，顯著降低了計算成本、訓練時間及內存占用。該方法在活體基因編輯斑馬魚胚胎和培養細胞中得到了驗證，能夠通過可變形鏡或后處理解卷積有效校正空間變化的像差，為多種生物樣本的高分辨率體積顯微鏡成像降低了技術門檻。
本研究的核心貢獻者為Thayer Alshaabi、Daniel E. Milkie、Gaoxiang Liu等作者，其合作論文《Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens》于2025年10月在《Nature Methods》期刊上在線發表。
重要發現
01研究背景與技術需求
在活體多細胞樣本成像中，樣本內部折射率的不均勻性會導致復雜的光學像差，嚴重影響成像質量。傳統的自適應光學技術依賴波前傳感器和導引星，硬件要求高且操作繁瑣。盡管已有多種基于機器學習的像差校正方法被提出，但在處理大體積、低信噪比、多斑點的活體樣本時，仍難以同時滿足速度、魯棒性、準確性和非侵入性等嚴格要求。特別是在自適應光學格子光片顯微鏡中，需要對秒級時間內采集的體積數據完成像差推斷，且能應對高達5λ峰谷值的復雜像差模式。
AOVIFT的創新之處在于其將像差校正問題轉化為傅里葉域中的特征學習任務。其工作流程始于對輸入的三維體積數據進行預處理，包括高斯高通濾波去除背景噪聲、傅里葉頻率濾波限制在檢測數值孔徑范圍內，以及Tukey窗函數減少邊緣效應。隨后，通過計算預處理后體積的三維傅里葉變換，并以其與理想點擴散函數傅里葉振幅的比值作為振幅嵌入，結合通過局部極大值檢測和掩模處理消除多斑點干擾后的相位信息，構建包含六個二維平面的傅里葉嵌入（三個振幅平面和三個相位平面）。這一嵌入作為后續Transformer模型的輸入。
模型采用雙階段三維視覺Transformer架構，每個階段使用不同的塊大小（32和16像素）對傅里葉平面進行分塊處理，并引入徑向編碼的位置嵌入以契合Zernike多項式的徑向對稱特性。通過多層自注意力機制和殘差連接，模型能夠從傅里葉嵌入中提取多尺度特征，最終輸出前15個Zernike模式（排除活塞、傾斜、散焦等平移相關模式）的系數，用于驅動可變形鏡或生成用于解卷積的像差點擴散函數。
03性能驗證與實驗結果在合成數據測試中，AOVIFT在像差小于0.30λ RMS且信號高于5×10^4光子的條件下，單次迭代即可使絕大多數樣本恢復至衍射極限性能（RMS波前殘差<0.075λ）。其性能顯著優于PhaseNet與相位檢索等傳統方法，尤其在斑點數量增多或偏離視場中心時仍保持穩定。在真實實驗中，研究團隊首先在熒光微球上驗證了AOVIFT的校正能力：對66種不同Zernike模式組合施加初始像差后，AOVIFT在45種情況下經兩次迭代達到衍射極限，在另11種情況下經五次迭代接近衍射極限。
在活體SUM159細胞成像中，AOVIFT成功校正了由可變形鏡引入的混合像差（如水平彗差與傾斜三葉像差），使網格蛋白包被小坑的信號強度提升2-4倍，快速傅里葉變換顯示空間頻率成分顯著恢復。在斑馬魚胚胎實驗中，AOVIFT校正了約2λ峰谷值的樣本固有像差，其效果與基于導引星的Shack-Hartmann傳感器校正結果相當，并實現了對細胞膜和線粒體的清晰成像。
針對大視場內像差的空間變化性，AOVIFT能夠在1.5分鐘內基于四塊A100 GPU并行推斷出204個等暈區域的像差分布圖。盡管無法通過單一可變形鏡同時校正所有區域，但通過基于像差圖的空變解卷積處理，有效抑制了像差引起的偽影，提升了樣本結構的還原度。
創新與亮點
01突破傳統硬件限制的軟傳感范式
AOVIFT的核心突破在于徹底擺脫了對波前傳感器和導引星等專用硬件的依賴，將像差傳感轉化為純計算問題。這一轉變不僅大幅降低了系統復雜性與成本，更使得像差校正可廣泛應用于不具備自適應光學硬件的普通顯微鏡平臺。通過利用樣本內天然存在的亞衍射結構（如網格蛋白包被小坑）作為信號源，AOVIFT實現了“無創”像差感知，避免了對熒光光子預算的過度消耗，保障了活體樣本的生理活性。
AOVIFT的創新性技術路線體現在兩方面：其一，采用傅里葉域嵌入而非實空間圖像作為模型輸入，充分利用了像差在頻域的全局性特征，使模型更專注于與光學傳遞函數直接相關的特征學習；其二，設計的多階段Transformer架構通過分塊策略與徑向位置編碼，顯著降低了計算復雜度，在小參數量下實現了快速收斂與高精度預測。相較于傳統的三維卷積網絡或視覺Transformer變體，AOVIFT在訓練速度、內存占用和推理延遲上均具優勢，為實時校正提供了可能。
03面向生命科學研究的實用化價值
該技術的另一大亮點在于其緊密貼合生物成像的實際需求。通過專為格子光片顯微鏡優化的訓練數據與模型設計，AOVIFT在活體斑馬魚胚胎、哺乳動物細胞等復雜樣本中表現出強魯棒性。其空變像差測繪能力為宏觀組織尺度的高分辨率成像提供了可行路徑，而基于像差圖的解卷積處理則為歷史數據的質量提升開辟了新思路。這些特性使得AOVIFT不僅是技術方法的創新，更是推動生命科學研究者深入探索亞細胞動態過程的有力工具。
總結與展望
AOVIFT作為一項融合傅里葉光學與深度學習的前沿技術，成功演示了基于機器學習的自適應光學在活體多細胞成像中的巨大潛力。其通過傅里葉嵌入與三維視覺Transformer的有效結合，實現了對復雜像差的快速、精準校正，為高分辨率體積顯微鏡在生命科學中的普及應用提供了更易實現的解決方案。當前模型雖針對特定光片類型優化，但其框架具備向其他成像模式拓展的靈活性。
論文信息
聲明：本文僅用作學術目的。
Alshaabi T, Milkie DE, Liu G, Shirazinejad C, Hong JL, Achour K, Görlitz F, Milunovic-Jevtic A, Simmons C, Abuzahriyeh IS, Hong E, Williams SE, Harrison N, Huang E, Bae ES, Killilea AN, Swinburne IA, Drubin DG, Upadhyayula S, Betzig E. Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens. Nat Methods. 2025 Oct;22(10):2171-2179.
DOI:10.1038/s41592-025-02844-7.
