深度學(xué)習(xí)推進(jìn)高速三維成像技術(shù)—無需高速硬件實(shí)現(xiàn)萬幀級3D測量
本研究由 Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen 和 Chao Zuo 共同完成，研究成果以題為“Dual-frequency angular-multiplexed fringe projection profilometry with deep learning: breaking hardware limits for ultra-high-speed 3D imaging”的論文形式，于2025年8月在《Opto-Electronic Advances》上正式發(fā)表。
重要發(fā)現(xiàn)
01核心貢獻(xiàn)
DFAMFPP 技術(shù)的核心突破在于其成功將多幀三維信息編碼至單張復(fù)用圖像中，通過結(jié)合雙頻條紋投影結(jié)構(gòu)與深度學(xué)習(xí)重建算法，實(shí)現(xiàn)了無需高速硬件支持的超高速三維成像。該系統(tǒng)在僅使用625 Hz相機(jī)的情況下，成功對轉(zhuǎn)速高達(dá)9,500 RPM的渦輪風(fēng)扇發(fā)動機(jī)原型進(jìn)行了10,000 Hz 的三維動態(tài)捕獲，顯著超越了傳統(tǒng)FPP系統(tǒng)的性能極限。
DFAMFPP 系統(tǒng)基于數(shù)字微鏡器件（DMD）投影系統(tǒng)與科學(xué)CMOS相機(jī)搭建。其光學(xué)投影部分采用多組雙頻條紋對，每組包含高、低兩種空間頻率的條紋，并沿不同角度投射。高頻率條紋用于捕捉細(xì)節(jié)信息，低頻率條紋則提供全局相位展開的約束。投影序列以超過相機(jī)幀率的速度運(yùn)行，通過長時(shí)間曝光將多幀條紋信息整合至單張圖像中，形成光譜域中特有的同心圓對分布結(jié)構(gòu)，從而在頻率域?qū)崿F(xiàn)多時(shí)刻信息的有效分離。
03深度學(xué)習(xí)重建流程
圖像重建過程包含三個(gè)關(guān)鍵步驟：零階分量濾除（ZORNet）、相位分解網(wǎng)絡(luò)與數(shù)論相位展開網(wǎng)絡(luò)。首先，ZORNet 作為一種學(xué)習(xí)增強(qiáng)型高通濾波器，有效去除復(fù)用圖像中的零頻背景，保留高頻信號成分。隨后，設(shè)計(jì)了一種空頻混合雙分支神經(jīng)網(wǎng)絡(luò)（空間分支與頻率分支），對濾除零階后的復(fù)用圖像進(jìn)行分解，提取出各時(shí)刻對應(yīng)的條紋成分。最后，借助物理信息嵌入的相位分析模塊（PI-AFPA）與數(shù)論相位展開模塊（NT-TPU），結(jié)合可靠性引導(dǎo)補(bǔ)償（RGC）算法，成功恢復(fù)出高精度的絕對相位圖，并通過標(biāo)定參數(shù)和增強(qiáng)型三維重建算法（A3DR）最終輸出三維點(diǎn)云。
04實(shí)驗(yàn)驗(yàn)證與精度分析
研究團(tuán)隊(duì)通過多個(gè)動態(tài)場景驗(yàn)證了DFAMFPP 的有效性。例如，在對轉(zhuǎn)速約4,800 RPM的四葉片風(fēng)扇進(jìn)行拍攝時(shí)，系統(tǒng)成功從單張復(fù)用圖像中解析出16個(gè)連續(xù)時(shí)刻的高精度三維模型，清晰呈現(xiàn)出葉片旋轉(zhuǎn)中的形變與位移。在對標(biāo)準(zhǔn)陶瓷球體的定量評估中，該系統(tǒng)在最佳條件下實(shí)現(xiàn)了優(yōu)于100微米的測量精度，半徑重建的均方根誤差保持在90–98微米之間，證明其具備高精度的絕對三維測量能力。
創(chuàng)新與亮點(diǎn)
01突破硬件瓶頸的傳統(tǒng)難題
DFAMFPP 最大亮點(diǎn)在于其徹底擺脫了對高刷新率傳感器的依賴，通過計(jì)算成像的方法實(shí)現(xiàn)了“傳感器幀率之外”的超高速三維成像。傳統(tǒng)FPP系統(tǒng)因受限于硬件同步機(jī)制，難以在成本可控的情況下進(jìn)一步提升采樣率。而DFAMFPP 利用投影器高速切換特性與深度學(xué)習(xí)算法的協(xié)同，僅用普通相機(jī)即實(shí)現(xiàn) kHz 級別三維成像，為解決高速動態(tài)測量中的硬件限制提供了全新思路。
在光學(xué)編碼方面，本研究創(chuàng)新性地將雙頻條紋與角度復(fù)用策略相結(jié)合。每一組雙頻條紋不僅提供了局部細(xì)節(jié)與全局約束，還通過改變投影角度進(jìn)一步提高了信息承載容量。其頻譜分布具備良好的分離特性，使得后續(xù)神經(jīng)網(wǎng)絡(luò)能夠更精準(zhǔn)地分解各時(shí)刻信號，抑制了頻譜混疊問題，增強(qiáng)了對復(fù)雜物體及高動態(tài)場景的適應(yīng)性。
03物理機(jī)制與深度學(xué)習(xí)融合
DFAMFPP 的另一大創(chuàng)新體現(xiàn)在將傳統(tǒng)物理模型與數(shù)據(jù)驅(qū)動方法深度融合。例如，PI-AFPA 模塊融合了傅里葉變換輪廓術(shù)（FTP）與相位偏移法的物理先驗(yàn)，NT-TPU 則引入數(shù)論約束作為 unwrapping 的強(qiáng)引導(dǎo)，使得整個(gè)系統(tǒng)在保持高精度的同時(shí)，也具備良好的泛化能力與抗干擾性。
總結(jié)與展望
DFAMFPP 作為一項(xiàng)融合光學(xué)工程、計(jì)算成像與深度學(xué)習(xí)的前沿技術(shù)，成功實(shí)現(xiàn)了在無需高速相機(jī)條件下的萬幀級三維成像，顯著推動了高速乃至超高速光學(xué)測量領(lǐng)域的發(fā)展。其不僅具備高精度、大景深的測量特性，還在系統(tǒng)復(fù)雜度和成本控制方面表現(xiàn)出廣泛的應(yīng)用潛力。盡管目前該方法仍受投影器刷新率上限的制約，且在超高幀率下精度與幀數(shù)間需進(jìn)一步權(quán)衡，但其基本框架已為未來高速視覺感知系統(tǒng)的設(shè)計(jì)提供了重要借鑒。展望未來，隨著神經(jīng)網(wǎng)絡(luò)輕量化、專用硬件加速技術(shù)的持續(xù)發(fā)展，DFAMFPP 有望在工業(yè)檢測、生物力學(xué)研究、航空航天監(jiān)測等需高時(shí)空分辨率三維數(shù)據(jù)的領(lǐng)域發(fā)揮更重要的作用，成為連接科學(xué)研究與工程應(yīng)用的關(guān)鍵橋梁。
聲明：本文僅用作學(xué)術(shù)目的。
Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen、Chao Zuo
DOI:10.29026/oea.2025.250021.
- pco.edge 4.2 bi UV相機(jī)在薄膜分析中的應(yīng)用
- 失速短艙進(jìn)氣道內(nèi)的流動研究：SPIV測量和時(shí)間平均靜壓測量
- 高分辨率IMC新技術(shù)實(shí)現(xiàn)低于350納米的分辨率
- 一項(xiàng)結(jié)合速度優(yōu)化的DNA鏡像序列成像新策略實(shí)現(xiàn)高效12重超分辨成像
- 使用pco.dimax高速相機(jī)記錄人骨小梁的亞小梁應(yīng)變演化
- 熒光壽命成像顯微鏡(FLIM)的首次臨床應(yīng)用
- DNA折紙片瞬時(shí)綁定的單分子動力學(xué)及超分辨熒光顯微研究
- 新型多模態(tài)顯微鏡實(shí)現(xiàn)毫米級視場下以微米級空間分辨率多模態(tài)成像
- 超維景成功入選2025年《財(cái)富》23家大健康企業(yè)榜單
- 埃賽力達(dá)科技pco.panda 26 DS sCMOS相機(jī)新品上市
- 埃賽力達(dá)科技推出新品pco.panda 4.2 bi sCMOS相機(jī)
- 蔡司與納視精微簽署戰(zhàn)略合作意向，推動國產(chǎn)儀器創(chuàng)新
- 破局?jǐn)?shù)據(jù)洪流，蔡司arivis 4.4版本更新AI高內(nèi)涵分析
- 超維景活體成像系統(tǒng)等將亮相2025美國神經(jīng)科學(xué)年會
- 超維景成像方案精彩亮相HICOOL 2025全球創(chuàng)業(yè)者峰會
- 環(huán)亞生物精彩亮相重慶神經(jīng)科學(xué)學(xué)會膠質(zhì)細(xì)胞分會
