腦卒中肌電手勢識別的深度學習方案，從特征構建到網絡設計的完整探索
腦卒中肌電手勢識別的深度學習方案，從特征構建到網絡設計的完整探索
引言/背景介紹
卒中是全球主要致殘原因之一，約60%的卒中患者存在上肢功能障礙，嚴重影響日常生活與獨立性。傳統康復訓練往往依賴治療師一對一指導，過程耗時耗力，在人口老齡化社會更顯得供需矛盾突出。近年來，機器人輔助康復成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關鍵：當患者主動嘗試動作時，康復機器人提供必要幫助，這種模式更能促進神經可塑性和康復效果。但要實現精準的按需輔助，機器人必須能“讀懂”患者的動作意圖。表面肌電(sEMG)信號因其無創、實時、信息豐富的特點，被認為是最有潛力的人機交互信號源。然而，卒中患者的sEMG信號存在變異性大、噪聲高等問題，如何準確識別其手勢意圖成為難點。
論文概要
近日，康復大學周平教授團隊，利用深度學習技術系統探索了卒中后手勢識別的可行性與關鍵影響因素。研究成果發表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執行6種手部動作時的sEMG信號，比較了不同特征域（時域、頻域、小波域）、數據結構（一維與二維圖像）和網絡架構（CNN、CNN-LSTM、CNN-LSTM-Attention）對手勢識別準確率的影響。結果發現，在所有組合中，頻域特征表現最為突出：被試內實驗中，CNN-LSTM結合二維頻域特征可獲得72.95%的平均準確率；跨被試遷移學習中，CNN-LSTM-Attention結合一維頻域特征表現最佳，平均準確率達到68.38%。此外，研究團隊還引入模型投票與貝葉斯融合兩種后處理策略，進一步提升了識別穩定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢識別中的最佳特征選擇與模型配置，還展示了深度學習結合頻域sEMG在康復機器人、家庭康復及智能監測中的廣闊應用前景。
引言/背景介紹
卒中是全球主要致殘原因之一，約60%的卒中患者存在上肢功能障礙，嚴重影響日常生活與獨立性。傳統康復訓練往往依賴治療師一對一指導，過程耗時耗力，在人口老齡化社會更顯得供需矛盾突出。近年來，機器人輔助康復成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關鍵：當患者主動嘗試動作時，康復機器人提供必要幫助，這種模式更能促進神經可塑性和康復效果。但要實現精準的按需輔助，機器人必須能“讀懂”患者的動作意圖。表面肌電(sEMG)信號因其無創、實時、信息豐富的特點，被認為是最有潛力的人機交互信號源。然而，卒中患者的sEMG信號存在變異性大、噪聲高等問題，如何準確識別其手勢意圖成為難點。
論文概要
近日，康復大學周平教授團隊，利用深度學習技術系統探索了卒中后手勢識別的可行性與關鍵影響因素。研究成果發表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執行6種手部動作時的sEMG信號，比較了不同特征域（時域、頻域、小波域）、數據結構（一維與二維圖像）和網絡架構（CNN、CNN-LSTM、CNN-LSTM-Attention）對手勢識別準確率的影響。結果發現，在所有組合中，頻域特征表現最為突出：被試內實驗中，CNN-LSTM結合二維頻域特征可獲得72.95%的平均準確率；跨被試遷移學習中，CNN-LSTM-Attention結合一維頻域特征表現最佳，平均準確率達到68.38%。此外，研究團隊還引入模型投票與貝葉斯融合兩種后處理策略，進一步提升了識別穩定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢識別中的最佳特征選擇與模型配置，還展示了深度學習結合頻域sEMG在康復機器人、家庭康復及智能監測中的廣闊應用前景。
圖1. 論文信息
研究方法
本研究共納入8名慢性卒中患者（5男3女），其上肢運動功能受損程度涵蓋輕度至重度，依據Fugl-Meyer 上肢評估（FMA）進行分級，詳情見表I。實驗任務為完成6種手部動作：手掌開合(HO、HC)；拇食中三指開/合（TIMO/TIMC）；中、無名、小三指開/合（MRLO/MRLC）。在動作執行過程中，研究人員使用外骨骼手協助患者完成指定動作，同時通過高密度表面肌電系統采集前臂7塊肌肉（包括指淺屈肌、指伸肌、拇長外展肌等）的sEMG信號（圖2）。
表1. 卒中受試者詳細信息
圖2. 卒中患者數據采集實驗裝置
采樣頻率設定為1000Hz，信號經20–450Hz帶通濾波處理。對濾波后的7通道sEMG信號進行滑窗分割，窗長為102ms，步長51 ms，以構建一維與二維的數據結構，一維sEMG圖像的數據結構為N×101×1×7，二維sEMG圖像的數據結構為N×101×7×1，其中N為樣本總數（圖3左）。肌電信號特征采用時域、頻域及小波域肌電圖像（圖3右），用于后續深度學習建模（圖4）。最后在網絡架構上設計了三類模型，包括卷積神經網絡（CNN）、結合時間序列建模的CNN-LSTM，以及進一步加入注意力機制的CNN-LSTM-Attention。通過數據維度、信號特征和網絡架構對這三方面因素的排列組合，共構建了18種深度學習模型（M1-M18），結合模型投票和貝葉斯融合兩種后處理方法（M19、M20）對頻域模型的輸出進行二次優化，并在被試內測試與跨被試遷移學習兩類實驗場景下進行驗證，18種深度學習模型如表II所示。
高密度肌電設備示例
圖3. 左圖為1D和2D sEMG頻域圖像的可視化；右圖為對手開(HC)合(HO)運動在時、頻和小波域的2D sEMG圖像進行可視化
圖4. 基于sEMG的腦卒中后手勢識別中DL技術的研究框架
表2. 18個不同網絡結構、數據維度和特征域的深度學習模型詳細信息
結果呈現
實驗結果顯示，不同特征域、數據結構與網絡架構在識別性能上存在顯著差異。在被試內實驗中（圖5），二維頻域特征結合CNN-LSTM模型(對應M11)表現最佳（圖5d），平均識別準確率達到72.95%，部分患者的最高結果超過85%（圖5b）。相比之下，單純采用時域或小波域特征的模型準確率顯著降低，多數不足65%，且差異具有統計學意義（P < 0.01）。這一結果表明，頻域特征能夠更穩定地刻畫卒中患者殘余肌肉信號中的可區分信息，而CNN-LSTM的時序建模優勢，則幫助系統更好地識別動作過程中的動態變化。在跨被試遷移學習中（圖6a），結合一維頻域特征的CNN-LSTM-Attention 模型（對應M14）表現最優，平均準確率為68.38%。進一步的實驗分析發現，隨著遷移率的增加（10%、20%、30%），模型識別率逐步提升，說明少量個性化訓練樣本即可顯著改善跨人群的自適應性（圖7）。例如，在遷移率為10%時，準確率可提升6–8個百分點；而在30%時，提升幅度趨于平緩，提示模型已經捕捉到患者間共享的頻域特征結構。
實驗結果顯示，不同特征域、數據結構與網絡架構在識別性能上存在顯著差異。在被試內實驗中（圖5），二維頻域特征結合CNN-LSTM模型(對應M11)表現最佳（圖5d），平均識別準確率達到72.95%，部分患者的最高結果超過85%（圖5b）。相比之下，單純采用時域或小波域特征的模型準確率顯著降低，多數不足65%，且差異具有統計學意義（P < 0.01）。這一結果表明，頻域特征能夠更穩定地刻畫卒中患者殘余肌肉信號中的可區分信息，而CNN-LSTM的時序建模優勢，則幫助系統更好地識別動作過程中的動態變化。在跨被試遷移學習中（圖6a），結合一維頻域特征的CNN-LSTM-Attention 模型（對應M14）表現最優，平均準確率為68.38%。進一步的實驗分析發現，隨著遷移率的增加（10%、20%、30%），模型識別率逐步提升，說明少量個性化訓練樣本即可顯著改善跨人群的自適應性（圖7）。例如，在遷移率為10%時，準確率可提升6–8個百分點；而在30%時，提升幅度趨于平緩，提示模型已經捕捉到患者間共享的頻域特征結構。
圖5. 被試內測試的手勢識別結果。(a)展示了18個DL模型在不同被試之間的被試內測試中的表現；(b)表示DL模型在每個受試者中的平均準確率；(c)顯示了DL模型在每個受試者中的最大測試精度；(d)比較所有被試在每個DL模型中的平均正確率；(e)比較了18個深度學習模型在網絡結構、數據維度、特征域上的平均準確率和顯著性水平
圖6. 被試間遷移學習的手勢識別結果。(a) DL模型中剩余7名被試進行被試間遷移學習的平均正確率。(b)比較了18個遷移學習模型在網絡結構、數據維度、特征域上的平均準確率和顯著性水平
圖7. 不同遷移率的測試準確率(圖(a)-(h)是基于S1-S8為輪循數據集時，以其余受試者為測試集，所有模型在不同遷移率下的平均測試準確率的比較，圖中紅色虛線為其余7名受試者的總平均準確率
圖8. 深度學習模型在有/沒有后處理的被試間遷移學習實驗中的平均正確率
上述現象在神經肌肉機制層面上具有明確解釋。卒中患者的運動神經通路受損，導致部分肌肉群失去精細化控制，動作信號表現為幅度減弱、時序紊亂和空間分布不均。頻域特征能夠捕捉肌肉殘余激活信號中的譜能量分布模式，從而放大不同手勢之間的差異；而LSTM及注意力機制則進一步利用時間依賴和特征選擇，幫助模型識別動作中的關鍵信息。相比之下，單純依賴時域特征的模型在噪聲和個體差異干擾下更容易失效。
總結與討論：讓卒中康復走向智能化與個性化
隨著人工智能與康復醫學的不斷融合，基于肌電信號的卒中手勢識別正逐漸從實驗室走向臨床與家庭。本研究通過對特征域、數據結構和網絡設計的系統探索，驗證了頻域特征結合深度學習模型在卒中后肌電解碼中的突出優勢，并展示了CNN-LSTM及注意力機制在捕捉殘余神經信號方面的巨大潛力。與此同時，模型投票等后處理策略進一步提升了識別的穩定性與魯棒性，為未來智能康復系統的實際應用奠定了堅實基礎。從更廣闊的視角來看，這一研究不僅僅是對算法性能的比較，更為康復機器人、遠程健康監測與家庭訓練系統提供了技術路線。未來，隨著深度學習模型的進一步優化以及個性化遷移學習策略的完善，系統有望實現“少量數據快速自適應”，讓患者在醫院、家庭乃至社區環境中都能享受到精準的康復輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠和周平教授，均來自康復大學（中國青島）。
關于維拓啟創
維拓啟創（北京）信息技術有限公司成立于2006年，是一家專注于腦科學、康復工程、人因工程、心理學、體育科學等領域的科研解決方案供應商。公司與國內外多所大學、研究機構、企業長期保持合作關系，致力于將優質的產品、先進的技術和服務帶給各個領域的科研工作者，為用戶提供有競爭力的方案和服務，協助用戶的科研工作，持續提升使用體驗。
相關產品
總結與討論：讓卒中康復走向智能化與個性化
隨著人工智能與康復醫學的不斷融合，基于肌電信號的卒中手勢識別正逐漸從實驗室走向臨床與家庭。本研究通過對特征域、數據結構和網絡設計的系統探索，驗證了頻域特征結合深度學習模型在卒中后肌電解碼中的突出優勢，并展示了CNN-LSTM及注意力機制在捕捉殘余神經信號方面的巨大潛力。與此同時，模型投票等后處理策略進一步提升了識別的穩定性與魯棒性，為未來智能康復系統的實際應用奠定了堅實基礎。從更廣闊的視角來看，這一研究不僅僅是對算法性能的比較，更為康復機器人、遠程健康監測與家庭訓練系統提供了技術路線。未來，隨著深度學習模型的進一步優化以及個性化遷移學習策略的完善，系統有望實現“少量數據快速自適應”，讓患者在醫院、家庭乃至社區環境中都能享受到精準的康復輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠和周平教授，均來自康復大學（中國青島）。
關于維拓啟創
維拓啟創（北京）信息技術有限公司成立于2006年，是一家專注于腦科學、康復工程、人因工程、心理學、體育科學等領域的科研解決方案供應商。公司與國內外多所大學、研究機構、企業長期保持合作關系，致力于將優質的產品、先進的技術和服務帶給各個領域的科研工作者，為用戶提供有競爭力的方案和服務，協助用戶的科研工作，持續提升使用體驗。
相關產品
Copyright(C) 1998-2025 生物器材網 電話：021-64166852;13621656896 E-mail：info@bio-equip.com