随着中醫診療技術的現代化發展,借鑒現代醫學發展模式,研制和應用“既有現代工程技術手段、又符合中醫内涵”的舌診儀已經成為中醫診療技術研究領域之一。工程中心根據舌診辨證的特點結合色度學、光學、人工智能等技術研發的TFDA-1型舌診儀,并已獲得國家Ⅱ類醫療器械注冊證。最大程度地保留了中醫傳統舌診特色,目前廣泛運用于中醫教學、科研、醫療、保健等領域,促進中醫現代診療和功能評估技術的發展和應用,帶來積極的社會效益和經濟效益。
TFDA—1型舌診儀
工程中心研發團隊多年來同時也在脈診、面診、問診等中醫診療技術領域進行深入研究并取得了十分重要的理論研究成果,并根據這些理論研究成果開發了相應的軟硬件、技術方案等形成了相應知識産權,并與上海合參智能醫療科技有限公司就相關知識産權達成轉讓協議,轉讓金額1000萬元。
本項目利用中醫四診設備、皮膚病圖像采集設備,首先對試點醫院皮膚病患者數據進行分型研究,建立皮膚病患者動态健康畫像,構造中醫皮膚病智能模型,為實現皮膚病的個性化、精準化、智能化中醫診斷及療效評價,奠定數據與算法基礎。重點針對銀屑病、濕疹及有關疾病,建立真實世界樣本隊列,研發并疊代中醫皮膚病診療人工智能算法,通過覆蓋信息采集、數據訓練、算法優化、智能輔助診療等環節的全數字化流程,打造成中醫皮膚病智能診室,成為中醫皮膚科醫生的臨床智能輔助診療平台、臨床大數據平台、臨床科研管理平台、人工智能訓練平台等。
全角度皮膚圖像預分析系統
全身皮膚病檢測的勾畫分析系統
中醫皮膚病智能專病系統
中醫皮膚病數據集成平台
針對肌少症的早期診斷和幹預,工程中心方磊教授與柔性引進PI陳建剛教授合作,開發了基于手持超聲的肌少症AI輔助診斷系統和柔性可穿戴低能量超聲肌肉與穴位刺激系統,形成肌少症診療一體化解決方案。目前,已完成手持超聲肌少症AI輔助診斷系統的AI模型設計(圖2,3)及300例肌少症超聲圖像數據采集,已完成柔性可穿戴低能量超聲肌肉與穴位刺激系統第一代樣機的電路設計和傳感器制作(如圖4,5)。正計劃開展動物實驗和臨床測試。
手持超聲肌少症AI輔助診斷系統
用于診斷肌少症的基于ResNet架構的深度學習模型
可穿戴低能量超聲發射硬件電路系統(上);無限級聯超聲探頭設計圖(下)
圖39 柔性超聲傳感器
本工程中心單春雷、李源莉、王璁與深圳英智醫療科技有限公司聯合合作,并基于現代腦科學理論與技術,從“多靶點-多腦區”時空協同技術層面去攻克腦卒中治療瓶頸中的新型設備研制。共同研發“多通道-多腦區”的經顱電刺激樣機,并在上海市第七人民醫院康複醫學科和神經内科開展臨床研究和應用。經顱電刺激設備操作界面清晰、安全性能高、費用低、可在醫院病房、門診、社區中廣泛應用推廣,服務于大量腦卒中患者日常康複,提高其康複療效、縮短其康複病程、減少藥物使用量,最大程度減輕患者用藥的副作用。成果的轉化預計每年可服務上千人次患者,減輕醫療财政和患者的費用上千萬支出,具有良好的學術價值與臨床意義。
四通道經顱電刺激研發樣機
(電刺激模式包括:直流電、交流電、随機脈沖電、僞刺激)
團隊開發了使用基于開源的電子原型平台的參數可調閃爍光刺激神經調控裝置,通過計算機将Arduino IDE軟件平台的代碼載入Arduino UNO開發闆,控制LED光源陣列産生相應的光閃爍刺激。該裝置可通過修改軟件代碼的内容,調節光源強度、光源顔色,光脈沖頻率,光脈沖時長、刺激總時間和刺激循環次數等刺激參數。該系統可以廣泛應用于神經障礙治療、腦卒中康複訓練等場景。團隊還開發了基于Android Studio的手機應用程序,患者使用時可以選擇“居家”或者“非居家”兩種模式,居家模式直接利用手機作為聲光刺激設備,非居家模式通過藍牙模塊驅動專業的聲光刺激設備。患者靈活設置訓練的時間與刺激強度,同時留下治療或者康複訓練記錄,為醫生後期随訪提供便利。截至2020年,我國40歲以上人群中腦卒中患病人數超過1700萬,假設5%左右的患者接受神經調控的治療,該聲光刺激設備與手機應用程序的研發成本約500元/台,預估整套系統售價為1000元,預計市場規模可達8500萬元。
目前該神經調控設備與手機應用程序已經申請國家發明專利2項(專利号20220626746.8和202210656089.1),獲得1項軟件著作權授權(2022SR1254011)。
新型聲光刺激神經調控裝置與手機應用程序
由于腦電磁刺激治療中的刺激腦域數量較多、功能差異較大,因此治療時臨床醫生需要耗費一定的時間進行電極固定;且患者頭顱大小及形貌差異較大,腦電刺激的電極位置不準,且治療時電極滑脫等問題,最終導緻腦電治療效率不高。因此本項目針對這些問題,利用3D打印技術研發出了精準化腦電磁刺激定位帽。
利用3D打印技術,研發出個性化精确3D打印定位帽的醫療應用設計。該定位帽是根據患者頭部的外形和結構,以及相關功能影像掃描數據而打印出來的個性化定位産品,該定位帽與患者頭皮間隔2—3mm,該定位帽在需要刺激的腦區部位設有圓形孔洞及文字标識,用于穿過治療器械對腦功能區進行刺激。本發明可有效為臨床患者提供專屬定制的個性化定位帽,同時使臨床的腦電刺激治療更加便捷,并提高了腦電刺激的精準率。注冊證申請主體為上海中醫藥大學,教育部工程中心人員參與申請。
目前,國内外有關下肢助行康複機器人的機械設計基本上都是針對某一特定的需求去研制或定制,對訓練場景的要求比較高,因此其靈活性受到一定限制。然而人體的行走活動是一個複雜的動力學過程并且是一種持續不平衡的狀态,行走過程中的每一步都需要恢複人體平衡。現有的康複機器人,很少關注單獨對于骨盆的運動控制機構,無法滿足骨盆的六自由度運動需求。另外,腦功能康複的核心是特定神經環路的重塑,而目前虛拟現實康複訓練技術較多關注視聽場景帶來的趣味性和沉浸度,導緻其臨床療效處于瓶頸期。
工程研究中心作為醫工交叉團隊,是康複機器人産品轉化和臨床驗證基地。基于科技部重點研發計劃“基于運動輔助的智能虛拟現實康複訓練技術和系統研發及臨床示範應用”的項目研究,本中心醫工交叉團隊伟德BETVLCTOR徐建光教授團隊和上海大學機電工程與自動化學院郭帥教授團隊研制了具備我國原創自主知識産權的下肢感覺運動康複訓練系統:
1)剛-柔-軟體機器人構型設計及其運動特性與可控性:為了解決剛性結構機器人在康複訓練中剛性沖擊給患者帶來的不适問題,獲得更安全、穩定的控制。從工程科學角度出發,研究面向患者特征參數的綜合和尺度優化方法,設計剛柔耦合的機器人關節新構型,增強剛-柔-軟體機器人運動特性與可控性研究。
2)基于人-機-環境多模态生物信息的機器人感知系統:為了有效增加康複訓練中本體感覺反饋的參與,解決新“激活”的功能區内重建有效的運動和感覺聯系問題。我們從高級運動中樞、視覺中樞和聽覺中樞等一系列的腦區反饋和調控的角度,研究綜合利用位置、加速度和微電極等多傳感器,構建人-機-環境多模态感知與交互的機器人感知系統。
下肢感覺運動康複訓練系統樣機模式圖
下肢感覺運動康複訓練系統VR“視觸動”一體訓練模式
針對言語認知功能障礙的康複,本中心醫工交叉團隊基于科技部重點研發計劃的研究,依據康複場景,融合人機工程學學、機器人學、康複醫學、虛拟現實等技術,研制了具備我國原創自主知識産權的面向言語-認知-日常生活能力虛拟現實康複訓練系統:
1)團隊進行了基于運動學及生物力學的人體上肢運動理論關鍵技術研究,解決外骨骼所提供的輔助力矩與人體運動同步的關鍵問題,解決運動意圖識别與人機相容的高效助力策略關鍵技術,構建言語認知功能的“視-觸-動”一體訓練模式。
2)構建針對言語-認知-日常生活能力康複訓練的虛拟現實場景庫,解決虛拟現實環境下人/機/環境協同等關鍵技術問題。将具有言語-認知-日常生活動力的康複訓練方法融入到各式虛拟情景的遊戲中,構建“視-觸-動”一體訓練模式,利用虛拟現實技術構建沉浸式的訓練環境,提高患者參與訓練的積極性及康複訓練效果。
言語認知康複訓練系統樣機模式圖
言語認知康複訓練系統VR“視觸動”多感官實時交互場景
言語認知康複訓練系統VR“視觸動”一體訓練模式
抑郁症認知康複訓練系統(以下簡稱“訓練系統”)利用虛拟現實技術結合虛拟現實眼鏡套裝構建出全沉浸式的三維視、聽、觸一體化的虛拟環境,将抑郁症患者的認知障礙的康複訓練方法融入到各種虛拟現實情景遊戲中,根據患者認知損害的不同的區域選擇适合的康複情景進行康複訓練,不僅提升訓練的趣味性、互動性和可視性,而且可以提高患者參與訓練的積極性和接受性,進而提高認知康複訓練的效果。
通過頭戴式虛拟現實眼鏡套裝進行虛拟環境下的康複模式訓練,将在患者視角裡出現虛拟場景,進而進行情景式康複訓練,提高患者參與訓練的趣味性。
抑郁症認知康複訓練系統
(4)中醫智能艾灸機器人樣機
艾灸機器人通過負離子艾煙吸收、現代傳感器、光學腧穴定位等多種技術,将人工智能技術與機器人技術融合,目前已基本完成智能艾灸機器人研發。智能艾灸機器人應用感光元件、雙邊濾波和畸變校正等技術,實現腧穴定位、艾灸手法模拟、安全防護及艾煙淨化等功能。經各項性能測試,本系統可執行常用的施灸方法,能實時切換運行模式,通過APP藍牙傳遞指令滿足臨床治療和保健的需要。本系統有效解決了現有艾灸器具操作不便、艾煙污染大及腧穴定位差等問題,輔助中醫醫師完成中醫診療服務,為中醫藥特色服務提供新技術手段,形成獨具中國特色的中醫機器人系列産品。
智能艾灸機器人樣機
開展基于穴位電刺激的軟體外骨骼機器人研發與應用,面向中風、脊椎損傷、帕金森症等患者和行動不便的老年人群的下肢康複需求,将傳統的康複治療模式(被動運動、穴位電刺激)與軟體外骨骼機器人相結合,應用多傳感器參數融合、人體步态參數檢測與智能控制等技術,開發具有功能康複、助力行走于一體的穴位電刺激軟體外骨骼機器人,為實現智能康複提供技術支持。
基于壓力、加速度和陀螺儀等多參數傳感器的智能步态模式識别研究,突破外界環境識别、人體意圖分析和智能驅動等核心技術,完成了穿戴傳感器結構設計、外骨骼動力箱結構設計、穿戴步态分析傳感器系統搭建、新型穿戴動作傳感器測試、外骨骼機器人測試、智能算法測試研究等單元工作,研制了用于下肢康複的中醫特色軟體外骨骼機器人。與此同時,課題結合中醫經穴電刺激技術,設計了具有肌電反饋功能的電刺激裝置,實現了開發具有功能康複、助力行走為一體的穴位電刺激軟體外骨骼機器人,具有便攜移動、穿戴方便、操作簡便等特點,将傳統的康複治療模式(被動運動、穴位電刺激等)與軟體外骨骼機器人相結合,為智能康複提供技術支持。
穴位電刺激的軟體外骨骼機器人研發技術路線
(1)腦控機器人臂系統
團隊長期從事腦機接口研究,設計并開發了多套腦機接口系統,2023年1月3日中央17台《尋訪中國傳奇》欄目報道了團隊在腦機接口領域所做工作(https://tv.cctv.com/2023/01/03/VIDEAKB4d1
AqvldDbMMJPXLp230103.shtml),其中包括基于腦機接口的機器人臂抓取系統、基于腦機接口的輪椅控制系統等。
基于腦機接口的機械臂抓取系統,使用SSVEP腦機接口範式,通過對人大腦枕區産生的腦電信号進行解碼,轉化為具體的指令,利用TCP/IP通信将指令傳輸給機械臂進行拟人化抓取,讓使用者通過自己的大腦來控制機器人臂拿到想要的物品。
基于腦機接口的輪椅控制系統,将腦機接口技術與AR設備結合,将系統搭載至電動輪椅上,使用者通過注視AR眼鏡中的界面,系統會實時采集其腦電信号并進行意圖解碼,判斷其此時想要移動的方向,成功解析後将控制指令傳遞給電動輪椅,控制輪椅進行相應的移動,讓使用者能夠利用自己的大腦來控制自身進行移動。
基于腦機接口的輪椅控制系統
(2)任務驅動型運動想象腦機接口訓練系統優化
第一代腦機接口康複訓練系統原理:本系統使用運動想象實驗範式,通過視頻引導方式引導腦卒中患者想象左手運動與右手運動,同時采集腦卒中患者想象時大腦運動區的腦電數據,使用生成的算法模型在線識别患者想象的左右手運動,當患者想象左右手運動正确時,啟動生物電刺激儀帶動患者左右手運動,想象左右手運動錯誤時,不啟動生物電刺激儀。
腦機接口康複訓練系統
産品優化創新:通過腦卒中患者不斷想象左右手運動并帶動左右手運動的方式讓腦卒中患者達到運動恢複的效果,前期在50多家醫院試用。項目在嶽陽醫院通過臨床測試中不斷優化運動想象效率和範式,并通過神經調控與腦機接口協同,增強運動想象關聯的皮層活性,促進這項技術的臨床應用依從性和穩定性。第二代腦機接口康複訓練系統目前正在取證,預計在5月份拿到注冊證。
虛拟現實康複訓練系統軟件著作權和發明專利