中國有5000家醫(yī)院具有病理科,但是不足5%的醫(yī)院將數(shù)字化診斷應(yīng)用于日常的診斷過程當中。如何讓AI真正賦能病理診斷,顯著提升病理切片檢查效率和診斷準確率?6月30日,上海交通大學醫(yī)學院附屬瑞金醫(yī)院聯(lián)合華為發(fā)布RuiPath病理模型最新開源成果,助力AI在醫(yī)療行業(yè)落地。
RuiPath病理模型,是由瑞金醫(yī)院在華為團隊支持下研發(fā)的臨床級多模態(tài)病理大模型,涵蓋泛癌種視覺特征提取、視覺-語言跨層表征對齊、長序列的深度思考模型訓練機制等能力,用于全流程臨床病理輔助診斷,目前已覆蓋中國每年全癌種發(fā)病人數(shù)90%的19個常見癌種,涵蓋上百個輔助診斷任務(wù)。
此次開源的是RuiPath病理模型的核心“視覺基礎(chǔ)模型”。該模型依托瑞金醫(yī)院百萬張高質(zhì)量數(shù)字病理切片數(shù)據(jù),使用華為AI全流程工具鏈ModelEngine進行標注、訓練和模型精調(diào)而成,在業(yè)界12個主流公開數(shù)據(jù)集的14個輔助診斷任務(wù)測試中,有7個達到業(yè)界領(lǐng)先水平(SOTA),并已具備臨床驗證能力。本次開源配套提供測試數(shù)據(jù)集,覆蓋了肺癌、結(jié)直腸癌、甲狀腺癌、胃癌、乳腺癌、前列腺癌、胰腺癌等7個常見癌種。華為同步開放了基于以上開源模型的工具及實踐指南,降低病理AI輔助診斷部署門檻,將瑞金醫(yī)院多年積累的高質(zhì)量病理數(shù)據(jù)進行訓練和精調(diào),獲得臨床級模型和工具,基層醫(yī)院可節(jié)省數(shù)據(jù)準備、模型訓練、應(yīng)用開發(fā)的大量初始工作,促進病理AI輔助診斷廣泛應(yīng)用;開放數(shù)據(jù)標準、工具、評測數(shù)據(jù)集,解決源頭數(shù)據(jù)處理、模型部署、應(yīng)用開發(fā)、評測上線的一系列實際困難,打通從模型到應(yīng)用的“最后一公里”。
中國工程院院士、瑞金醫(yī)院院長寧光表示:“病理大模型只有真正臨床應(yīng)用才能產(chǎn)生價值,實現(xiàn)AI普惠。希望此次開源與成果共享,集聚上海力量、中國力量,讓更多同道參與到病理輔助診斷模型的研究與應(yīng)用中,加速RuiPath病理模型臨床應(yīng)用落地,共同提高醫(yī)療水平,讓AI醫(yī)療能力持續(xù)惠及全社會。”
據(jù)新民晚報記者了解,華為與瑞金醫(yī)院病理模型的合作共經(jīng)歷了“數(shù)字化”和“智慧化”兩個階段。第一階段,在瑞金醫(yī)院采用統(tǒng)一數(shù)字病理格式,實現(xiàn)病理切片數(shù)據(jù)的標準化落地。從2023年聯(lián)合業(yè)界發(fā)布《數(shù)字化智慧病理科建設(shè)白皮書》,到2025年共積累了百萬規(guī)模高質(zhì)量數(shù)字化病理數(shù)據(jù),為后續(xù)的智慧化打下堅實基礎(chǔ)。第二階段,華為天才少年團隊入駐瑞金醫(yī)院,進行數(shù)據(jù)工程、模型工程、應(yīng)用工程的聯(lián)合研發(fā)。基于高質(zhì)量數(shù)據(jù),通過“醫(yī)生+AI工程師”進行模型蒸餾、知識蒸餾、模型精調(diào)。改變傳統(tǒng)單癌種小模型開發(fā)模式,實現(xiàn)大模型從泛癌種精準識別、輔助診斷任務(wù)到上層應(yīng)用的端到端落地,使其貫穿醫(yī)生診斷全流程。
2023年的3月,瑞金醫(yī)院上線了全流程的數(shù)字化病理平臺,實現(xiàn)了整個流程的信息化和數(shù)字化。同年5月,發(fā)布了瑞金醫(yī)院數(shù)字化智慧病理科,今年2月發(fā)布了RuiPath病理大模型。在病理大模型的加持下,醫(yī)生不再是“標注工”,而是“審核官”,從逐條標注變?yōu)榕繉徍?,效率翻?shù)倍,并保證了標注的專業(yè)性和準確性。單病種AI診斷應(yīng)用上線周期從10天縮短至2天。