7月30日，香港科技大學（科大）公佈研究團隊成功開發一套創新的人工智能（AI） 「通用—專科協作」框架（Generalist–Specialist Collaboration, GSCo），實現了醫學通用基礎模型和專科模型在疾病診斷任務的高效協作。

研究結果顯示，GSCo在醫學影像診斷、視覺問答及放射報告生成等多項任務的表現，均比單獨運作的通用或專科模型顯著優勝；同時，該框架能大幅降低訓練醫學模型，以適配全新臨床任務的研發成本。此項成果有望加速醫學基礎模型應用在日常臨床工作。研究成果已於國際頂尖期刊《自然—生物醫學工程》發表。

本次研究由科大計算機科學及工程學系、化學及生物工程學系助理教授、醫工交叉聯合創新中心主任陳浩帶領的團隊，聯同哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學，以及中山大學等合作開展。

醫療AI模型一直面對兩難局面。通用基礎模型雖然基於龐大的醫學語料庫進行訓練，具備靈活應對多元任務和精準識別影像模態的能力，但在單一疾病診斷上往往不夠精準。反觀專科模型，雖然提供精準的臨床推理和專業診斷，但因過於專門，一旦面對新任務或部署於新醫院時，便需重新訓練。專科模型亦無法與臨床醫生一同以自然語言進行推理，面對新的醫學影像診斷任務時，其準確率會大幅下降。此外，為每項新任務重複訓練通用基礎模型，運算成本不僅高昂，更受限於病人私隱合規限制，數據不能離開醫院。因此，單一使用通用或專科模型，皆難以滿足實際臨床工作需求。

為應對上述挑戰，是次跨院校國際團隊開發出全新協作式 AI 框架「GSCo」。該框架建基於陳浩教授團隊開發的開源醫學通用模型 MedDr，利用多元醫學影像模態和逾200萬個樣本對MedDr進行深度訓練，並同步構建了一組輕量級專科模型，僅需單張消費級顯示適配器（GPU）即可完成訓練。在雙向協作下，專科模型在AI推論過程中負責比對相似的過往病例，並提供診斷預測；MedDr則擔當「核心決策者」的角色，負責將專科模型提供的證據與自身醫學知識整合，從而作出最終診斷結果。

與微調通用模型相比，調整GSCo以執行全新臨床任務的研發成本可大幅降低近100倍。在GSCo框架下開發的專科模型，可在醫院內部利用所屬機構的數據進行訓練；隨後只需以匿名形式分享成果，便可確保病人病歷毋需離開醫院。

論文通訊作者陳浩教授表示：「醫學 AI通用和專科模型各有所長，而GSCo的核心價值正是讓兩個獨立運作的模型能以『協作者』身分並肩運作，並由通用模型擔任總決策者，將專科模型的專家建議與模型自身廣博的醫學知識完美整合。團隊期望，這一嶄新框架能為醫學基礎模型融入臨床工作流程，提供更切實可行的路徑，尤其是讓AI計算資源有限的環境，也能共享AI醫療成果。」

展望未來，研究團隊計劃將MedDr進一步擴展至計算機斷層掃描、磁力共振成像等三維影像模態及醫學影像領域。同時，團隊將探索更先進的多模態及基於圖結構的檢索策略，並研究通用與專科模型之間更多元化的協作形式，例如引入測試時運算，以賦予模型深度思考能力，進一步提升診斷結果的準確度。

文圖/廣州日報港澳記者站記者：黃嵐、曾毅
廣州日報新花城編輯：雷與虹
廣州日報新花城·Number灣頻道出品（繁體）