放大

理大科研大幅降低特定領域專屬生成式人工智能（GenAI）訓練成本，推動人工智能民主化發展，加速邁向通用人工智能（AGI）

 

人工智能正迅速改變產業與學術界，但其在專業領域的融合仍面臨挑戰。以 GPT、DeepSeek 為代表的 GenAI 模型雖在通用任務中表現卓越，卻難以在專業領域維持穩定的精準度—―其生成內容往往缺乏細緻的技術深度，亦無法與專業標準充分契合。在醫療等高風險場景中，這類模型的輸出內容尤其需要嚴格核查。

 

人工智能正迅速改变产业界与学术界，但其在专业领域的应用仍面临挑战。以GPT、DeepSeek为代表的GenAI模型虽在通用任务中表现卓越，却难以在专业领域保持穩定的精准度——其生成内容往往缺乏细致的技术深度，亦无法与专业标准充分契合。在医疗诊断等高风险场景中，这类模型输出的内容尤其需要严格核查。

 

此外，高校研究人員、行業從業者等領域專家，因缺乏計算資源，難以在自身領域大規模開展人工智能模型訓練。數據碎片化問題，以及隱私、知識產權相關限制，亦帶來更多阻礙。

 

香港理工大學人工智能高等研究院（PAAI）執行院長楊紅霞教授，帶領一支來自PAAI的生成式人工智能研究院的研究團隊，研發出一種全新方法，能以極低成本為特定領域訓練並構建高穩定性、去中心化的GenAI模型。團隊更開放該訓練框架的源代碼，讓更多專家學者參與研發，貢獻各自領域的專業知識。

 

去中心化與融合發展

楊教授指出：「領域專家掌握大量高質量的領域專屬數據，這類數據是OpenAI等主流人工智能企業無法從互聯網獲取的。PAAI 轄下的生成式人工智能研究院，為高校及醫院、金融機構等專業機構破除障礙，讓它們能充分利用自有數據，借助人工智能挖掘知識、實現高效應用。」

 

楊教授的突破性成果帶來的創新包含兩個層面。其團隊研發的去中心化「協作式生成人工智能」（Co-GenAI）平台，採用低比特訓練技術，可大幅減少領域專屬模型訓練所需的計算資源，且不會削弱模型表現，為小規模專業模型的開發創造有利條件。同時，楊教授團隊採用模型融合技術融合領域專屬模型，使模型在保留既有知識的同時，以極低成本獲取全新領域專屬知識。實踐證明，這種創新協作模式相較於中心化的大模型訓練方法，無需依賴集中式計算資源，便能高效合併多個模型，構建出全面的領域專屬GenAI模型。在「共同構建模型、數據本地留存」的模式下，團隊的創新成果支持跨機構、跨學科協作，且在推理、編程、數學、指令遵循等11項廣泛應用的基準測試中，性能超越目前最先進模型。透過大幅降低對高端圖形處理器（GPU）集群的依賴，團隊為領域專家參與模型訓練、共同推動GenAI創新發展開啟了新局。

 

楊教授表示：「低資源基礎模型訓練結合高效模型融合技術，讓全球學術研究者能夠協作創新，推動GenAI研究進步。」

 

低資源基礎模型訓練結合高效模型融合技術，讓全球學術研究者能夠協作創新，推動GenAI研究進步。
~ 楊紅霞教授

 

深入認識一點

GenAI模型訓練通常包含預訓練與後訓練兩個階段。預訓練為基礎階段，模型透過海量無標註數據集學習通用模式、語言結構及世界知識，此過程需大量計算資源支撐。預訓練賦予模型廣泛能力後，再於較小規模、針對特定任務的數據集上進行微調，使其適用於聊天機器人、翻譯等具體應用場景。後訓練則在預訓練之後進行，旨在進一步提升模型性能與安全性，盡可能滿足用戶預期。借助監督式微調、偏好調整、強化學習等技術，可確保模型輸出結果準確、可靠且符合倫理規範。

 

集中式訓練GenAI模型通常需耗費數百萬GPU小時，僅有少數機構具備如此龐大計算能力。相較之下，楊教授研發的分佈式Co-GenAI平台，能以極少資源訓練本地模型。在集中式模型訓練仍以FP16精度為主流時，她的團隊已率先採用FP8訓練流程，開展持續的預訓練與後訓練工作。此方法在保持模型性能的同時，將計算時間縮短了22%。透過研發此前沿技術，PAAI團隊使香港理工大學成為全球少數掌握該創新技術的機構之一。

 

團隊的模型融合策略與此項突破相輔相成，能夠同時將多個原始模型的知識遷移至一個樞紐模型中。團隊僅用160個GPU小時，便成功融合Qwen-2.5-14B-Instruct、Phi-4等四個先進模型，無需耗費數百萬GPU小時進行訓練。融合後的模型在多項權威基準測試中，性能持續優於原始模型，實現以極低計算成本獲取卓越性能的目標。

 

target spot

醫療領域應用

目前，PAAI已啟動醫療相關研究支援工作。團隊與香港伊利莎伯醫院、中山大學腫瘤防治中心等領先醫療機構合作，開發癌症基礎模型。

 

癌症基礎模型可支援多項任務，其中之一是放射治療靶區識別。楊教授團隊研發的模型能協助醫生完成識別工作，預計每個病例可節省三分之二的時間。透過分佈式策略，楊教授期望以低成本為醫療行業建立強大且可靠的GenAI模型，同時保障醫療數據與患者隱私安全。

我們需要處理海量醫療數據，這些數據不僅包括文字，還涵蓋影像、視頻等形式。若能解決癌症領域的相關問題，其他醫療問題的解決亦將更具可行性。
~ 楊紅霞教授

 

理大計劃借助Co-GenAI平台，進一步推動GenAI於多個領域的協同研究與應用，涵蓋城市能源、企業轉型、智能製造、機械人、智慧臨床推理、電網升級、智能建築、智慧材料等領域。

 

楊教授表示：「我們開放此訓練平台的源代碼，長遠目標是讓GenAI惠及大眾。這將提升社會整體智能水平，確保技術成果能廣泛共享。」

 

我們團隊致力於打通大模型落地應用的『最後一公里』，協助企業、醫院、政府機構於實際場景中有效運用人工智能。將領域專屬數據與專業知識融入模型，是實現人工智能成功應用的關鍵。
~ 楊紅霞教授

 

楊教授並舉例介紹兩個成熟的項目構想：「一是為物聯網邊緣設備開發人工智能模型，該項目將與香港理工大學高等研究院（PAIR）合作，重點聚焦機械人領域；另一則與教育相關，計劃開發類似OpenAI深度研究系統的工具，協助博士階段研究人員撰寫學術論文。」

 

為實現通用人工智能貢獻力量

楊教授對PAAI在搭建通用人工智能（Artificial General Intelligence, AGI）基礎架構方面取得的扎實進展感到振奮。AGI是一種設想中的未來人工智能形態，指具備人類般跨領域認知能力的人工智能系統，用途廣泛、能力全面，目標是達到甚至超越人類智能水平。

 

目前，業界普遍認為「縮放定律」是實現AGI的關鍵。根據「模型縮放定律」，增加模型參數量、擴大數據集規模、提升計算能力，可增強人工智能的智能水平與複雜認知能力。然而，隨著模型規模不斷擴大，效果遞減、性能遇到瓶頸的問題逐漸顯現。此外，缺乏持續訓練模型所需的高質量數據，亦使問題更為複雜。

 

過去，將多個模型合併為一個模型的過程多依賴經驗，效果難以預測。如今，人工智能初創公司Thinking Machines Lab大力倡導的「模型融合」概念，首次由楊教授研究團隊通過理論驗證。團隊透過嚴謹的數學推導，提出「模型融合縮放定律」，這意味著借助去中心化人工智能實現AGI或許是一條可行路徑。

 

有機會透過去中心化與模型融合技術推動AGI實現，我們感到十分振奮。理大已準備好搭建基礎設施，不僅助力學術界取得科學突破，亦為實現AGI這一全球重要目標貢獻力量。
~ 楊紅霞教授

 

 

楊紅霞教授

楊紅霞教授

  • 香港理工大學人工智能高等研究院執行院長

  • 電腦及數學科學學院副院長（國際事務）

  • 電子計算學系教授

  • 大數據分析中心實驗室主任

楊紅霞教授於2024年7月加入理大，此前曾任字節跳動美國公司大型語言模型負責人、阿里巴巴集團人工智能科學家兼總監、雅虎公司首席數據科學家，以及IBM T.J. Watson研究中心研究員。值得一提的是，她於阿里巴巴及字節跳動期間，均牽頭組建基礎模型團隊，是GenAI領域的先驅。

 

楊教授於GenAI領域的研究獲得香港科學園、阿里巴巴、復旦大學附屬華山醫院等產業合作夥伴支持。其研究項目亦先後獲得以下資助：香港研究資助局2025/26年度主題研究計劃（TRS）、中華人民共和國香港特別行政區政府創新科技署「產學研1+計劃」（RAISe+），以及香港數碼港人工智能資助計劃。