記者7日從安徽省量子計算工程研究中心獲悉,本源量子計算科技(合肥)股份有限公司、合肥綜合性國家科學中心人工智能研究院等機構聯合攻關,在我國超導量子計算機“本源悟空”真機上,實現十億參數級AI大模型微調任務的全球首次運行。
實驗結果顯示,在參數量減少76%的前提下,訓練效果反而提升8.4%。這一成果不僅驗證了量子計算助力實現大模型輕量化的可行性,更為破解大模型“算力焦慮”開辟了新路徑。
微調是指在通用大模型的基礎上,通過進一步訓練特定領域數據,使其適應醫療診斷、金融風控等專業場景。量子計算憑借其疊加態和糾纏態特性,可同時探索海量參數組合,提升大模型微調的效率。
本源量子計算科技(合肥)股份有限公司副總裁竇猛漢介紹,團隊創新設計了“量子加權張量混合參數微調”,將模型權重轉化為量子神經網絡與張量網絡混合架構,量子神經網絡通過量子門操作提取高維非線性特征,張量網絡則壓縮參數規模。“就好比給經典模型裝上了‘量子引擎’,讓兩者協同發力。”竇猛漢說。
實驗數據顯示,優化后的模型在心理咨詢對話數據集(CPsyCountD)上訓練損失降低15%,數學推理任務(R1-Distill-SFT)的嚴格準確率從68%提升至82%。
合肥綜合性國家科學中心人工智能研究院副研究員陳昭昀說:“這是量子計算首次‘真機實戰’大模型任務,證明現有硬件已能初步支撐大模型微調。”
“本源悟空”是目前我國先進的可編程、已交付超導量子計算機,已為全球139個國家超2300萬人次提供量子算力云服務,完成35萬個量子運算任務。(記者吳長鋒 洪敬譜)
中安在線版權所有 未經允許 請勿復制或鏡像
增值電信業務經營許可證:皖B2-20080023 信息網絡傳播視聽節目許可證:1208228 2009-2010年度全省廣告發布誠信單位