每經(jīng)記者｜蘭素英    每經(jīng)編輯｜何小桃    

近年來，AI大模型的編程能力突飛猛進，各大AI廠商在編程基準測試上你追我趕，不斷刷新紀錄。這讓不少程序員開始擔憂：AI是不是很快就要搶走我們的飯碗了？

然而，中山大學與阿里巴巴聯(lián)合發(fā)布的一項最新研究給程序員們吃下了一顆“定心丸”。

3月4日，兩家機構聯(lián)合發(fā)布了一項評測結果。這項測試名為“SWE-CI：通過持續(xù)集成評估智能體維護代碼庫的能力”（SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration），首次對包括Anthropic、OpenAI、Kimi和DeepSeek等8家主流廠商的18款AI大模型的長期代碼維護能力進行了嚴苛的系統(tǒng)性評估測試。

測試包含100項任務，總Token消耗超100億。結果顯示，Claude Opus系列綜合表現(xiàn)領跑。

在控制性能退化方面，千問、DeepSeek、MiniMax、Kimi和豆包等大多數(shù)AI大模型的表現(xiàn)明顯不佳。也就是說，AI在長期代碼維護過程中，可能將代碼“越改越糟”。

中國團隊推出全球首個評估AI大模型

長期代碼維護能力的評測系統(tǒng)

長期以來，AI編程能力的主流評測基準的共同特點是快照式評測，以“單次接收需求、一次性輸出解決方案”為核心。

然而，這種評估方式僅檢驗大模型是否能寫出功能正確的代碼，無法反映真實軟件開發(fā)中持續(xù)迭代、長期維護的核心需求。

在現(xiàn)實中，成熟的軟件很少是一蹴而就的，而是長期維護的結果。雷曼定律表明，軟件質量會隨著維護的進行而自然下降。而維護工作占軟件生命周期總成本的60%到80%。

為評估AI在長期代碼維護中的表現(xiàn)，中山大學與阿里巴巴團隊聯(lián)合推出了SWE?CI評測基準。這是全球首個專門評估AI智能體在長期代碼維護表現(xiàn)的評測系統(tǒng)，它不再滿足于考察AI編程的“一次性正確”，而是評估AI是否像真正的軟件工程師一樣，在數(shù)月甚至數(shù)年的開發(fā)過程中持續(xù)保持代碼質量。

SWE?CI基準測試的構建經(jīng)過四層嚴格篩選，最終形成高質量評測集。

研究團隊先從GitHub全網(wǎng)的Pytho代碼庫中篩選出維護三年以上、星標超500、包含依賴文件和完整單元測試套件，以及采用MIT/Apache?2.0等寬松協(xié)議的4923個代碼庫；再提取依賴穩(wěn)定、代碼修改量超1000行的提交對，得到8311個候選樣本；通過自動構建Docker環(huán)境與自修復依賴機制，保留1458組可運行候選對；最后經(jīng)測試啟動校驗、通過率差異篩選、時間跨度與提交量排序，確定100項最終任務。

研究團隊精心構建的100項任務中，每項任務都對應著真實世界中一個軟件項目的完整進化歷程。這些項目平均跨越233天的開發(fā)時間，包含71次連續(xù)的代碼提交記錄。團隊還設計了一個精巧的“架構師-程序員”雙智能體協(xié)作機制。設計的靈感來自真實軟件團隊中常見的分工模式：架構師負責分析需求和制定技術方案，程序員負責具體的代碼開發(fā)。

為適配長期迭代評測，SWE?CI提出了“歸一化變化”與“EvoScore（進化得分）”兩大核心指標。

“歸一化變化”以測試用例通過數(shù)為基礎，將代碼狀態(tài)映射到[-1，1]區(qū)間，正向表示功能提升，負向表示出現(xiàn)功能退化。

EvoScore更側重衡量AI大模型在未來修改任務中的表現(xiàn)。

實測結果：Claude Opus斷層領跑

多數(shù)大模型在75%任務中會破壞原有代碼

研究團隊對8家公司——月之暗面、Anthropic、智譜、千問、MiniMax、DeepSeek、OpenAI和豆包——的18個主流AI大模型進行了系統(tǒng)性測試，累計消耗了超過100億Token的測試數(shù)據(jù)。這一實驗規(guī)模在AI編程評估領域堪稱史無前例。

研究結果顯示，從時間維度來看，AI大模型在代碼維護能力上的進化呈現(xiàn)出明顯的加速曲線。

從下圖可以發(fā)現(xiàn)，同一廠商的大模型新版本普遍穩(wěn)定高于前一代，且2026年后的躍升幅度顯著擴大，EvoScore更高。這表明，當前大模型的代碼能力正從靜態(tài)缺陷修復，快速向持續(xù)、長期的代碼維護演進。

8家廠商的主流大模型在SWE?CI測試中的EvoScore變化情況。圖片來源：論文截圖

在所有參評大模型中，Claude Opus系列表現(xiàn)最為突出，從Claude-opus-4.5到Claude-opus-4.6，其EvoScore躍升至約0.9的高位，明顯拉開了與所有競爭對手的差距。

中國的AI大模型中，智譜GLM系列進步顯著，成為第二梯隊中最具競爭力的選手。緊隨其后的是Qwen和MiniMax，整體趨勢向好。而Kimi和豆包雖有提升，但缺乏突破。

研究還發(fā)現(xiàn)，不同廠商在大模型訓練策略上偏好存在明顯分化。

具體而言，MiniMax、DeepSeek以及OpenAI的GPT系列大模型更偏好長期效益，顯示出其在長期代碼維護任務中的優(yōu)勢。這意味著，這類大模型在生成代碼時，更傾向于采用有利于長期演進與穩(wěn)定性的策略，而非追求短期修復的最優(yōu)解。

相比之下，Kimi與智譜GLM系列更偏向于短期見效的優(yōu)化路徑。

而千問、豆包以及Claude系列大模型則呈現(xiàn)出另一種特征：其訓練策略在短期效果與長期維護之間取得了一定平衡。

隨著權重參數(shù)γ的變化，各個大模型的排名也隨之發(fā)生顯著調整。當γ>1時，大模型排名越高，其代碼庫維護能力越強。圖片來源：論文截圖

另外，研究還有一項關鍵發(fā)現(xiàn)：在長期代碼維護中，所有大模型在有效控制性能退化（Regression）方面都表現(xiàn)不佳。

性能退化是衡量軟件質量穩(wěn)定性的核心指標。如果某個單元測試在代碼更新前已經(jīng)通過，而更新后失敗了，則判定該變更觸發(fā)了性能退化。一旦出現(xiàn)性能退化，不僅會直接影響用戶體驗，在長期維護過程中，隨著修改次數(shù)累積，還可能導致系統(tǒng)質量系統(tǒng)性退化。

研究團隊測量了“零退化率”——即在整個維護過程中完全沒有破壞原有功能的任務比例。零退化率越高，維護的系統(tǒng)越穩(wěn)定。

研究結果表明，在所有參與測試的18個大模型中，只有Anthropic的Claude Opus大模型保持了50%以上的零退化率，大多數(shù)大模型的零退化率都低于25%。

18個大模型的零退化率（從低到高排序）。圖片來源：論文截圖

具體而言，Claude-opus-4.6以76%的零退化率遙遙領先。這意味著在絕大多數(shù)測試場景中，其性能能夠保持穩(wěn)定。Claude-opus-4.5以51%位列第二。相比之下，Kimi-K2.5（37%）與GLM-5（36%）表現(xiàn)接近，構成第二梯隊，雖具備一定穩(wěn)定性，但與頭部大模型仍存在顯著差距。

包括GPT-5.2、Qwen3.5-plus、MiniMax-M2.5和DeepSeek-V3.2在內(nèi)的其余14個AI大模型的零退化率都在25%以下，這意味著在長期代碼維護過程中，大模型在超過75%的任務中會破壞原本正常的代碼功能，引發(fā)性能退化問題。

但從版本迭代的角度看，頭部廠商的AI大模型正快速進步。例如，Claude-opus系列的“零退化率”從4.5版本的51%提升至4.6版本的76%，智譜GLM系列從GLM-4.6和GLM-4.7的14%躍升至GLM-5的36%。

但即便如此，絕大多數(shù)大模型仍難以在長期代碼維護中杜絕性能退化問題，距離可靠的自動化長期開發(fā)仍有明顯差距。

SWECI基準測試結果的發(fā)布，讓行業(yè)意識到，“寫代碼”和“維護代碼”是兩種截然不同的能力。對于大模型廠商而言，持續(xù)優(yōu)化可維護性、性能退化控制、架構設計能力，或許將是贏得下半場競爭的關鍵。

（免責聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構成投資建議，使用前核實。據(jù)此操作，風險自擔。）

記者|蘭素英?常宋資燊（實習生）

編輯|何小桃?王嘉琦?杜恒峰

校對|段煉

｜每日經(jīng)濟新聞 ?nbdnews? 原創(chuàng)文章｜

未經(jīng)許可禁止轉載、摘編、復制及鏡像等使用