中國 AI 公司月之暗面（Moonshot AI）旗下 Kimi 團隊，於 16 日發表突破性論文〈Attention Residuals〉，提出顛覆傳統 AI 殘差連接架構的全新機制。特斯拉執行長馬斯克（Elon Musk）同日晚間點讚並留言「令人印象深刻」。值得注意的是，這篇論文的並列第一作者之一，是年僅 17 歲的深圳高三生陳廣宇，其在 AI 領域的驚人表現引發各界矚目。
AI 殘差連接的挑戰與 Kimi 的突破
在當前大型語言模型（LLM）的發展中，傳統的「殘差連接」（Residual Connection）架構扮演著核心角色。這種機制原理上類似於將貨物逐層搬運上樓，每上一層都會將之前的資料一併帶走。然而，隨著模型層數加深，累積的資料量愈多，早期輸入的重要資訊反而愈容易被後層的數據所稀釋，導致資訊損失與影響力削弱。Kimi 團隊的論文精準指出，這種固定且均一的累積方式會使模型的隱藏狀態隨深度膨脹，進而降低每一層的實際影響力，並造成不可逆的資訊流失，成為 AI 效能提升的瓶頸。
為了解決此項挑戰，Kimi 團隊提出了創新的 Attention Residuals（AttnRes）機制。此機制以更靈活的 softmax 注意力取代了過去固定的殘差累積模式，讓每一層能夠主動從過去各層中篩選出最有用、最關鍵的資訊，並動態地分配權重。這種智慧化的資訊篩選與加權方式，有效避免了早期資訊被稀釋的問題，同時提升了模型處理複雜資訊的能力。為確保這項技術在大型模型上的實用性，研究人員進一步提出了 Block Attention Residuals（Block AttnRes），透過壓縮層數分組，使其能有效應用於龐大的 AI 架構。
年輕學者嶄露頭角：17 歲高中生的貢獻與技術效益
這篇突破性論文的並列第一作者之一，陳廣宇，現為深圳某高中的高三學生，年僅 17 歲。據了解，他深入接觸 AI 領域還不到一年，主要透過自學相關論文來累積知識與技能，其天賦與努力令人驚嘆。他的參與不僅為論文增添了傳奇色彩，也彰顯了年輕一代在科學研究上的巨大潛力。
從技術效益來看，Kimi 團隊的 AttnRes 機制展現了顯著的性能提升。以擁有 480 億總參數（其中 30 億為觸發參數）的 Kimi Linear 架構為例，AttnRes 技術能夠創造高達 1.25 倍的算力優勢。更值得一提的是，在提升運算能力的同時，推理延遲的增加卻低於 2%，並且在多項下游評測任務中都取得了優異的表現。月之暗面公司已在 GitHub 上公開完整的技術報告及程式碼，供全球研究者參考與應用，預計將對 AI 領域的發展帶來深遠影響。