研究顧問機構 Gartner 今日（30日）發布最新警告指出，儘管人工智慧（AI）推論代幣的單位價格預計將大幅下滑，但由於 AI 應用模式的根本性轉變，企業在 AI 方面的整體支出負擔預計將持續存在，甚至面臨不減反增的趨勢。這項預測顛覆了許多人對 AI 成本效益的直觀想像，強調了複雜的成本結構。
事實陳述
根據 Gartner 的預測，到 2030 年，一個具有一兆參數的大型語言模型（LLM）的推論費用，相較於 2025 年將出現超過 90% 的顯著降幅。同時，相同規模模型的運作效率預計可提高達百倍之多。Gartner 高級總監分析師 Will Sommer 解釋，這項顯著的成本效益提升，主要歸因於半導體與基礎設施效率的持續改進、模型設計的創新突破、晶片利用率的優化，以及推論專用半導體的擴展和邊緣裝置的廣泛應用。
各方分析與挑戰
然而，Gartner 強調，單一 AI 推論代幣單位價格的下跌，並非直接等同於企業 AI 總成本的降低。主要關鍵在於 AI 代理（agent）的普及正在全面重塑整體支出結構。目前，每項任務的 AI 代幣使用量已比過去增加 5 到 30 倍。這意味著，即便單位成本大幅下降，但總體使用量的爆炸性成長，可能導致企業的推論費用總額反而逆勢上揚。
分析師 Sommer 進一步指出，基本的 AI 功能正朝向幾乎零成本的方向發展，但用於進階推論（advanced reasoning）的運算資源和系統仍然有限。他特別警示企業，不應將架構上的效率不足，誤解為通用代幣價格下跌就代表進階推論能力已普及。若企業僅僅依賴便宜的代幣成本來掩蓋系統架構的缺陷，未來在代理導向的 AI 擴展階段，恐將面臨發展上的嚴重限制，難以實現真正的創新與效率。
因應策略與未來展望
面對 AI 成本結構的複雜變化，Gartner 建議企業，未來的 AI 競爭力將取決於「多模型協作」（multi-model orchestration）策略，而非單一模型的應用。企業應採行一種分層架構，將重複性且相對簡單的任務分配給小型或特定領域模型來處理，以降低運營成本。相對地，高成本、高效能的模型則應選擇性地僅用於處理複雜且具備高附加價值的工作，如此方能同時實現成本效益與卓越的性能表現。