剛剛，Meta FAIR推出了代碼世界模型！
CWM（Code World Model），一個參數量為32B、上下文大小達131k token的密集語言模型，專為代碼生成和推理打造的研究模型
這是全球首個將世界模型系統性引入代碼生成的語言模型。
與現有代碼大模型相比，CWM最與眾不同的一點在于，它不僅能生成代碼、理解語義。
更關鍵的是，它“懂得”代碼如何執行，能模擬代碼運行過程中變量的狀態變化與環境反饋，從而推動代碼理解、調試乃至規劃的整體能力提升。
也就是說，它具備接近人類程序員的思考能力。
在多個代碼與推理任務上，CWM均有出色表現，譬如其在SWE-bench Verified得分65.8%，領先所有開源同規模模型，已接近GPT-4級別。
更重要的是，Meta FAIR這次開源了模型代碼、訓練細節以及多個階段的權重檢查點，誠意十足。
有人給LeCun留言問：
“你不是一直認為語言模型只是AI道路上的一個支線（LLMs are an off ramp），怎么又推出了以語言模型為基礎的世界模型？”
LeCun輕松回復稱：
是的，不過咱現在講的是編程，不是ASI喲～
讓大模型“懂動態執行”
CWM的誕生，直擊當前大模型在代碼生成中的一大痛點：
盡管現有大模型已經具備寫代碼的能力，但代碼執行效果并不穩定，生成內容難以調試、不可執行，甚至存在隱藏邏輯錯誤。
FAIR團隊認為，其根源在于大模型只是把代碼當作文本來預測。
它不理解代碼會如何運行，對變量狀態的變化、函數調用的副作用一知半解（甚至一無所知）。
在FAIR團隊看來：
如果希望模型像程序員一樣思考，就必須教會它代碼執行的“世界狀態”變化。