可商業(yè)化，最強開源文本生成代碼模型！Code Llama重磅發(fā)布

激石Pepperstone(http://1adez.com/)報道：

8月25日凌晨，全球社交、科技巨頭Meta（Facebook、Instagram等母公司）在官網(wǎng)正式開源了，文本生成代碼模型Code Llama。

據(jù)悉，Code Llama是基于Meta前不久發(fā)布的，最強開源大語言模型Llama 2之上開發(fā)而成，提供基礎(chǔ)代碼、專門針對Python開發(fā)和基于自然語言指令微調(diào)的，70億、130億、340億三種參數(shù)模型。允許企業(yè)、個人開發(fā)者使用此模型，進行商業(yè)化。

Meta表示，Code Llama在代碼任務(wù)上的表現(xiàn)，優(yōu)于目前所有開源代碼模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流編程語言，可根據(jù)自然文本或代碼直接生成代碼，例如，給我寫一個斐波那契序列函數(shù)的代碼。

Code Llama簡單介紹

Code Llama是基于Llama 2大語言模型，再通過特定代碼數(shù)據(jù)預(yù)訓(xùn)練、微調(diào)而成。除了支持文本或代碼生成代碼之外，還可用于代碼的調(diào)試并支持目前所有主流開發(fā)語言。

Code Llama提供70億、130億和340億三種參數(shù)模型，每個模型都使用了5000億tokens代碼數(shù)據(jù)訓(xùn)練而成?；A(chǔ)模型和指令模型經(jīng)過了中間填充文本 (FIM) 功能的訓(xùn)練，允許將代碼插入到現(xiàn)有代碼中，這意味著它們可以支持開箱即用的代碼完成任務(wù)。

Code Llama 模型提供了高達100,000 個上下文標記的穩(wěn)定生成。所有模型均在 16,000 個標記的序列上進行訓(xùn)練，并在最多100,000 個標記的輸入上顯示出改進。

這意味著，開發(fā)人員在進行大型代碼模型測試、調(diào)優(yōu)時，可以將其全部輸入到Code Llama中進行測試。

Code Llama還針對Python編程推出了Code Llama Python模型。是在 Python 代碼的 1000億標記上進行微調(diào)。

Python是代碼生成方面最具基準測試的語言，并且Python 和 PyTorch 在AI 社區(qū)中發(fā)揮著重要作用，所以，推出了針對Python的代碼模型。

Code LlamaInstruct 是 Code Llama 針對自然文本指令微調(diào)的模型，該模型支持自然文本輸入和輸出。

如果你想使用文本生成代碼，Meta建議你使用該模型，因為Code LlamaInstruct已經(jīng)過數(shù)據(jù)微調(diào)理解自然文本更好并且生成的代碼更符合開發(fā)人員要求。

資源消耗方面，70億參數(shù)模型可在單個GPU上運行。340億參數(shù)模型可返回最佳結(jié)果并提供更好的編程輔助，但資源消耗更大。

所以，對于個人開發(fā)者、中小型企業(yè)來說，70億、130億參數(shù)的模型效率更高、資源消耗更少，適合低延遲的任務(wù)，例如，進行實時代碼開發(fā)。

Code Llama性能評測

為了針對現(xiàn)有解決方案測試 Code Llama 的性能，Meta使用了兩個流行的編碼基準：HumanEval 和 Mostly Basic Python 編程 (MBPP)。

HumanEval 測試模型根據(jù)文檔字符串完成代碼的能力，MBPP測試模型根據(jù)描述編寫代碼的能力。

測試結(jié)果顯示，Code Llama的表現(xiàn)優(yōu)于開源、特定代碼的Llama，并且優(yōu)于 Llama 2。例如，Code Llama 340億參數(shù)模型在 HumanEval上得分為 53.7%，在 MBPP 上得分為 56.2%，與ChatGPT性能相當。?????????