Meta推出開源大模型Llama 3

東木
從剛發(fā)出的博客來看,Llama 3已幫Meta重奪開源大模型的魁首,,并無限接近或者超過GPT,、Gemini和Claude等閉源大模型,。
這個(gè)消息的振奮程度,對(duì)于AI圈來說,,甚至不亞于所謂的GPT4.5,。畢竟,meta 才是真正的那個(gè)"OpenAI,。有多少大模型的生態(tài),,是建立在Llama上的,大家都懂,。
這次還是meta的老規(guī)矩,,雖然寫的是特定條件下商業(yè)使用,但是基本等于完全免費(fèi)商用了,。而且這次開源了2個(gè)模型,,8B和70B。我看網(wǎng)上博客里的評(píng)測(cè)結(jié)果顯示:8B版本優(yōu)于Mistral 7B和Gemma 7B,,70B版本優(yōu)于Gemini Pro 1.5和Claude 3 Sonnet,。
不過Llama 3也存在兩個(gè)可提升的點(diǎn),一個(gè)是知識(shí)庫時(shí)間,,一個(gè)是上下文長度,。知識(shí)庫這塊,8B只到2023年3月,,70B到了2023年12月,。而上下文長度更是只有8K。知識(shí)庫的時(shí)間還好說,,但是這個(gè)上下文長度,,在現(xiàn)在動(dòng)不動(dòng)200k的時(shí)代里,屬實(shí)是有點(diǎn)不夠了,。
不過,,瑕不掩瑜,估計(jì)接下來學(xué)術(shù)界做模型訓(xùn)練相關(guān)的實(shí)驗(yàn)大多會(huì)切換到Llama 3的8B版本,,而等400B版本出來后如果效果接近甚至超過GPT-4,,大家在數(shù)據(jù)標(biāo)注和評(píng)測(cè)等難任務(wù)上也會(huì)逐漸倒向免費(fèi)的Llama系列。讓子彈再飛一會(huì)兒,。