現(xiàn)在國(guó)產(chǎn)大模型“百家爭(zhēng)鳴”的熱鬧氛圍讓我想起了團(tuán)購(gòu)網(wǎng)站“千團(tuán)大戰(zhàn)”的時(shí)候,，互聯(lián)網(wǎng)贏家通吃的現(xiàn)實(shí)催促著所有人全力沖刺,。

國(guó)內(nèi)很多公司開(kāi)發(fā)的大模型都在拿GPT3.5或者4對(duì)標(biāo)，宣稱在某些方面“不落下風(fēng)”,，有的號(hào)稱在參數(shù)更少的情況下性能相當(dāng),，有的甚至宣稱“全面領(lǐng)先”。這些模型是如何實(shí)現(xiàn)這些所謂的領(lǐng)先呢,？

簡(jiǎn)而言之,，這多半是過(guò)擬合現(xiàn)象導(dǎo)致的。所謂過(guò)擬合,，是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)建模中的一個(gè)常見(jiàn)問(wèn)題,，簡(jiǎn)單來(lái)說(shuō)，就是在測(cè)試中表現(xiàn)出色,，而在實(shí)際應(yīng)用中卻不盡如人意,。

因此，在評(píng)估大模型能力時(shí),，我們不應(yīng)過(guò)分關(guān)注這些測(cè)試集的得分,。實(shí)際上，過(guò)度擬合在生活中的例子比比皆是，如大學(xué)排名的刷分,、自媒體的刷流量等,。真正優(yōu)秀的模型應(yīng)當(dāng)是在公開(kāi)市場(chǎng)競(jìng)爭(zhēng)中，人們?cè)敢鉃槠渲Ц额~外費(fèi)用的模型,。其他任何補(bǔ)充說(shuō)明都是多余的,。

大浪淘沙，接下來(lái)的大模型“淘汰賽”正在進(jìn)行中,，“鹿死誰(shuí)手”,，還得看核心本事。