現(xiàn)在國產(chǎn)大模型“百家爭鳴”的熱鬧氛圍讓我想起了團(tuán)購網(wǎng)站“千團(tuán)大戰(zhàn)”的時(shí)候，互聯(lián)網(wǎng)贏家通吃的現(xiàn)實(shí)催促著所有人全力沖刺,。

國內(nèi)很多公司開發(fā)的大模型都在拿GPT3.5或者4對(duì)標(biāo),，宣稱在某些方面“不落下風(fēng)”，有的號(hào)稱在參數(shù)更少的情況下性能相當(dāng),，有的甚至宣稱“全面領(lǐng)先”,。這些模型是如何實(shí)現(xiàn)這些所謂的領(lǐng)先呢？

簡而言之,，這多半是過擬合現(xiàn)象導(dǎo)致的,。所謂過擬合，是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)建模中的一個(gè)常見問題,，簡單來說,，就是在測試中表現(xiàn)出色，而在實(shí)際應(yīng)用中卻不盡如人意,。

因此,，在評(píng)估大模型能力時(shí)，我們不應(yīng)過分關(guān)注這些測試集的得分,。實(shí)際上,，過度擬合在生活中的例子比比皆是，如大學(xué)排名的刷分,、自媒體的刷流量等,。真正優(yōu)秀的模型應(yīng)當(dāng)是在公開市場競爭中，人們愿意為其支付額外費(fèi)用的模型,。其他任何補(bǔ)充說明都是多余的,。

大浪淘沙，接下來的大模型“淘汰賽”正在進(jìn)行中，“鹿死誰手”,，還得看核心本事,。