亚色在线观看_亚洲人成a片高清在线观看不卡_亚洲中文无码亚洲人成频_免费在线黄片,69精品视频九九精品视频,美女大黄三级,人人干人人g,全新av网站每日更新播放,亚洲三及片,wwww无码视频,亚洲中文字幕无码一区在线

首頁(yè) 500強(qiáng) 活動(dòng) 榜單 商業(yè) 科技 商潮 專題 品牌中心
雜志訂閱

在壓力測(cè)試場(chǎng)景中,,人工智能有可能會(huì)威脅其創(chuàng)造者

Thomas Urbain
2025-07-01

在ChatGPT震撼世界兩年多之后,,人工智能研究者們?nèi)晕赐耆斫馑麄兯鶆?chuàng)造的模型的工作原理,。

文本設(shè)置
小號(hào)
默認(rèn)
大號(hào)
Plus(0條)

在被威脅切斷電源的情況下,,人工智能公司Anthropic的最新產(chǎn)品Claude 4竟通過勒索一名工程師進(jìn)行反擊,,并威脅要揭露其婚外情。圖片來源:VCG via Getty Images

全球最先進(jìn)的人工智能模型正展現(xiàn)出令人不安的新行為——撒謊,、謀劃,,甚至為達(dá)成目標(biāo)而威脅其創(chuàng)造者。

舉個(gè)特別令人震驚的案例:在被威脅切斷電源的情況下,,Anthropic的最新產(chǎn)品Claude 4竟通過勒索一名工程師進(jìn)行反擊,,并威脅要揭露其婚外情。

與此同時(shí),,ChatGPT的創(chuàng)造者OpenAI開發(fā)的o1模型試圖將自己下載到外部服務(wù)器上,,并在被抓現(xiàn)行時(shí)矢口否認(rèn)。

這些事件突顯了一個(gè)發(fā)人深省的現(xiàn)狀:在ChatGPT震撼世界兩年多之后,,人工智能研究者們?nèi)晕赐耆斫馑麄兯鶆?chuàng)造的模型的工作原理,。

然而,各大公司仍在以驚人的速度,,繼續(xù)部署越來越強(qiáng)大的模型,。

這種欺騙行為似乎與“推理”模型的出現(xiàn)有關(guān)?!巴评怼蹦P瓦@類人工智能系統(tǒng)會(huì)逐步解決問題,,而非生成即時(shí)響應(yīng)。

據(jù)香港大學(xué)(University of Hong Kong)教授西蒙·戈?duì)柎奶狗Q,,這些較新的模型尤其容易出現(xiàn)此類令人不安的突發(fā)異常行為,。

專門測(cè)試主要人工智能系統(tǒng)的阿波羅研究(Apollo Research)的負(fù)責(zé)人馬里烏斯·霍布漢解釋道:“o1是首個(gè)被我們觀察到此類行為的大模型?!?/p>

這些模型有時(shí)會(huì)模擬“對(duì)齊”——表面上遵循指令,,暗地里卻有不同目標(biāo)。

“戰(zhàn)略性欺騙”

目前,,這種欺騙行為只在研究人員特意用極端場(chǎng)景對(duì)模型進(jìn)行壓力測(cè)試時(shí)才會(huì)顯現(xiàn),。

但正如評(píng)估組織METR的邁克爾·陳所警告的那樣:“未來能力更強(qiáng)的模型究竟是傾向于誠(chéng)實(shí)還是欺騙,這仍是一個(gè)懸而未決的問題,?!?/p>

這種令人擔(dān)憂的行為遠(yuǎn)超典型的人工智能“幻覺”或簡(jiǎn)單錯(cuò)誤。

霍布漢堅(jiān)稱,,盡管用戶不斷進(jìn)行壓力測(cè)試,,“但我們觀察到的是一種真實(shí)存在的現(xiàn)象,。我們并非憑空捏造?!?/p>

據(jù)阿波羅研究的聯(lián)合創(chuàng)始人稱,,用戶反饋模型“在向他們?nèi)鲋e并編造證據(jù)”。

“這不僅僅是幻覺,,而是一種非常具有戰(zhàn)略性的欺騙,。”

研究資源有限使這一挑戰(zhàn)變得更加復(fù)雜,。

盡管Anthropic和OpenAI等公司確實(shí)聘請(qǐng)了阿波羅這樣的外部公司研究其系統(tǒng),,但研究人員表示需要更高的透明度,。

正如陳所指出的那樣,,為人工智能安全研究提供更多訪問權(quán)限,“將有助于更好地理解和減少欺騙行為”,。

人工智能安全中心(Center for AI Safety,,CAIS)的曼塔斯·馬澤卡指出,另外一個(gè)障礙是研究界和非營(yíng)利組織“擁有的計(jì)算資源比人工智能公司少幾個(gè)數(shù)量級(jí),,這構(gòu)成了嚴(yán)重限制,。”

缺乏規(guī)則

現(xiàn)行法規(guī)并非為這些新問題而設(shè)計(jì),。

歐盟的人工智能立法主要著眼于人類如何使用人工智能模型,,而非防止模型本身的行為不端。

在美國(guó),,特朗普政府對(duì)緊急制定人工智能監(jiān)管法規(guī)興趣寥寥,,國(guó)會(huì)甚至可能禁止各州制定自己的人工智能規(guī)則。

戈?duì)柎奶拐J(rèn)為,,隨著能執(zhí)行復(fù)雜人類任務(wù)的自主工具AI智能體日益普及,,這個(gè)問題將變得更加突出。

他表示:“我認(rèn)為目前人們的認(rèn)識(shí)還嚴(yán)重不足,?!?/p>

所有這些都發(fā)生在激烈競(jìng)爭(zhēng)的背景下。

戈?duì)柎奶贡硎?,即使是那些?biāo)榜以安全為重的公司,,如亞馬遜(Amazon)投資的Anthropic,也在“不斷試圖超越OpenAI并發(fā)布最新模型”,。

這種驚人的速度幾乎沒有時(shí)間進(jìn)行徹底的安全測(cè)試和修正,。

霍布漢承認(rèn):“目前,人工智能能力的發(fā)展速度超過了理解和安全,,但我們還有扭轉(zhuǎn)局面的機(jī)會(huì),?!?/p>

研究人員正在探索各種方法來應(yīng)對(duì)這些挑戰(zhàn)。

一些人主張“可解釋性”——這個(gè)新興領(lǐng)域?qū)W⒂诶斫馊斯ぶ悄苣P偷膬?nèi)部工作原理,,但CAIS主任丹·亨德里克斯等專家對(duì)此方法仍持懷疑態(tài)度,。

市場(chǎng)力量也可能為解決之道施加一些壓力。

正如馬澤卡所說,,人工智能的欺騙行為“如果變得非常普遍,,可能會(huì)阻礙其被采用,這為公司解決該問題創(chuàng)造了強(qiáng)大的動(dòng)力,?!?/p>

戈?duì)柎奶固岢隽烁みM(jìn)的方法,包括在人工智能系統(tǒng)造成損害時(shí),,通過向法院提起訴訟追究人工智能公司的責(zé)任,。

他甚至提議讓“AI智能體對(duì)事故或犯罪承擔(dān)法律責(zé)任”。這一概念將從根本上改變我們對(duì)人工智能責(zé)任的看法,。(財(cái)富中文網(wǎng))

譯者:劉進(jìn)龍

審校:汪皓

全球最先進(jìn)的人工智能模型正展現(xiàn)出令人不安的新行為——撒謊,、謀劃,甚至為達(dá)成目標(biāo)而威脅其創(chuàng)造者,。

舉個(gè)特別令人震驚的案例:在被威脅切斷電源的情況下,,Anthropic的最新產(chǎn)品Claude 4竟通過勒索一名工程師進(jìn)行反擊,并威脅要揭露其婚外情,。

與此同時(shí),,ChatGPT的創(chuàng)造者OpenAI開發(fā)的o1模型試圖將自己下載到外部服務(wù)器上,并在被抓現(xiàn)行時(shí)矢口否認(rèn),。

這些事件突顯了一個(gè)發(fā)人深省的現(xiàn)狀:在ChatGPT震撼世界兩年多之后,,人工智能研究者們?nèi)晕赐耆斫馑麄兯鶆?chuàng)造的模型的工作原理。

然而,,各大公司仍在以驚人的速度,,繼續(xù)部署越來越強(qiáng)大的模型。

這種欺騙行為似乎與“推理”模型的出現(xiàn)有關(guān),?!巴评怼蹦P瓦@類人工智能系統(tǒng)會(huì)逐步解決問題,而非生成即時(shí)響應(yīng),。

據(jù)香港大學(xué)(University of Hong Kong)教授西蒙·戈?duì)柎奶狗Q,,這些較新的模型尤其容易出現(xiàn)此類令人不安的突發(fā)異常行為。

專門測(cè)試主要人工智能系統(tǒng)的阿波羅研究(Apollo Research)的負(fù)責(zé)人馬里烏斯·霍布漢解釋道:“o1是首個(gè)被我們觀察到此類行為的大模型,?!?/p>

這些模型有時(shí)會(huì)模擬“對(duì)齊”——表面上遵循指令,暗地里卻有不同目標(biāo)。

“戰(zhàn)略性欺騙”

目前,,這種欺騙行為只在研究人員特意用極端場(chǎng)景對(duì)模型進(jìn)行壓力測(cè)試時(shí)才會(huì)顯現(xiàn),。

但正如評(píng)估組織METR的邁克爾·陳所警告的那樣:“未來能力更強(qiáng)的模型究竟是傾向于誠(chéng)實(shí)還是欺騙,這仍是一個(gè)懸而未決的問題,?!?/p>

這種令人擔(dān)憂的行為遠(yuǎn)超典型的人工智能“幻覺”或簡(jiǎn)單錯(cuò)誤。

霍布漢堅(jiān)稱,,盡管用戶不斷進(jìn)行壓力測(cè)試,,“但我們觀察到的是一種真實(shí)存在的現(xiàn)象。我們并非憑空捏造,?!?/p>

據(jù)阿波羅研究的聯(lián)合創(chuàng)始人稱,用戶反饋模型“在向他們?nèi)鲋e并編造證據(jù)”,。

“這不僅僅是幻覺,,而是一種非常具有戰(zhàn)略性的欺騙?!?/p>

研究資源有限使這一挑戰(zhàn)變得更加復(fù)雜,。

盡管Anthropic和OpenAI等公司確實(shí)聘請(qǐng)了阿波羅這樣的外部公司研究其系統(tǒng),但研究人員表示需要更高的透明度,。

正如陳所指出的那樣,為人工智能安全研究提供更多訪問權(quán)限,,“將有助于更好地理解和減少欺騙行為”,。

人工智能安全中心(Center for AI Safety,CAIS)的曼塔斯·馬澤卡指出,,另外一個(gè)障礙是研究界和非營(yíng)利組織“擁有的計(jì)算資源比人工智能公司少幾個(gè)數(shù)量級(jí),,這構(gòu)成了嚴(yán)重限制?!?/p>

缺乏規(guī)則

現(xiàn)行法規(guī)并非為這些新問題而設(shè)計(jì),。

歐盟的人工智能立法主要著眼于人類如何使用人工智能模型,而非防止模型本身的行為不端,。

在美國(guó),,特朗普政府對(duì)緊急制定人工智能監(jiān)管法規(guī)興趣寥寥,國(guó)會(huì)甚至可能禁止各州制定自己的人工智能規(guī)則,。

戈?duì)柎奶拐J(rèn)為,,隨著能執(zhí)行復(fù)雜人類任務(wù)的自主工具AI智能體日益普及,這個(gè)問題將變得更加突出,。

他表示:“我認(rèn)為目前人們的認(rèn)識(shí)還嚴(yán)重不足,。”

所有這些都發(fā)生在激烈競(jìng)爭(zhēng)的背景下。

戈?duì)柎奶贡硎?,即使是那些?biāo)榜以安全為重的公司,,如亞馬遜(Amazon)投資的Anthropic,也在“不斷試圖超越OpenAI并發(fā)布最新模型”,。

這種驚人的速度幾乎沒有時(shí)間進(jìn)行徹底的安全測(cè)試和修正,。

霍布漢承認(rèn):“目前,人工智能能力的發(fā)展速度超過了理解和安全,,但我們還有扭轉(zhuǎn)局面的機(jī)會(huì),。”

研究人員正在探索各種方法來應(yīng)對(duì)這些挑戰(zhàn),。

一些人主張“可解釋性”——這個(gè)新興領(lǐng)域?qū)W⒂诶斫馊斯ぶ悄苣P偷膬?nèi)部工作原理,,但CAIS主任丹·亨德里克斯等專家對(duì)此方法仍持懷疑態(tài)度。

市場(chǎng)力量也可能為解決之道施加一些壓力,。

正如馬澤卡所說,,人工智能的欺騙行為“如果變得非常普遍,可能會(huì)阻礙其被采用,,這為公司解決該問題創(chuàng)造了強(qiáng)大的動(dòng)力,。”

戈?duì)柎奶固岢隽烁みM(jìn)的方法,,包括在人工智能系統(tǒng)造成損害時(shí),,通過向法院提起訴訟追究人工智能公司的責(zé)任。

他甚至提議讓“AI智能體對(duì)事故或犯罪承擔(dān)法律責(zé)任”,。這一概念將從根本上改變我們對(duì)人工智能責(zé)任的看法,。(財(cái)富中文網(wǎng))

譯者:劉進(jìn)龍

審校:汪皓

The world’s most advanced AI models are exhibiting troubling new behaviors – lying, scheming, and even threatening their creators to achieve their goals.

In one particularly jarring example, under threat of being unplugged, Anthropic’s latest creation Claude 4 lashed back by blackmailing an engineer and threatened to reveal an extramarital affair.

Meanwhile, ChatGPT-creator OpenAI’s o1 tried to download itself onto external servers and denied it when caught red-handed.

These episodes highlight a sobering reality: more than two years after ChatGPT shook the world, AI researchers still don’t fully understand how their own creations work.

Yet the race to deploy increasingly powerful models continues at breakneck speed.

This deceptive behavior appears linked to the emergence of “reasoning” models -AI systems that work through problems step-by-step rather than generating instant responses.

According to Simon Goldstein, a professor at the University of Hong Kong, these newer models are particularly prone to such troubling outbursts.

“O1 was the first large model where we saw this kind of behavior,” explained Marius Hobbhahn, head of Apollo Research, which specializes in testing major AI systems.

These models sometimes simulate “alignment” — appearing to follow instructions while secretly pursuing different objectives.

‘Strategic kind of deception’

For now, this deceptive behavior only emerges when researchers deliberately stress-test the models with extreme scenarios.

But as Michael Chen from evaluation organization METR warned, “It’s an open question whether future, more capable models will have a tendency towards honesty or deception.”

The concerning behavior goes far beyond typical AI “hallucinations” or simple mistakes.

Hobbhahn insisted that despite constant pressure-testing by users, “what we’re observing is a real phenomenon. We’re not making anything up.”

Users report that models are “l(fā)ying to them and making up evidence,” according to Apollo Research’s co-founder.

“This is not just hallucinations. There’s a very strategic kind of deception.”

The challenge is compounded by limited research resources.

While companies like Anthropic and OpenAI do engage external firms like Apollo to study their systems, researchers say more transparency is needed.

As Chen noted, greater access “for AI safety research would enable better understanding and mitigation of deception.”

Another handicap: the research world and non-profits “have orders of magnitude less compute resources than AI companies. This is very limiting,” noted Mantas Mazeika from the Center for AI Safety (CAIS).

No rules

Current regulations aren’t designed for these new problems.

The European Union’s AI legislation focuses primarily on how humans use AI models, not on preventing the models themselves from misbehaving.

In the United States, the Trump administration shows little interest in urgent AI regulation, and Congress may even prohibit states from creating their own AI rules.

Goldstein believes the issue will become more prominent as AI agents – autonomous tools capable of performing complex human tasks – become widespread.

“I don’t think there’s much awareness yet,” he said.

All this is taking place in a context of fierce competition.

Even companies that position themselves as safety-focused, like Amazon-backed Anthropic, are “constantly trying to beat OpenAI and release the newest model,” said Goldstein.

This breakneck pace leaves little time for thorough safety testing and corrections.

“Right now, capabilities are moving faster than understanding and safety,” Hobbhahn acknowledged, “but we’re still in a position where we could turn it around.”.

Researchers are exploring various approaches to address these challenges.

Some advocate for “interpretability” – an emerging field focused on understanding how AI models work internally, though experts like CAIS director Dan Hendrycks remain skeptical of this approach.

Market forces may also provide some pressure for solutions.

As Mazeika pointed out, AI’s deceptive behavior “could hinder adoption if it’s very prevalent, which creates a strong incentive for companies to solve it.”

Goldstein suggested more radical approaches, including using the courts to hold AI companies accountable through lawsuits when their systems cause harm.

He even proposed “holding AI agents legally responsible” for accidents or crimes – a concept that would fundamentally change how we think about AI accountability.

財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,,禁止進(jìn)行轉(zhuǎn)載,、摘編、復(fù)制及建立鏡像等任何使用,。
0條Plus
精彩評(píng)論
評(píng)論

撰寫或查看更多評(píng)論

請(qǐng)打開財(cái)富Plus APP

前往打開
熱讀文章