過(guò)去四年間,，人們肯定已經(jīng)注意到,，我們身邊的很多日?？萍颊诎l(fā)生著日新月異的巨大進(jìn)步,。

最明顯的是,，智能手機(jī)語(yǔ)音識(shí)別功能的識(shí)別質(zhì)量與過(guò)去比有了巨大突破,。我們只需對(duì)著手機(jī)說(shuō)出妻子或者丈夫的名字，就能毫不費(fèi)力地接通他們的電話,，而不至于被錯(cuò)接到鐵路公司或者怒氣沖沖的前女友或男友的電話上,。事實(shí)上，我們目前正在越來(lái)越多地通過(guò)語(yǔ)音識(shí)別功能（例如亞馬遜的Alexa,、蘋(píng)果的Siri,、微軟的Cortana、以及谷歌推出的大量語(yǔ)音交流功能）與計(jì)算機(jī)進(jìn)行溝通,。中國(guó)搜索巨頭百度稱(chēng),，在過(guò)去18個(gè)月內(nèi)，使用語(yǔ)音識(shí)別交互功能的用戶(hù)數(shù)量增加了兩倍,。

機(jī)器翻譯及其他語(yǔ)言處理工具的質(zhì)量與以前相比也有了巨大提升,。每個(gè)月，谷歌,、微軟,、Facebook和百度都會(huì)推出新的語(yǔ)言處理功能,。谷歌翻譯（Google Translate）目前能夠提供32種語(yǔ)言間的語(yǔ)音翻譯，以及103種語(yǔ)言間的文本翻譯（包括宿務(wù)語(yǔ),、伊博語(yǔ)和祖魯語(yǔ)等小語(yǔ)種）,。谷歌Inbox能夠?yàn)槭占淅锏碾娮余]件預(yù)設(shè)3條自動(dòng)回復(fù)。

圖像識(shí)別技術(shù)也在突飛猛進(jìn),。以上四家企業(yè)都已推出了無(wú)需輸入關(guān)鍵詞就能幫你搜索或自動(dòng)整理照片庫(kù)的功能,。例如，你可以迅速篩選出畫(huà)面里有狗的照片,、下雪天拍攝的照片,、或者具有抽象特性——例如有人擁抱——的照片。四家公司都在開(kāi)發(fā)能夠在數(shù)秒內(nèi)為照片自動(dòng)撰寫(xiě)圖片說(shuō)明的功能,。

這些功能貌似簡(jiǎn)單,，實(shí)際上背后卻是極為復(fù)雜的技術(shù)。想想看,，為了篩選出有狗的照片,，軟件就必須識(shí)別從吉娃娃到德國(guó)牧羊犬等所有品種的狗，還必須考慮狗的畫(huà)面上下顛倒,、狗的一部分模糊不清,、狗位于畫(huà)面左側(cè)或右側(cè)、起霧或下雪,、晴天或陰天等等種類(lèi)繁多的情況,。與此同時(shí)，還必須排除掉狼和貓,。而這一切僅僅只用到圖片像素,。那么，這一切都是怎么做到的,？

?????????????????????????????????????? 神經(jīng)網(wǎng)絡(luò)如何識(shí)別出圖片中有狗,？

1. 訓(xùn)練

訓(xùn)練階段中，讓神經(jīng)網(wǎng)絡(luò)處理數(shù)以千計(jì)的有標(biāo)簽動(dòng)物圖片,，并學(xué)習(xí)如何將其分類(lèi),。

2.輸入

將一張無(wú)標(biāo)簽圖片輸入相關(guān)網(wǎng)絡(luò)。

a.第一層

神經(jīng)元對(duì)邊線等圖像元素做出反應(yīng),。

b.更高層

神經(jīng)元對(duì)更多復(fù)雜結(jié)構(gòu)做出反應(yīng),。

c.最頂層

神經(jīng)元對(duì)非常復(fù)雜抽象的概念做出反應(yīng)，即分辨出不同動(dòng)物,。

3.輸出

神經(jīng)網(wǎng)絡(luò)猜出最有可能是什么物體,。

圖像識(shí)別的應(yīng)用范圍已經(jīng)遠(yuǎn)遠(yuǎn)超出流行社交App的范疇。有醫(yī)療初創(chuàng)公司稱(chēng)，他們很快就能使用計(jì)算機(jī)以超過(guò)放射科醫(yī)師的速度和準(zhǔn)確度判讀X光,、核磁共振和CT圖像,、以創(chuàng)傷更小的方式診斷早期癌癥、或者研發(fā)治療重大疾病的藥物,。高質(zhì)量的圖像識(shí)別技術(shù)是機(jī)器人,、自主化無(wú)人機(jī)、以及自動(dòng)駕駛汽車(chē)技術(shù)（這一技術(shù)意義重大,，于6月成為本刊封面故事的主題）取得進(jìn)一步發(fā)展的關(guān)鍵,。目前，福特,、特斯拉,、優(yōu)步、百度和谷歌母公司Alphabet都在加緊測(cè)試其自動(dòng)駕駛樣車(chē)在公路上的表現(xiàn),。

大多數(shù)人都不知道,，上面的這些突破實(shí)際上都能歸攏到單獨(dú)一項(xiàng)突破上。它們背后的英雄都是人工智能（artificial intelligence,，簡(jiǎn)稱(chēng)AI）家族樹(shù)上的一個(gè)分支——深度學(xué)習(xí),。有些科學(xué)家仍然喜歡以它原來(lái)的名稱(chēng)——深度神經(jīng)網(wǎng)絡(luò)——來(lái)稱(chēng)呼它。

神經(jīng)網(wǎng)絡(luò)最神奇的地方在于,，它的能力屬于自動(dòng)生成,，從來(lái)沒(méi)人能編寫(xiě)出一套計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)上述描述過(guò)的任何一項(xiàng)任務(wù)，實(shí)際上也沒(méi)人能做到這一點(diǎn),。為了構(gòu)建神經(jīng)網(wǎng)絡(luò),，需要計(jì)算機(jī)內(nèi)安裝一套學(xué)習(xí)性算法，并讓其處理輸入的海量數(shù)據(jù)（例如,，數(shù)十萬(wàn)張圖像,，或者持續(xù)數(shù)年時(shí)間的巨量語(yǔ)音樣本）對(duì)它進(jìn)行訓(xùn)練，從而讓計(jì)算機(jī)自己學(xué)會(huì)如何找出所需物體,、詞匯或句段,。

簡(jiǎn)言之，這種計(jì)算機(jī)能夠自我學(xué)習(xí),。“最終是要讓軟件自己寫(xiě)軟件,，”圖像處理行業(yè)巨頭英偉達(dá)公司CEO黃仁勛說(shuō),。英偉達(dá)公司在大約5年前對(duì)深度學(xué)習(xí)投下了巨額賭注。

???????????????????????????????????????????英偉達(dá)公司CEO黃仁勛

神經(jīng)網(wǎng)絡(luò)并非一個(gè)新興概念,。神經(jīng)網(wǎng)絡(luò)起源于1950年代,，在1980和1990年代，神經(jīng)網(wǎng)絡(luò)算法取得了多項(xiàng)重大突破。與當(dāng)時(shí)不同的是,，今天的計(jì)算機(jī)科學(xué)家手中握有兩件超級(jí)武器：極為強(qiáng)大的計(jì)算能力和極為龐大的數(shù)據(jù)庫(kù)——今天的互聯(lián)網(wǎng)上每天流轉(zhuǎn)著天文數(shù)字的圖像,、視頻、音頻和文本——從而為神經(jīng)網(wǎng)絡(luò)大顯神威鋪平了道路,?！斑@堪稱(chēng)深度學(xué)習(xí)領(lǐng)域的寒武紀(jì)生物大爆發(fā)，”硅谷風(fēng)投公司安德森-霍洛維茨公司（Andreessen Horowitz）合伙人弗蘭克·陳（Frank Chen）說(shuō),，他提到的寒武紀(jì)生物大爆發(fā)是高等動(dòng)物物種突然暴增的時(shí)期,。

這一系列技術(shù)突破帶來(lái)了一波接一波的創(chuàng)業(yè)浪潮。市場(chǎng)研究機(jī)構(gòu)CB Insights發(fā)布報(bào)告稱(chēng),，上個(gè)季度,，人工智能初創(chuàng)企業(yè)獲得的股權(quán)投資超過(guò)10億美元，創(chuàng)下歷史季度新高,。CB Insights還稱(chēng),，2016年第二季度，人工智能初創(chuàng)企業(yè)獲得121宗投資,，而2011年同時(shí)期這一數(shù)字僅有21宗,。從2011年到2016年，人工智能初創(chuàng)企業(yè)共獲得75億美元投資,，其中60多億美元都是在2014年以后到位的,。（9月末，人工智能行業(yè)五大巨頭——亞馬遜,、Facebook,、谷歌、IBM和微軟共同組建了非營(yíng)利機(jī)構(gòu)人工智能伙伴計(jì)劃（Partnership on AI,，該機(jī)構(gòu)的使命在于促進(jìn)公眾對(duì)于人工智能的了解,，并對(duì)與人工智能有關(guān)的道德問(wèn)題和最佳實(shí)踐開(kāi)展研究。）

谷歌發(fā)言人表示,，2012年,，谷歌的深度學(xué)習(xí)項(xiàng)目?jī)H有兩個(gè)，而今天則已超過(guò)1,000個(gè),，覆蓋了包括搜索,、安卓、Gmail,、翻譯,、地圖、YouTube和自動(dòng)駕駛等所有產(chǎn)品領(lǐng)域,。2011年,，當(dāng)時(shí)采用人工智能技術(shù),，沒(méi)有涉及深度學(xué)習(xí)的IBM沃森系統(tǒng)在Jeopardy！問(wèn)答比賽中兩度奪桂,。而據(jù)沃森部門(mén)的CTO羅伯·海（Rob High）表示,，目前沃森所有30個(gè)服務(wù)組件都已由深度學(xué)習(xí)技術(shù)進(jìn)行了強(qiáng)化。

五年前對(duì)深度學(xué)習(xí)一無(wú)所知的風(fēng)險(xiǎn)資本今天已經(jīng)不愿意投資未采用深度學(xué)習(xí)技術(shù)的初創(chuàng)企業(yè),。弗蘭克·陳說(shuō),，“在我們當(dāng)今所處的時(shí)代，對(duì)于設(shè)計(jì)復(fù)雜軟件應(yīng)用的程序設(shè)計(jì)師,，”人們會(huì)問(wèn),，“你的應(yīng)用有沒(méi)有自然語(yǔ)言處理版本？我能和你的應(yīng)用直接對(duì)話嗎,？因?yàn)槲也幌肜速M(fèi)時(shí)間點(diǎn)擊菜單,。”

已經(jīng)有公司開(kāi)始把深度學(xué)習(xí)融入其日常工作流程,。微軟研究院聯(lián)席院長(zhǎng)彼得·李表示：“我們的銷(xiāo)售團(tuán)隊(duì)正在使用神經(jīng)網(wǎng)絡(luò)自動(dòng)篩選主推的產(chǎn)品和重點(diǎn)開(kāi)發(fā)的客戶(hù)資源,。”

硬件世界也已經(jīng)感受到了這股力量,。計(jì)算能力出現(xiàn)爆炸式激增的原因不僅在于摩爾定律,，還在于2000年代末英偉達(dá)圖像處理器（GPU）- 最初為3D游戲開(kāi)發(fā)的高性能芯片 - 的計(jì)算能力超過(guò)傳統(tǒng)中央處理器（CPU）20-50倍，從而為深度學(xué)習(xí)計(jì)算的開(kāi)展鋪平了道路,。今年8月,，英偉達(dá)宣布，其數(shù)據(jù)中心業(yè)務(wù)的季度收入達(dá)到1.51億美元,，比去年同期增長(zhǎng)一倍以上,。英偉達(dá)首席財(cái)務(wù)官對(duì)投資者表示：“目前，絕大部分增長(zhǎng)來(lái)自深度學(xué)習(xí),?！痹跒闀r(shí)83分鐘的電話會(huì)議中，“深度學(xué)習(xí)”一詞出現(xiàn)了81次,。

芯片業(yè)巨頭英特爾也在躍躍欲試,。過(guò)去兩個(gè)月，英特爾收購(gòu)了Nervana Systems （收購(gòu)價(jià)格超過(guò)4億美元）和Movidius（收購(gòu)價(jià)格未透露）兩家提供定制化深度學(xué)習(xí)計(jì)算技術(shù)的初創(chuàng)公司,。

谷歌在5月表示,，在過(guò)去的一年里，他們一直在秘密使用名為一款名為T(mén)ensor處理器（TPU）的定制芯片運(yùn)行采用了深度學(xué)習(xí)技術(shù)的軟件應(yīng)用,。（Tensor是指類(lèi)似矩陣,，在深度學(xué)習(xí)計(jì)算中經(jīng)常相乘的數(shù)字序列。）

事實(shí)上,，各大企業(yè)似乎到達(dá)了另一個(gè)拐點(diǎn)。百度首席科學(xué)家吳恩達(dá)表示：“有很多標(biāo)普500公司CEO都后悔沒(méi)能早點(diǎn)時(shí)間啟動(dòng)互聯(lián)網(wǎng)戰(zhàn)略。我敢說(shuō)在5年后,，會(huì)有很多標(biāo)普500公司CEO后悔沒(méi)能早點(diǎn)時(shí)間啟動(dòng)人工智能戰(zhàn)略,。”

???????????????????????????????????????????? 百度首席科學(xué)家吳恩達(dá)

吳恩達(dá)認(rèn)為,，以深度學(xué)習(xí)為基礎(chǔ)的人工智能的重要性甚至超過(guò)了互聯(lián)網(wǎng),。“人工智能是新時(shí)代的電力,，”他說(shuō),。“100年前,，電力改造了所有行業(yè)的面貌,，人工智能也必將如此?！?/p>

深度學(xué)習(xí)實(shí)質(zhì)上是一個(gè)非常細(xì)分的概念,。 “人工智能”是由大量技術(shù) ——包括基于邏輯和規(guī)則的傳統(tǒng)技術(shù)——所構(gòu)成的一個(gè)技術(shù)組合體，在人工智能的輔助下,，計(jì)算機(jī)和機(jī)器人能夠以模擬人類(lèi)思維的方式解決問(wèn)題,。作為人工智能的一個(gè)分支概念，機(jī)器學(xué)習(xí)是一個(gè)由高度復(fù)雜但重要的數(shù)學(xué)技術(shù)構(gòu)建的完整工具包,，在此工具包的協(xié)助下,，計(jì)算機(jī)能夠通過(guò)學(xué)習(xí)經(jīng)驗(yàn)而提高執(zhí)行任務(wù)的質(zhì)量。而深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)下屬的一個(gè)更為細(xì)分的概念,。

深度學(xué)習(xí)的作用可以簡(jiǎn)單用 “輸入A,，輸出B”來(lái)概括，吳恩達(dá)說(shuō),?！澳爿斎胍纛l文件，輸出字幕,。這就是語(yǔ)音識(shí)別,。”假如用數(shù)據(jù)對(duì)軟件不斷進(jìn)行訓(xùn)練,，就會(huì)得出無(wú)窮無(wú)盡的可能結(jié)果,，他說(shuō)?！澳爿斎腚娮余]件,，會(huì)輸出：這是一封垃圾郵件嗎？”輸入貸款應(yīng)用,，會(huì)輸出客戶(hù)償還貸款的可能性,。輸入對(duì)一個(gè)汽車(chē)車(chē)隊(duì)的使用規(guī)律,，則會(huì)輸出把下一輛車(chē)派到哪里的建議。

從這個(gè)角度看,，深度學(xué)習(xí)擁有改造所有行業(yè)的能力,。“計(jì)算機(jī)視覺(jué)技術(shù)繼續(xù)發(fā)展下去就會(huì)引發(fā)極其重大的變革,，”谷歌大腦項(xiàng)目主管杰夫·迪恩（Jeff Dean）說(shuō),。他有些神情不安地加了一句：“現(xiàn)在計(jì)算機(jī)已經(jīng)有了眼睛?！?/p>

這是不是意味著“奇點(diǎn)”的到來(lái)已經(jīng)迫在眉睫了嗎,？ “奇點(diǎn)”是指科學(xué)家設(shè)想的，超級(jí)智能機(jī)器無(wú)需人類(lèi)介入就能夠自我改造,，從而把低能的人類(lèi)踩在腳下,，造成可怕后果的那個(gè)時(shí)刻。

其實(shí)大可不必杞人憂(yōu)天,。盡管神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)于圖像識(shí)別——在這件事上可能比人做得更好,，但它卻沒(méi)有獨(dú)立思考的能力。

點(diǎn)燃這場(chǎng)革命的最早火花出現(xiàn)在2009年,。那時(shí),，神經(jīng)網(wǎng)絡(luò)技術(shù)開(kāi)創(chuàng)者、多倫多大學(xué)的杰弗里·辛頓（Geoffrey Hinton）受邀走訪了微軟首席研究員鄧力的實(shí)驗(yàn)室,。當(dāng)時(shí),，在辛頓研究成果的啟發(fā)下，鄧力的研究團(tuán)隊(duì)正在實(shí)驗(yàn)利用神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)音識(shí)別,?！皩?shí)驗(yàn)結(jié)果讓我們大吃一驚，” 微軟研究院聯(lián)席院長(zhǎng)彼得·李說(shuō)到,?！暗谝粋€(gè)版本就把準(zhǔn)確率提高了30%?！?/p>

彼得·李說(shuō),，2011年，微軟將深度學(xué)習(xí)技術(shù)引入其商業(yè)化語(yǔ)音識(shí)別產(chǎn)品,。谷歌于2012年8月啟動(dòng)類(lèi)似研究項(xiàng)目緊追其后,。

真正的轉(zhuǎn)折點(diǎn)發(fā)生在2012年10月。在一場(chǎng)于意大利佛羅倫薩召開(kāi)的研討會(huì)上,，斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任,、知名年度ImageNet計(jì)算機(jī)視覺(jué)大賽的創(chuàng)辦者李飛飛宣布，辛頓的兩位學(xué)生已經(jīng)發(fā)明了能夠以比最強(qiáng)競(jìng)爭(zhēng)對(duì)手高一倍準(zhǔn)確率識(shí)別物體的軟件,?！斑@是一項(xiàng)偉大的成就,，”辛頓回憶說(shuō)，“讓很多曾經(jīng)對(duì)人工智能批評(píng)有加的人轉(zhuǎn)變了看法,?！保ㄉ夏甓却筚愔?，一個(gè)人工智能參賽者的表現(xiàn)超過(guò)了人類(lèi),。）

盡管解決圖像識(shí)別問(wèn)題只是人工智能時(shí)代的一個(gè)開(kāi)始，但卻引發(fā)了一股人才爭(zhēng)奪戰(zhàn)的熱潮,。谷歌把辛頓和他參與大賽的兩個(gè)學(xué)生招至麾下,；Facebook招募了曾在1980和1990年代寫(xiě)出大賽獲勝算法的法籍深度學(xué)習(xí)元老燕樂(lè)存（Yann LeCun）；百度則聘請(qǐng)了原斯坦福人工智能實(shí)驗(yàn)室主任吳恩達(dá),，他曾在2010年領(lǐng)導(dǎo)專(zhuān)注于深度學(xué)習(xí)技術(shù)的谷歌大腦項(xiàng)目,。

今天，人工智能人才爭(zhēng)奪戰(zhàn)仍在愈演愈烈,。微軟的彼得·李說(shuō),，“這一領(lǐng)域的人才爭(zhēng)奪到了瘋狂的地步?！彼f(shuō),，頂級(jí)人工智能專(zhuān)家的薪酬“和國(guó)家橄欖球聯(lián)盟球星不相上下?！?/p>

現(xiàn)年68歲的杰弗里·辛頓最早是在愛(ài)丁堡大學(xué)研究生院攻讀人工智能相關(guān)學(xué)位時(shí)知道神經(jīng)網(wǎng)絡(luò)這個(gè)概念的,。由此，本科在劍橋大學(xué)學(xué)習(xí)實(shí)驗(yàn)心理學(xué)的辛頓對(duì)神經(jīng)網(wǎng)絡(luò)產(chǎn)生了極大興趣,。神經(jīng)網(wǎng)絡(luò)是一種模仿大腦神經(jīng)元工作原理的軟件結(jié)構(gòu),。當(dāng)時(shí)，幾乎沒(méi)人對(duì)神經(jīng)網(wǎng)絡(luò)感興趣,?！八腥硕颊J(rèn)為這是不可能實(shí)現(xiàn)的，”他回憶說(shuō),。但是辛頓卻沒(méi)有氣餒,，而是迎難而上。

神經(jīng)網(wǎng)絡(luò)可以讓計(jì)算機(jī)和兒童一樣通過(guò)經(jīng)驗(yàn)自我學(xué)習(xí),，而不是讓人工編寫(xiě)的程序告訴它怎么做,。“當(dāng)時(shí),，大多數(shù)人工智能都是由邏輯驅(qū)動(dòng)的,，”他回憶說(shuō)?！暗?，邏輯是人類(lèi)在很大年齡才具備的東西,。兩三歲的兒童不按邏輯行事。神經(jīng)網(wǎng)絡(luò)就是智力能夠超越邏輯的一個(gè)范例,?！保ㄓ腥さ氖牵壿嬙切令D一家長(zhǎng)期以來(lái)一直遵循的法則,。他的家族涌現(xiàn)過(guò)大量杰出科學(xué)家,，他是19世紀(jì)數(shù)學(xué)家喬治·布爾[George Boole]的曾孫，布爾搜索,、布爾邏輯和布爾代數(shù)即以他的名字命名,。）

1950和1960年代，神經(jīng)網(wǎng)絡(luò)曾經(jīng)是計(jì)算機(jī)科學(xué)中的一個(gè)時(shí)髦詞匯,。1958年,，康奈爾大學(xué)研究心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）參與美國(guó)海軍資助的一項(xiàng)研究計(jì)劃，在布法羅的一家實(shí)驗(yàn)室建成了一個(gè)神經(jīng)網(wǎng)絡(luò)原型,，他稱(chēng)之為“Perceptron”,。這個(gè)原型使用一臺(tái)體積占滿(mǎn)整個(gè)房間的穿孔卡片計(jì)算機(jī)。50次實(shí)驗(yàn)后,，它學(xué)會(huì)了識(shí)別左側(cè)穿孔和右側(cè)穿孔的卡片,。《紐約時(shí)報(bào)》當(dāng)時(shí)刊登了一篇報(bào)道：“海軍近日發(fā)現(xiàn),，一臺(tái)原型電子計(jì)算機(jī)有可能學(xué)會(huì)走路,、說(shuō)話、觀察,、寫(xiě)作,、自我復(fù)制、并意識(shí)到自身的存在,?！?/p>

Perceptron的軟件只有一層類(lèi)似于神經(jīng)元的節(jié)點(diǎn)，它的能力十分有限,。但是,，研究人員認(rèn)為，如果具備多層或深層的神經(jīng)網(wǎng)絡(luò),，它就能做更多事情,。

辛頓向我們解釋了神經(jīng)網(wǎng)絡(luò)的基本原理：假設(shè)一個(gè)神經(jīng)網(wǎng)絡(luò)正在解析照片圖像，某些照片上有鳥(niǎo),?！跋袼?cái)?shù)據(jù)輸入后，第一層神經(jīng)元將會(huì)探測(cè)各個(gè)微小的邊緣: 一側(cè)較暗，另一個(gè)較亮,?！钡诙由窠?jīng)元將分析來(lái)自第一層的數(shù)據(jù)，并學(xué)會(huì)探測(cè)“兩個(gè)側(cè)邊以一定角度交接的邊角,，”他說(shuō),。例如，其中一個(gè)神經(jīng)元將會(huì)識(shí)別出鳥(niǎo)喙的角度數(shù)據(jù),。

下一層神經(jīng)元“將會(huì)發(fā)現(xiàn)更為復(fù)雜的特征,，例如一個(gè)圓內(nèi)的大量邊線?！币粋€(gè)神經(jīng)元可能會(huì)識(shí)別出鳥(niǎo)頭,。位于更下一層的神經(jīng)元將會(huì)在類(lèi)似鳥(niǎo)頭的圓附近發(fā)現(xiàn)反復(fù)出現(xiàn)的類(lèi)似鳥(niǎo)喙的銳角?！斑@正是鳥(niǎo)頭的明顯標(biāo)志，”辛頓說(shuō),。以下每一層的神經(jīng)元都會(huì)識(shí)別出更為復(fù)雜和抽象的結(jié)構(gòu),，直至最后一層得出被識(shí)別物體是一只“鳥(niǎo)”的結(jié)論。

然而,，為了達(dá)到學(xué)習(xí)目的,，神經(jīng)網(wǎng)絡(luò)需要做的不只是把信息發(fā)送到每層神經(jīng)元而已。它必須判斷最后一層是否得出了正確結(jié)果,。如果結(jié)果錯(cuò)誤,，就會(huì)逐層反向發(fā)送信號(hào)，讓每層的神經(jīng)元重新調(diào)整其觸發(fā)規(guī)律,，從而改善識(shí)別質(zhì)量,。這就是為何稱(chēng)為“學(xué)習(xí)”的原因。

深度學(xué)習(xí)歷史上的重要時(shí)刻

1958年

康奈爾大學(xué)心理學(xué)家弗蘭克·羅森布拉特推出基于占滿(mǎn)整個(gè)房間的計(jì)算機(jī)的單層神經(jīng)網(wǎng)絡(luò)Perceptron,。

1969年

人們對(duì)神經(jīng)網(wǎng)絡(luò)失去興趣,，麻省理工學(xué)院人工智能權(quán)威馬文·明斯基與他人共同撰寫(xiě)一本著作，對(duì)神經(jīng)網(wǎng)絡(luò)的現(xiàn)實(shí)性提出質(zhì)疑,。

1986年

神經(jīng)網(wǎng)絡(luò)開(kāi)創(chuàng)者杰弗里·辛頓及他人發(fā)現(xiàn)一種訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)糾正錯(cuò)誤的方法,，催生了很多類(lèi)似的研究成果。

1989年

當(dāng)時(shí)就職于貝爾實(shí)驗(yàn)室的法國(guó)科學(xué)家燕樂(lè)存對(duì)神經(jīng)網(wǎng)絡(luò)開(kāi)始進(jìn)行一系列基礎(chǔ)性研究,，研究成果成為圖像識(shí)別技術(shù)的基石,。

1991年

德國(guó)科學(xué)家賽普·霍希雷特和約根·施密德霍伯研制出具有記憶功能的神經(jīng)網(wǎng)絡(luò)，這一技術(shù)在日后的自然語(yǔ)言處理中展現(xiàn)了優(yōu)勢(shì),。

1997

IBM深藍(lán)采用傳統(tǒng)人工智能技術(shù)擊敗了國(guó)際象棋世界冠軍卡斯帕羅夫,。

1990年代中期

其他機(jī)器學(xué)習(xí)技術(shù)快速發(fā)展，神經(jīng)網(wǎng)絡(luò)再次陷入停滯。

2007年

李飛飛創(chuàng)建ImageNet,，整理了1400萬(wàn)張帶標(biāo)簽圖片供機(jī)器學(xué)習(xí)研究用途,。

2011年

微軟的語(yǔ)音識(shí)別產(chǎn)品采用了神經(jīng)網(wǎng)絡(luò)。

IBM沃森采用傳統(tǒng)人工智能技術(shù)在Jeopardy節(jié)目中打敗兩位冠軍,。

2012年6月

谷歌大腦公布“貓實(shí)驗(yàn)”：由1000萬(wàn)張YouTube視頻截圖訓(xùn)練的神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了如何從圖片中找到貓,。

2012年8月

微軟的語(yǔ)音識(shí)別產(chǎn)品采用了神經(jīng)網(wǎng)絡(luò)。

2012年10月

辛頓的兩位學(xué)生設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)以幾大優(yōu)勢(shì)奪取了年度ImageNet冠軍,。

2013年5月

谷歌使用神經(jīng)網(wǎng)絡(luò)技術(shù)改進(jìn)圖片搜索質(zhì)量,。

2014年

谷歌以6億美元收購(gòu)DeepMind，一家將深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合起來(lái)的初創(chuàng)企業(yè),。

2015年12月

微軟團(tuán)隊(duì)利用神經(jīng)網(wǎng)路在ImageNet挑戰(zhàn)賽中戰(zhàn)勝了人類(lèi)選手,。

2016年3月

DeepMind的AlphaGo利用深度學(xué)習(xí)，以4比1的比分擊敗了圍棋世界冠軍李世石九段,。

1980年代初,，辛頓正在忙著解決多層神經(jīng)元問(wèn)題。當(dāng)時(shí)做同樣工作的還有剛剛在巴黎上研究生院的法國(guó)科學(xué)家燕樂(lè)存,。燕樂(lè)存無(wú)意中讀到了辛頓于1983年撰寫(xiě)的一篇討論多層神經(jīng)網(wǎng)絡(luò)的論文,。“當(dāng)時(shí)使用的不是這些術(shù)語(yǔ),，” 燕樂(lè)存回憶說(shuō),，“當(dāng)時(shí)你要是用‘神經(jīng)元’或者‘神經(jīng)網(wǎng)絡(luò)’這些詞，論文就很難發(fā)表,。所以他當(dāng)時(shí)用了一些含混不清的術(shù)語(yǔ)以求通過(guò)編輯的篩選,。但我當(dāng)時(shí)就感覺(jué)這篇論文非常非常有趣?！?兩人在兩年后會(huì)面并一見(jiàn)如故,。

1986年，辛頓和兩名同事合作撰寫(xiě)了一篇影響深遠(yuǎn)的論文,，為解決糾錯(cuò)問(wèn)題提供了算法,。“他的這篇論文實(shí)際上是第二波神經(jīng)網(wǎng)絡(luò)浪潮的奠基石,，” 燕樂(lè)存說(shuō),。果然，這篇論文引燃了業(yè)內(nèi)人士的巨大興趣,。

??????????????????????????????????? Facebook人工智能實(shí)驗(yàn)室主任燕樂(lè)存

攻讀完辛頓的博士后學(xué)位后,，燕樂(lè)存于1988年加入美國(guó)電報(bào)電話公司的貝爾實(shí)驗(yàn)室，在以后的10年里,，他做了許多基礎(chǔ)性工作,，其中某些成功至今仍在圖像處理任務(wù)中得到應(yīng)用。1990年代，當(dāng)時(shí)為貝爾實(shí)驗(yàn)室分支機(jī)構(gòu)的NCR公司推出了一種可以幫助銀行識(shí)別支票上手寫(xiě)數(shù)字的實(shí)用化神經(jīng)網(wǎng)絡(luò)設(shè)備,，并大獲成功,，燕樂(lè)存表示。與此同時(shí),，兩位德國(guó)科學(xué)家——賽普·霍希雷特（Sepp Hochreiter,，目前就職于林茨大學(xué)）和約根·施密德霍伯（Jürgen Schmidhuber，瑞士盧加諾人工智能實(shí)驗(yàn)室副主任）獨(dú)立推出另一種算法,。在20年之后的今天,，這種算法成為自然語(yǔ)言處理應(yīng)用的基礎(chǔ)。

盡管取得了上述進(jìn)展,，但在1990年代中期,，神經(jīng)網(wǎng)絡(luò)再一次陷入低谷，取而代之的是更加適合當(dāng)時(shí)計(jì)算能力的其他機(jī)器學(xué)習(xí)技術(shù),。這種情況一直持續(xù)了將近10年,，直到后來(lái)計(jì)算能力增大了三四個(gè)數(shù)量級(jí)，且有科學(xué)家發(fā)現(xiàn)了GPU加速現(xiàn)象才出現(xiàn)改觀,。

但是另一個(gè)要素仍然不足：數(shù)據(jù),。盡管互聯(lián)網(wǎng)此時(shí)已經(jīng)大行其道，但大多數(shù)數(shù)據(jù) ——尤其是圖像數(shù)據(jù) ——都沒(méi)有備注標(biāo)簽,，而數(shù)據(jù)標(biāo)簽是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的必需。此時(shí),，斯坦福人工智能教授李飛飛出現(xiàn)了,。“我們的目標(biāo)是,，大數(shù)據(jù)將改變機(jī)器學(xué)習(xí)的方式,，”她在一次采訪中表示?！皵?shù)據(jù)將推動(dòng)學(xué)習(xí),。”

????????????????????????????????????斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任李飛飛

2007年,，她創(chuàng)辦了ImageNet ——包含1400萬(wàn)張有標(biāo)簽圖片的免費(fèi)數(shù)據(jù)庫(kù),。數(shù)據(jù)庫(kù)于2009年實(shí)現(xiàn)了實(shí)時(shí)發(fā)布。第二年,，她創(chuàng)辦了年度圖像識(shí)別大賽以激勵(lì)并發(fā)布計(jì)算機(jī)視覺(jué)方面的突破,。

2012年10月，辛頓的兩個(gè)學(xué)生摘得大賽桂冠,，這是,，所有人都很清楚深度學(xué)習(xí)的時(shí)代終于到來(lái)了。

那時(shí)公眾已經(jīng)通過(guò)別的渠道知道了深度學(xué)習(xí)這一流行詞匯。2012年6月,，谷歌大腦公布了一個(gè)奇特研究項(xiàng)目（現(xiàn)在人們?cè)诜钦綀?chǎng)合將其稱(chēng)為“貓實(shí)驗(yàn)”）的結(jié)果,，結(jié)果十分有趣，并在社交媒體上引發(fā)轟動(dòng),。

這一項(xiàng)目專(zhuān)注于研究深度學(xué)習(xí)領(lǐng)域一個(gè)重要而未獲解決的問(wèn)題：“無(wú)監(jiān)督學(xué)習(xí)”,。目前市場(chǎng)上幾乎所有深度學(xué)習(xí)產(chǎn)品都采用了“無(wú)監(jiān)督學(xué)習(xí)”技術(shù)，其神經(jīng)網(wǎng)絡(luò)系采用標(biāo)簽化數(shù)據(jù)（例如由ImageNet整理的圖像）進(jìn)行訓(xùn)練,。有了“無(wú)監(jiān)督學(xué)習(xí)”技術(shù),，給神經(jīng)網(wǎng)絡(luò)輸入無(wú)標(biāo)簽數(shù)據(jù)后，就會(huì)自動(dòng)搜索重復(fù)性圖案特征,。有朝一日,，研究者將會(huì)輕松駕馭無(wú)監(jiān)督學(xué)習(xí)。到那時(shí),，計(jì)算機(jī)將會(huì)像嬰兒感知世界一樣,，使用今天無(wú)法使用的海量數(shù)據(jù)自我認(rèn)識(shí)世界。

在“貓實(shí)驗(yàn)”中,，研究者讓安裝在1,000臺(tái)計(jì)算機(jī)上的神經(jīng)網(wǎng)絡(luò)讀取1,000萬(wàn)張YouTube視頻的隨機(jī)截圖,。實(shí)驗(yàn)結(jié)束后，研究者分析了最上一層神經(jīng)元,，然后驚奇地發(fā)現(xiàn)其中一個(gè)神經(jīng)元對(duì)貓的圖像產(chǎn)生了強(qiáng)烈反應(yīng),。“還有神經(jīng)元對(duì)人臉有強(qiáng)烈反應(yīng),，”當(dāng)時(shí)在谷歌大腦領(lǐng)導(dǎo)這一研究項(xiàng)目的吳恩達(dá)說(shuō),。

實(shí)驗(yàn)結(jié)果也令人感到困惑。比如“我們沒(méi)發(fā)現(xiàn)有神經(jīng)元對(duì)汽車(chē)有強(qiáng)烈反應(yīng),，”,，以及“有很多神經(jīng)元無(wú)法識(shí)別或很難識(shí)別英語(yǔ)單詞?！?/p>

盡管這項(xiàng)實(shí)驗(yàn)引發(fā)了一場(chǎng)轟動(dòng),，但是目前人們對(duì)無(wú)監(jiān)督學(xué)習(xí)仍然了解不多——這是一個(gè)需要在未來(lái)攻克的堡壘。

很自然,，目前大多數(shù)已實(shí)現(xiàn)商業(yè)化的深度學(xué)習(xí)應(yīng)用都和谷歌,、微軟、Facebook,、百度和亞馬遜等互聯(lián)網(wǎng)巨頭的名字聯(lián)系在一起,。這些巨頭擁有深度學(xué)習(xí)運(yùn)算所需的巨量數(shù)據(jù)。許多企業(yè)正在開(kāi)發(fā)更具現(xiàn)實(shí)性和幫助性的“聊天機(jī)器人” ——自動(dòng)化客戶(hù)服務(wù)代表,。

IBM和微軟等企業(yè)正在幫助商業(yè)客戶(hù)了解并適應(yīng)其業(yè)務(wù)框架下采用了深度學(xué)習(xí)技術(shù)的應(yīng)用 ——例如語(yǔ)音識(shí)別界面和翻譯服務(wù),，而亞馬遜Web Service等云服務(wù)則為軟件開(kāi)發(fā)者提供基于GPU的低成本深度學(xué)習(xí)運(yùn)算服務(wù),。Caffe、谷歌TensorFlow,、亞馬遜DSSTNE等大量開(kāi)源軟件讓創(chuàng)新不再困難,，同時(shí)建立了開(kāi)放式出版規(guī)則，許多研究者能夠無(wú)需同儕審核即可立即將研究結(jié)果發(fā)布于數(shù)據(jù)庫(kù)內(nèi),。

深度學(xué)習(xí)最令人興奮的應(yīng)用場(chǎng)景是醫(yī)療領(lǐng)域,。我們已經(jīng)知道，神經(jīng)網(wǎng)絡(luò)十分擅長(zhǎng)圖像識(shí)別,，安德森-霍洛維茨公司生化投資部門(mén)主管,、斯坦福大學(xué)教授維杰·潘德（Vijay Pande）說(shuō)，“在醫(yī)生每天做的工作中,，有很大一部分都是圖像識(shí)別,。放射科、皮膚科,、眼科等等很多科室的醫(yī)生都無(wú)不如此,。”

初創(chuàng)公司Enlitic采用深度學(xué)習(xí)技術(shù)分析放射影像和CT,、核磁共振掃描圖像,。公司CEO、前加州大學(xué)舊金山分校腫瘤放射學(xué)教授伊格爾·巴拉尼（Igor Barani）稱(chēng),，Enlitic的算法在判斷肺部結(jié)節(jié)屬于良性還是惡性時(shí)的準(zhǔn)確率超過(guò)了四名放射科醫(yī)生,。（這一成果并未得到行業(yè)專(zhuān)家審閱，這一技術(shù)也未獲得FDA批準(zhǔn),。）

默沙東公司（Merck）正在計(jì)劃和舊金山初創(chuàng)公司Atomwise合作,，利用后者提供的深度學(xué)習(xí)技術(shù)加速藥品研發(fā)。神經(jīng)網(wǎng)絡(luò)能夠?qū)彶槌汕先f(wàn)個(gè)藥物候選分子的三維圖像,，并預(yù)測(cè)其是否能夠有效對(duì)抗病原體。這些公司利用神經(jīng)網(wǎng)絡(luò)強(qiáng)化人類(lèi)已經(jīng)具備的能力,；而有創(chuàng)業(yè)者則試圖嘗試人類(lèi)之前從未企及的領(lǐng)域?，F(xiàn)年27歲的前計(jì)算生物學(xué)博士生加伯里爾·奧特（Gabriel Otte）創(chuàng)辦了Freenome公司試圖通過(guò)化驗(yàn)血樣篩查癌癥。具體方法是：檢驗(yàn)細(xì)胞死亡從細(xì)胞內(nèi)部涌出的血液DNA,。采用深度學(xué)習(xí)技術(shù)后,，計(jì)算機(jī)將找出脫細(xì)胞DNA和某些癌癥之間的關(guān)聯(lián)?！拔覀円呀?jīng)發(fā)現(xiàn)了之前從未被癌癥生物學(xué)家注意到的新特征,，”奧特說(shuō)。

安德森-霍洛維茨公司正在考慮投資Freenome,。AH的潘德給了奧特五個(gè)盲樣 ——其中兩個(gè)采自正常人,，3個(gè)采自癌癥患者,。潘德說(shuō)，奧特準(zhǔn)確分析了所有五個(gè)盲樣,，這讓他們最終敲定了投資Freenome的決定,。

一位放射學(xué)醫(yī)生在他的職業(yè)生涯里會(huì)觀看數(shù)以千計(jì)的圖像，而一臺(tái)電腦處理的圖像數(shù)量則以百萬(wàn)級(jí),?！昂敛黄婀郑?jì)算機(jī)能更好地解決圖像問(wèn)題,，”潘德說(shuō),，“原因很簡(jiǎn)單，計(jì)算機(jī)處理圖像的速度遠(yuǎn)遠(yuǎn)超過(guò)人類(lèi),?！?/p>

新技術(shù)帶來(lái)的潛在好處不只包括更高的準(zhǔn)確性和更快的分析速度，還有服務(wù)的普及化,。隨著技術(shù)標(biāo)準(zhǔn)化的形成,，最終所有患者都將從中獲益。

當(dāng)深度學(xué)習(xí)與其他人工智能技術(shù)以創(chuàng)新方式結(jié)合起來(lái)時(shí),，就會(huì)發(fā)揮最大的威力,。例如，通過(guò)將普通深度學(xué)習(xí)技術(shù)與一種名為“強(qiáng)化學(xué)習(xí)”的特殊深度學(xué)習(xí)技術(shù)相結(jié)合,，谷歌附屬公司DeepMind創(chuàng)造了令人稱(chēng)奇的成就,。將二者結(jié)合起來(lái)后，DeepMind創(chuàng)造了圍棋軟件AlphaGo,，并在今年3月?lián)魯×藝骞谲娺x手,，這一成就堪稱(chēng)是人工智能發(fā)展史上的一座里程碑。與1997年幾百?lài)?guó)際象棋冠軍加里·卡斯帕羅夫（Garry Kasparov）的IBM深藍(lán)軟件不同,，AlphaGo沒(méi)有采用決策樹(shù)構(gòu)架,、用于分析棋盤(pán)位置的方程、或者if-then規(guī)則,?！癆lphaGo主要通過(guò)自己和自己下棋，以及觀看職業(yè)高手的比賽學(xué)習(xí)下棋,，”DeepMind CEO 德米斯·哈薩比斯（Demis Hassabis）說(shuō),。（AlphaGo在訓(xùn)練過(guò)程中和自己下了100萬(wàn)盤(pán)棋。）

一盤(pán)棋看起來(lái)是一個(gè)人工設(shè)定,。但是哈薩比斯卻認(rèn)為,，同樣的技術(shù)可以用于解決真實(shí)世界的問(wèn)題。7月,，谷歌發(fā)布報(bào)告稱(chēng),，通過(guò)采用與AlphaGo類(lèi)似的技術(shù),，DeepMind能夠把谷歌各數(shù)據(jù)中心的用電效率提高15%?！懊總€(gè)數(shù)據(jù)中心可能有多達(dá)120個(gè)不同的變量,，”哈薩比斯說(shuō)?！澳憧梢愿鼡Q風(fēng)扇,、開(kāi)窗、更換計(jì)算機(jī)系統(tǒng),。你從傳感器,、溫度計(jì)等等取得數(shù)據(jù)。這就像是一盤(pán)圍棋,。通過(guò)試錯(cuò),，你就能學(xué)會(huì)下一步該把棋子落在哪里?！?/p>

這一點(diǎn)意義非常重大,，”他接著說(shuō)?！澳阋荒昴芄?jié)約數(shù)億美元資金,，這對(duì)于環(huán)保也很有意義。世界各地的數(shù)據(jù)中心消耗了大量能源?，F(xiàn)在我們希望能在更高的層面上做出改進(jìn),，甚至整個(gè)國(guó)家電網(wǎng)層面?！?/p>

聊天機(jī)器人很有趣,，但它只是深度學(xué)習(xí)一個(gè)微不足道的應(yīng)用場(chǎng)景而已。(財(cái)富中文網(wǎng))

作者：Roger Parloff

譯者：鄭立飛