科教興國(guó)-人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)斬獲諾貝爾物理學(xué)獎(jiǎng)！

是 否 +2 論壇幣

k人 參與回答

經(jīng)管之家送您一份

應(yīng)屆畢業(yè)生專屬福利!

求職就業(yè)群

趙安豆老師微信：zhaoandou666

經(jīng)管之家聯(lián)合CDA

送您一個(gè)全額獎(jiǎng)學(xué)金名額~ !

立即領(lǐng)取

感謝您參與論壇問題回答

經(jīng)管之家送您兩個(gè)論壇幣！

+2 論壇幣

2024年諾貝爾物理學(xué)獎(jiǎng)授予美加2位科學(xué)家

瑞典皇家科學(xué)院（The Royal Swedish Academy of Sciences）決定將2024年諾貝爾物理學(xué)獎(jiǎng)(The Nobel Prize in Physics 2024)授予美國(guó)新澤西州普林斯頓大學(xué)（Princeton University, NJ, USA）的約翰·霍普菲爾德（John J. Hopfield）和加拿大多倫多大學(xué)（University of Toronto, Canada）的杰弗里·辛頓（Geoffrey E. Hinton），獲獎(jiǎng)理由是基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明。他們利用物理學(xué)的工具開發(fā)了一些方法，這些方法是當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)的基礎(chǔ)，他們利用物理學(xué)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。

今年的兩位諾貝爾物理學(xué)獎(jiǎng)得主使用物理學(xué)的工具開發(fā)了今天強(qiáng)大的機(jī)器學(xué)習(xí)的基礎(chǔ)方法。約翰·霍普菲爾德創(chuàng)造了一種聯(lián)想記憶，可以存儲(chǔ)和重建圖像和其他類型的數(shù)據(jù)模式。杰弗里·辛頓發(fā)明了一種方法，可以自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的屬性，從而執(zhí)行識(shí)別圖片中的特定元素等任務(wù)。

當(dāng)我們談?wù)撊斯ぶ悄軙r(shí)，我們通常指的是使用人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。這項(xiàng)技術(shù)最初是受到大腦結(jié)構(gòu)的啟發(fā)。在人工神經(jīng)網(wǎng)絡(luò)中，大腦的神經(jīng)元由具有不同值的節(jié)點(diǎn)表示。這些節(jié)點(diǎn)通過連接相互影響，這些連接可以被比作突觸，可以增強(qiáng)或減弱。例如，通過在同時(shí)具有高值的節(jié)點(diǎn)之間建立更強(qiáng)的連接來訓(xùn)練網(wǎng)絡(luò)。今年的獲獎(jiǎng)?wù)邚?0世紀(jì)80年代開始就在人工神經(jīng)網(wǎng)絡(luò)方面進(jìn)行了重要的工作。

約翰·霍普菲爾德發(fā)明了一種網(wǎng)絡(luò)，它使用一種方法來保存和重建模式。我們可以把節(jié)點(diǎn)想象成像素。約翰·霍普菲爾德網(wǎng)絡(luò)利用物理學(xué)來描述材料的特性，因?yàn)樗�的原子自旋是一種使每個(gè)原子成為微小磁鐵的特性。整個(gè)網(wǎng)絡(luò)的描述方式相當(dāng)于物理中發(fā)現(xiàn)的自旋系統(tǒng)中的能量，并通過尋找節(jié)點(diǎn)之間的連接值來訓(xùn)練，以便保存的圖像具有低能量。當(dāng)約翰·霍普菲爾德網(wǎng)絡(luò)得到一張扭曲或不完整的圖像時(shí)，它會(huì)有條不紊地通過節(jié)點(diǎn)并更新它們的值，這樣網(wǎng)絡(luò)的能量就會(huì)下降。因此，網(wǎng)絡(luò)逐步找到最像它輸入的不完美圖像的保存圖像。

杰弗里·辛頓使用約翰·霍普菲爾德網(wǎng)絡(luò)作為一個(gè)新網(wǎng)絡(luò)的基礎(chǔ)，新網(wǎng)絡(luò)使用了一種不同的方法:玻爾茲曼機(jī)器（Boltzmann machine）。這可以學(xué)習(xí)識(shí)別給定類型數(shù)據(jù)中的特征元素。杰弗里·辛頓使用了統(tǒng)計(jì)物理學(xué)的工具，這是一門由許多相似組件組成的系統(tǒng)科學(xué)。通過給機(jī)器輸入在機(jī)器運(yùn)行時(shí)很可能出現(xiàn)的例子來訓(xùn)練機(jī)器。玻爾茲曼機(jī)器可以用來對(duì)圖像進(jìn)行分類，或者為它所訓(xùn)練的模式類型創(chuàng)建新的例子。杰弗里·辛頓在這項(xiàng)工作的基礎(chǔ)上，幫助啟動(dòng)了當(dāng)前機(jī)器學(xué)習(xí)的爆炸性發(fā)展。

“諾貝爾獎(jiǎng)獲得者的工作已經(jīng)帶來了最大的好處。在物理學(xué)中，我們?cè)趶V泛的領(lǐng)域使用人工神經(jīng)網(wǎng)絡(luò)，例如開發(fā)具有特定性能的新材料，”諾貝爾物理學(xué)委員會(huì)主席Ellen Moons說。

Illustration: ©Johan Jarnestad/The Royal Swedish Academy of Sciences.

約翰·霍普菲爾德（John J. Hopfield, 1933-），1933年生于美國(guó)伊利諾伊州芝加哥市(Chicago, IL, USA)。1958年獲得美國(guó)紐約州伊薩卡市康奈爾大學(xué)(Cornell University)博士學(xué)位�，F(xiàn)任美國(guó)新澤西州普林斯頓大學(xué)（Princeton University, NJ, USA）教授。更多信息敬請(qǐng)瀏覽相關(guān)網(wǎng)頁：John J. Hopfield, Princeton University

杰弗里·辛頓（Geoffrey E. Hinton, 1947-），1947年生于英國(guó)倫敦(London, UK)。1978年獲英國(guó)愛丁堡大學(xué)(University of Edinburgh, UK)博士學(xué)位�，F(xiàn)任加拿大多倫多大學(xué)（University of Toronto, Canada）教授。更多信息敬請(qǐng)瀏覽Geoffrey E. Hinton, University of Toronto

https://blog.sciencenet.cn/blog-212210-1454339.html

掃碼加我 拉你入群

請(qǐng)注明：姓名-公司-職位

以便審核進(jìn)群資格，未注明則拒絕

分享0 收藏0 回帖

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng) 神經(jīng)網(wǎng)絡(luò) 物理學(xué)獎(jiǎng) 機(jī)器學(xué)習(xí)

  北京時(shí)間10月7日下午5點(diǎn)30分許，2024年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)揭曉。美國(guó)科學(xué)家Victor Ambros和Gary Ruvkun獲獎(jiǎng)，以表彰他們“發(fā)現(xiàn)microRNA及其在轉(zhuǎn)錄后基因調(diào)控中的作用”。

2024年的諾貝爾獎(jiǎng)單項(xiàng)獎(jiǎng)金為1100萬瑞典克朗，與2023年持平，合人民幣744.117萬元。

今年的諾貝爾獎(jiǎng)授予了兩位科學(xué)家，以表彰他們發(fā)現(xiàn)了調(diào)控基因活動(dòng)的基本原理。

儲(chǔ)存在我們?nèi)旧�體中的信息就像是我們體內(nèi)所有細(xì)胞的說明書。每個(gè)細(xì)胞都包含相同的染色體，所以每個(gè)細(xì)胞都包含完全相同的一組基因和完全相同的一組指令。然而，不同的細(xì)胞類型，如肌肉細(xì)胞和神經(jīng)細(xì)胞，有非常不同的特征。這些差異是如何產(chǎn)生的？答案在于基因調(diào)控，它允許每個(gè)細(xì)胞只選擇相關(guān)的指令。這確保了在每種細(xì)胞類型中只有正確的一組基因是活躍的。

Victor Ambros和Gary Ruvkun對(duì)不同類型的細(xì)胞是如何發(fā)育的很感興趣。他們發(fā)現(xiàn)了microRNA，這是一類新的微小RNA分子，在基因調(diào)控中起著至關(guān)重要的作用。他們的突破性發(fā)現(xiàn)揭示了一種全新的基因調(diào)控原理，這種原理對(duì)包括人類在內(nèi)的多細(xì)胞生物至關(guān)重要。現(xiàn)在已經(jīng)知道，人類基因組編碼超過1000個(gè)microRNAs。他們的驚人發(fā)現(xiàn)揭示了基因調(diào)控的一個(gè)全新維度。事實(shí)證明，microRNA對(duì)生物體的發(fā)育和功能至關(guān)重要。

必要的調(diào)控

今年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)的重點(diǎn)是發(fā)現(xiàn)細(xì)胞中用于控制基因活動(dòng)的重要調(diào)節(jié)機(jī)制。遺傳信息通過一個(gè)叫做轉(zhuǎn)錄的過程從DNA流向信使RNA （mRNA），然后進(jìn)入細(xì)胞機(jī)器生產(chǎn)蛋白質(zhì)。在那里，mRNA被翻譯，蛋白質(zhì)根據(jù)儲(chǔ)存在DNA中的遺傳指令被制造出來。自20世紀(jì)中期以來，一些最基本的科學(xué)發(fā)現(xiàn)已經(jīng)解釋了這些過程是如何運(yùn)作的。

我們的器官和組織由許多不同類型的細(xì)胞組成，它們的DNA中都儲(chǔ)存著相同的遺傳信息。然而，這些不同的細(xì)胞表達(dá)獨(dú)特的蛋白質(zhì)。這是如何做到的？答案在于基因活動(dòng)的精確調(diào)控，以便在每種特定的細(xì)胞類型中只有正確的一組基因是活躍的。例如，這使得肌肉細(xì)胞、腸細(xì)胞和不同類型的神經(jīng)細(xì)胞能夠執(zhí)行它們的特殊功能。此外，基因活動(dòng)必須不斷微調(diào)，以使細(xì)胞功能適應(yīng)我們身體和環(huán)境的變化。如果基因調(diào)控出錯(cuò)，可能會(huì)導(dǎo)致癌癥、糖尿病或自身免疫等嚴(yán)重疾病。因此，了解基因活性的調(diào)控是數(shù)十年來的一個(gè)重要目標(biāo)。
遺傳信息從DNA流動(dòng)到mRNA再到蛋白質(zhì)。人體內(nèi)所有細(xì)胞的DNA中都儲(chǔ)存著相同的遺傳信息。這需要對(duì)基因活動(dòng)進(jìn)行精確的調(diào)控，以便在每種特定的細(xì)胞類型中只有正確的一組基因是活躍的。圖片來源：諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)委員會(huì)。


20世紀(jì)60年代，研究表明，被稱為轉(zhuǎn)錄因子的特殊蛋白質(zhì)可以結(jié)合到DNA的特定區(qū)域，并通過決定產(chǎn)生哪些mRNA來控制遺傳信息的流動(dòng)。從那時(shí)起，成千上萬的轉(zhuǎn)錄因子被鑒定出來，在很長(zhǎng)一段時(shí)間里，人們認(rèn)為基因調(diào)控的主要原理已經(jīng)解決了。然而，在1993年，今年的諾貝爾獎(jiǎng)獲得者發(fā)表了意想不到的發(fā)現(xiàn)，描述了基因調(diào)控的一個(gè)新水平，結(jié)果證明其在整個(gè)進(jìn)化過程中是非常重要和保守的。

2024諾貝爾物理學(xué)獎(jiǎng) | “AI教父”辛頓，開始害怕人工智能

導(dǎo)讀

2024年諾貝爾物理學(xué)獎(jiǎng)授予約翰·J·霍普菲爾德（John J. Hopfield）和杰弗里·E·辛頓（Geoffrey E. Hinton），以表彰他們“為實(shí)現(xiàn)使用人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)所做的基礎(chǔ)性發(fā)現(xiàn)與發(fā)明”。這兩位科學(xué)家利用物理學(xué)工具開發(fā)了奠定當(dāng)今強(qiáng)大機(jī)器學(xué)習(xí)基礎(chǔ)的方法：霍普菲爾德創(chuàng)建了一種聯(lián)想記憶，可以存儲(chǔ)并重建圖像及其他類型的數(shù)據(jù)模式；辛頓則發(fā)明了一種能夠自主發(fā)現(xiàn)數(shù)據(jù)中特性的方法，從而執(zhí)行如識(shí)別圖像中特定元素等任務(wù)。

作為今年的諾獎(jiǎng)得主之一，被稱為AI教父的辛頓于2023年5月從谷歌離職，并開始表示出對(duì)人工智能技術(shù)風(fēng)險(xiǎn)的擔(dān)憂。本文為《紐約客》在辛頓離開谷歌后的特寫報(bào)道，深度闡述了其研究生涯中對(duì)AI技術(shù)發(fā)展的所思所想。

化繭

在你的大腦中，神經(jīng)元以大小不一的網(wǎng)絡(luò)排列著。你的每一個(gè)動(dòng)作、每一個(gè)想法都會(huì)改變這些網(wǎng)絡(luò)：神經(jīng)元或被納入、或被排除，它們之間的連接或被加強(qiáng)、或被削弱。這個(gè)過程無時(shí)無刻不在進(jìn)行——在你閱讀這些文字的時(shí)候，它就在發(fā)生變化，其規(guī)模之大超乎想象。你的腦中有大約800億個(gè)神經(jīng)元，共享1萬億甚至更多的連接。你的頭骨中就像蘊(yùn)藏著一個(gè)星系，而這個(gè)星系變幻莫測(cè)。

常被稱為“人工智能教父”的計(jì)算機(jī)科學(xué)家杰弗里·辛頓（Geoffrey Hinton）遞給我一根手杖。他說：“你在這里需要它。”然后，他沿著一條穿過樹林的小路向湖岸邊走去。小路蜿蜒地穿過一片綠樹成蔭的空地，經(jīng)過成對(duì)的棚屋，然后沿著石階下到一個(gè)小碼頭。辛頓邊往下走邊警告：“這里十分滑�！�

新知識(shí)會(huì)以微妙的姿態(tài)融入你現(xiàn)有的神經(jīng)網(wǎng)絡(luò)。有時(shí)它們是轉(zhuǎn)瞬即逝的：例如你在聚會(huì)上遇到一個(gè)陌生人，他的名字可能只會(huì)在你的記憶網(wǎng)絡(luò)中留下短暫的印象。但有時(shí)它們可能持續(xù)一生——要是這個(gè)陌生人成為了你的配偶。由于新知識(shí)與舊知識(shí)相互交融，你所知的會(huì)影響你所學(xué)的。如果派對(duì)上有人跟你談?wù)摿怂�的阿姆斯特丹之旅，那么第二天，�?dāng)你逛博物館時(shí)，你的神經(jīng)網(wǎng)絡(luò)可能會(huì)把你往維米爾（Vermeer，17世紀(jì)荷蘭畫家）那兒推一推。類似地，微小的變化往往會(huì)引起巨大的轉(zhuǎn)變。

辛頓說：“我們?cè)�在這兒舉辦過篝火晚會(huì)�！蔽覀�?cè)谕瓜虬泊舐允�喬治亞灣（Ontario’s Georgian Bay）的一塊巖石上，喬治亞灣一直向西延伸到休倫湖（Lake Huron）。水面上島嶼星羅棋布。2013年，65歲的辛頓把一家由三人初創(chuàng)的公司以4400萬美元的價(jià)格賣給谷歌，然后買下了這座島嶼。在此之前，他在多倫多大學(xué)擔(dān)任了30年的計(jì)算機(jī)科學(xué)教授，在當(dāng)時(shí)這個(gè)叫神經(jīng)網(wǎng)絡(luò)的乏味子領(lǐng)域中充當(dāng)領(lǐng)頭羊。這個(gè)領(lǐng)域的靈感來自大腦中神經(jīng)元的連接方式。由于人工神經(jīng)網(wǎng)絡(luò)只在完成圖像分類、語音識(shí)別等任務(wù)時(shí)取得相對(duì)的成功，大多數(shù)研究人員認(rèn)為它們往好了說只是略微有趣，往壞了說是在浪費(fèi)時(shí)間。辛頓回憶道：“我們的神經(jīng)網(wǎng)絡(luò)甚至無法與一個(gè)孩子比肩�！�20世紀(jì)80年代，當(dāng)他觀看電影《終結(jié)者》時(shí)，他并沒有為電影中毀滅世界的人工智能 “天網(wǎng)”是一個(gè)神經(jīng)網(wǎng)絡(luò)感到困擾，相反，他很欣慰地看到這項(xiàng)技術(shù)被描繪得大有可為。

石頭上因高溫而產(chǎn)生裂縫，從生火的小凹陷處向外迸射，辛頓用棍子戳了戳生火的地方。他身材瘦高，有一副英倫面孔，作為一名徹頭徹尾的科學(xué)家，他總在評(píng)論物質(zhì)世界中發(fā)生的事情：動(dòng)物的生活、海灣中的水流、島嶼的地質(zhì)�！拔以谀绢^下面放了一個(gè)鋼筋網(wǎng)，這樣空氣就能進(jìn)來，溫度高到連金屬都能變軟�！彼�用一種奇怪的語氣說，“這才是真正的火，值得引以為傲！”


幾十年來，辛頓不斷嘗試以巧妙的方式構(gòu)建更大的神經(jīng)網(wǎng)絡(luò)。他想出新的方法來訓(xùn)練它們，幫助它們不斷進(jìn)步。他招募研究生，讓他們相信神經(jīng)網(wǎng)絡(luò)并不是一個(gè)失敗的事業(yè)。他認(rèn)為自己在參與一個(gè)可能在一個(gè)世紀(jì)后、在他死后才會(huì)取得成果的項(xiàng)目。與此同時(shí)，他發(fā)現(xiàn)自己卻變成了鰥夫，獨(dú)自撫養(yǎng)兩個(gè)年幼的孩子。在一個(gè)特別困難的時(shí)期，家庭生活和研究壓得他喘不過氣來，他認(rèn)為自己已經(jīng)拼盡全力。他說：“我早在46歲時(shí)就對(duì)神經(jīng)網(wǎng)絡(luò)死心了�！彼麤]有預(yù)料到，神經(jīng)網(wǎng)絡(luò)技術(shù)會(huì)在約十年前突飛猛進(jìn)。計(jì)算機(jī)的速度越來越快，神經(jīng)網(wǎng)絡(luò)利用互聯(lián)網(wǎng)上的數(shù)據(jù)開始轉(zhuǎn)錄語音、玩游戲、翻譯語言甚至駕駛汽車。大約在辛頓的公司被收購時(shí)，人工智能開始蓬勃發(fā)展，OpenAI的ChatGPT 、谷歌的Bard等系統(tǒng)應(yīng)運(yùn)而生，很多人相信它們正以不可預(yù)知的方式改變著這個(gè)世界。

辛頓沿著海岸出發(fā)了，我緊隨其后，碎裂的巖石在我腳下晃動(dòng)�！翱囱剑　彼�站在一塊與人一般大的磐石前說，這塊巨石擋住了我們的去路�！澳憧梢韵冗@樣，先把棍子扔過去，”他把自己的棍子扔到巨石的另一邊，“然后這里和這里都有支點(diǎn)，這兒還有一塊能抓住的�！蔽铱粗�他輕車熟路地爬過去，自己也試探性地邁出了相同的步伐。

每當(dāng)我們學(xué)習(xí)時(shí)，我們的神經(jīng)網(wǎng)絡(luò)都會(huì)產(chǎn)生變化，但究竟是如何變化呢？許多像辛頓這樣與計(jì)算機(jī)打交道的研究人員，在試圖探索神經(jīng)網(wǎng)絡(luò)的 “學(xué)習(xí)算法”——一種通過改變?nèi)斯ど窠?jīng)元之間連接的統(tǒng)計(jì)“權(quán)重”來汲取新知識(shí)的程序。1949年，心理學(xué)家唐納德·赫布（Donald Hebb）就人們?nèi)绾螌W(xué)習(xí)提出了一個(gè)簡(jiǎn)單的規(guī)則，通常被概括為神經(jīng)元“共激活者共連接（fire together wire together）”。大腦中的一組神經(jīng)元一旦同步激活，就更有可能再次同步激活。這有助于解釋為什么我們?cè)诘诙�次做某事時(shí)會(huì)更易上手。但很快人們發(fā)覺，計(jì)算機(jī)化的神經(jīng)網(wǎng)絡(luò)需要用另一種方法來解決復(fù)雜的問題。20世紀(jì)60、70年代，辛頓還是一名年輕的研究人員，他在筆記本上繪制了神經(jīng)元網(wǎng)絡(luò)，并想象著新知識(shí)如何到達(dá)它們的邊界。由幾百個(gè)人工神經(jīng)元組成的網(wǎng)絡(luò)如何存儲(chǔ)一個(gè)概念？如果這個(gè)概念存在缺陷，這些網(wǎng)絡(luò)又該如何修正？

我們沿著海岸繞了一圈，來到辛頓的小屋，這是島上唯一的一間小屋。它由封閉式玻璃建成，高高矗立在寬闊黝黑的巖石階梯之上�！坝幸淮挝覀儊淼竭@里，一條巨大的水蛇把頭探了過來。那是一段美好的回憶�！毙令D在我們靠近屋子時(shí)說。他的父親是一位著名的昆蟲學(xué)家，曾命名了一種鮮為人知的蛻變階段（metamorphosis）。正是他的父親給他灌輸了對(duì)冷血?jiǎng)游锏莫?dú)愛。小時(shí)候，他和父親在車庫里養(yǎng)了很多毒蛇、烏龜、青蛙、蟾蜍和蜥蜴。如今，當(dāng)辛頓在島上時(shí)（他經(jīng)常在溫暖的月份去島上），常常會(huì)尋找蛇并把它們帶到家里，這樣他就可以在飼養(yǎng)箱里觀察它們。他一生都在思考如何自下而上地思考問題，因此很善于觀察非人類的心智。

今年早些時(shí)，辛頓離開了谷歌（自從辛頓的公司被收購后，他一直在谷歌工作）。他擔(dān)心人工智能可能造成危害，并開始在接受采訪時(shí)談?wù)撨@項(xiàng)技術(shù)可能對(duì)人類構(gòu)成的“生存威脅”。他越是使用ChatGPT（一個(gè)由大量人類寫作語料庫訓(xùn)練出來的人工智能系統(tǒng)）就越是惴惴不安。

有一天，福克斯新聞的人給他寫信，希望就人工智能問題進(jìn)行采訪。辛頓偏愛用電子郵件發(fā)送尖刻的單句回復(fù)，比如，在收到一份來自加拿大情報(bào)機(jī)構(gòu)的長(zhǎng)報(bào)告后，他回復(fù)：“斯諾登是我的英雄（Snowden is my hero）。”所以他嘗試寫點(diǎn)俏皮話，最后，他寫道：“�？怂剐侣勈莻�(gè)敏捷的白癡（Fox News is an oxy moron）*。”然后，他靈機(jī)一動(dòng)，問ChatGPT能否解釋他的笑話。系統(tǒng)告訴他，他的句子暗示�？怂剐侣勈羌傩侣�，當(dāng)他讓ChatGPT留意“白癡”（moron）前的空格時(shí)，系統(tǒng)解釋說�？怂剐侣剷�(huì)讓人上癮，就像藥物奧施康定（OxyContin）一樣。辛頓大吃一驚。這種理解水平似乎代表了人工智能的一個(gè)新時(shí)代。

*譯者注

oxymoron在英語中是“矛盾修飾法”之意，但它是個(gè)來自希臘語的組合詞，此處辛頓故意用空格將該詞拆開，使用希臘語本意：oxy即為希臘語oxys，意為銳利的、敏捷的、酸的；moron意為白癡。ChatGPT表現(xiàn)得似乎“理解”了辛頓的俏皮話，因?yàn)樗�也使用了oxy這個(gè)梗：OxyContin中的“oxy”來自其成分oxycodone，oxycodone的詞源也是oxys（取“酸”之意）。

我們有許多理由畏懼人工智能的來臨。比如，擔(dān)心人類員工被電腦取代是人之常情。但是，辛頓與包括OpenAI首席執(zhí)行官薩姆·奧特曼（Sam Altman）在內(nèi)的許多著名技術(shù)專家一起，發(fā)出了警告，稱人工智能系統(tǒng)可能會(huì)開始自我思考、甚至試圖取代或消滅人類文明。人工智能最杰出的研究人員之一，發(fā)表了如此引人心憂如焚的觀點(diǎn)，屬實(shí)令人震驚。

他站在自家廚房里（他一生中大部分時(shí)間都在受背痛折磨，最終疼痛變得非常嚴(yán)重，以至于他放棄了坐著。自 2005 年以來，他從未坐過超一小時(shí)。）對(duì)我說：“人們說，人工智能只是美化了的‘自動(dòng)完成’功能（autocomplete）。讓我們來分析一下，假設(shè)你想成為預(yù)測(cè)下一個(gè)單詞的高手，如果你想成為真正的高手，就必須理解別人在說什么，別無他法。因此，訓(xùn)練讓某物真正擅長(zhǎng)預(yù)測(cè)下一個(gè)單詞，實(shí)際上就是在強(qiáng)迫它去理解。是的，這的確是‘自動(dòng)完成’，但你并沒有想清楚，擁有一個(gè)真正好的‘自動(dòng)完成’意味著什么�！毙令D認(rèn)為，“大型語言模型”，例如為OpenAI聊天機(jī)器人提供支持的GPT，可以理解單詞和想法的含義。

那些認(rèn)為我們高估了人工智能的懷疑論者指出，人類思維與神經(jīng)網(wǎng)絡(luò)之間仍存在著鴻溝。首先，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式與我們不同：我們通過積累經(jīng)驗(yàn)，掌握經(jīng)驗(yàn)與現(xiàn)實(shí)、與自身的關(guān)系，有機(jī)地獲取知識(shí)；而神經(jīng)網(wǎng)絡(luò)則是抽象地學(xué)習(xí)，他們處理的是關(guān)于這個(gè)世界的巨大信息庫，一個(gè)他們并不真正居住其間的世界。但辛頓認(rèn)為，人工智能系統(tǒng)所展示的智能超越了其人工源頭。

“當(dāng)你吃東西時(shí)，你把食物吃進(jìn)去，然后分解成更微小的成分，”他告訴我，“所以你大可以說，我身體里的部分是由其他動(dòng)物的部分組成的。但這是在誤導(dǎo)他人�！彼�認(rèn)為，通過分析人類的寫作，像GPT這樣的大型語言模型是能夠了解世界是如何運(yùn)作的，從而產(chǎn)生一個(gè)能夠思考的系統(tǒng)，寫作只是這個(gè)系統(tǒng)所能做的一小部分而已。他接著說：“這就好比毛毛蟲蛻變成蝴蝶。在蛹里，你把毛毛蟲變成濃湯，再從湯里把蝴蝶造出來�！�

他開始在廚房邊的一個(gè)小柜子里搗鼓起來�！鞍」�！”他興高采烈地把一個(gè)東西放在柜臺(tái)上——一只死蜻蜓。它被保存得非常完好。他解釋：“這是我在碼頭發(fā)現(xiàn)的。它剛在石頭上孵化出來，正在晾干翅膀，所以我把它捉住了�？此�下面�！毙令D捕捉到的這只蜻蜓剛從幼蟲形態(tài)中蛻變出來。這只幼蟲長(zhǎng)相迥異，有自己的眼睛和腿。它的背部有一個(gè)洞，蜻蜓就是從這個(gè)洞里鉆出來的。

“蜻蜓的幼蟲是生活在水里的怪物，”辛頓說，“就像電影《異形》中一樣，蜻蜓從怪物的背部破殼而出。幼蟲在一個(gè)階段變成了湯，然后蜻蜓從湯中誕生了�！痹谒�的比喻中，幼蟲代表了用于訓(xùn)練現(xiàn)代神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)，蜻蜓則代表了由此產(chǎn)生的敏捷人工智能。深度學(xué)習(xí)（辛頓幫助開創(chuàng)的技術(shù)）導(dǎo)致了這種蛻變。我彎下腰，想看得更清楚一些。辛頓站得筆直，他幾乎總是這樣，小心翼翼地保持著姿勢(shì)。“多漂亮呀，”他輕聲說，“你現(xiàn)在明白了吧。它一開始是一類東西，現(xiàn)在變成了另一類東西�！�

在劍橋大學(xué)，辛頓嘗試過不同的專業(yè)，但他沮喪地發(fā)現(xiàn)自己從來都不是班上最聰明的學(xué)生。他曾短暫離開大學(xué)去“閱讀令人沮喪的小說”，并在倫敦打零工，后來又回來嘗試建筑學(xué)，然而只做了一天。最后，他涉獵了物理、化學(xué)、生理學(xué)和哲學(xué)，嘗試專注于一樣?xùn)|西，于是選擇了實(shí)驗(yàn)心理學(xué)學(xué)位。他常在道德哲學(xué)家伯納德·威廉姆斯（Bernard Williams）的辦公室里 “出沒”，發(fā)現(xiàn)他對(duì)計(jì)算機(jī)和心靈很感興趣。有一天，威廉姆斯指出，我們不同的思想一定反映了我們大腦中不同的物理排列，這與計(jì)算機(jī)中的情況完全不同，在計(jì)算機(jī)中，軟件獨(dú)立于硬件。辛頓被這一觀察所震撼。

他記得在高中時(shí)，一位朋友曾告訴他，記憶可能是以“全息”的方式存儲(chǔ)在大腦中的。也就是說，盡管記憶是分散的，卻可以通過任何一個(gè)局部訪問整體。他所遇到的是“連接主義（connectionism）”——一種結(jié)合神經(jīng)科學(xué)、數(shù)學(xué)、哲學(xué)和編程的方法，旨在探索神經(jīng)元如何協(xié)同合作來完成“思考”。連接主義的目標(biāo)之一，是在計(jì)算機(jī)中創(chuàng)建一個(gè)類似大腦的系統(tǒng)。這在當(dāng)時(shí)已經(jīng)取得了些許進(jìn)展：1950年代，心理學(xué)家、連接主義先驅(qū)弗蘭克·羅森布拉特（Frank Rosenblatt）制造了一臺(tái)機(jī)器，名為“感知機(jī)”（Perceptron），它用簡(jiǎn)單的計(jì)算機(jī)硬件模擬了一個(gè)由數(shù)百個(gè)神經(jīng)元組成的網(wǎng)絡(luò)。當(dāng)連接到光學(xué)傳感器時(shí)，該設(shè)備可以追蹤不同模式的光線激活了哪些人工神經(jīng)元，從而識(shí)別字母和形狀。


根據(jù)谷歌學(xué)術(shù)的數(shù)據(jù)，辛頓現(xiàn)在是心理學(xué)家中被引用次數(shù)第二多的研究者，也是計(jì)算機(jī)和認(rèn)知科學(xué)家中被引用次數(shù)最多的人。如果說他在劍橋大學(xué)的起步是緩慢而異乎尋常的，那要?dú)w咎于他當(dāng)時(shí)正在研究一個(gè)新興領(lǐng)域。他合上筆記本電腦說道：“當(dāng)時(shí)在好大學(xué)里做神經(jīng)網(wǎng)絡(luò)的人很少。你在麻省理工學(xué)院做不了，在伯克利做不了，斯坦福也不行�！毙令D成為了一個(gè)新生網(wǎng)絡(luò)的樞紐，也有好處。多年來，許多頂尖的人才都來找他。

玻爾茲曼機(jī)

“今天天氣真好，”第二天早上，辛頓說，“我們應(yīng)該去砍一棵樹。” 他穿著一件塞進(jìn)卡其褲里的正裝襯衫，看起來并不太像伐木工人。不過，他還是搓了搓手。在島上，他總是在砍樹，來為島嶼創(chuàng)造更有序、更美麗的風(fēng)貌。

這棟房子其實(shí)也尚未完工，很少有承包商愿意跑到這么偏遠(yuǎn)的地方來。辛頓雇來的人也犯了一些不必要的失誤（把排水管接到上坡上、地板做到一半不做了），這至今仍讓他憤憤不平。幾乎每個(gè)房間都有一個(gè)需要修正的小項(xiàng)目，在我參觀的時(shí)候，辛頓已經(jīng)在建筑材料上做了一些小標(biāo)注，來幫助新的承包商。這些標(biāo)注通常直接寫在建筑材料上面。在一樓的浴室里，靠墻的一塊底板上寫著：“浴室應(yīng)使用這種底板（僅限淋浴器前的楓木裝飾）�！痹诳头康谋跈焕�，遮蔽膠帶沿著架子延伸過去：“請(qǐng)勿為擱板打底，而應(yīng)為擱板的支架打底。”

給事物貼標(biāo)簽對(duì)大腦也很有用，它能幫助大腦把握現(xiàn)實(shí)。但是，貼標(biāo)簽對(duì)人工的心智意味著什么呢？當(dāng)辛頓在愛丁堡大學(xué)獲得人工智能博士學(xué)位時(shí)，他思考了如何在計(jì)算機(jī)中模擬大腦中的“認(rèn)知”。當(dāng)時(shí)，也就是1970年代，絕大多數(shù)人工智能研究人員都是“符號(hào)學(xué)派（symbolists）”。在他們看來，對(duì)番茄醬的認(rèn)識(shí)可能涉及諸多概念，如“食物”“醬汁”“調(diào)味品”，“甜味”“鮮味”“紅色”“西紅柿”，“美國(guó)人”“炸薯?xiàng)l”“蛋黃醬”和 “芥末”。這些概念摻雜在一起，就形成了“番茄醬”這樣一個(gè)新的概念。有一個(gè)資金雄厚的大型人工智能項(xiàng)目名為Cyc，其核心是建立一個(gè)龐大的知識(shí)庫，科學(xué)家們可以使用一種特殊的語言，將概念、事實(shí)、規(guī)則以及不可避免的例外情況輸入其中（比如，鳥會(huì)飛，但企鵝、翅膀受損的鳥卻……）。

但是，辛頓對(duì)這種方法存疑。它似乎過于僵化，過于專注于哲學(xué)家和語言學(xué)家所持有的推理能力。他知道，在自然界中，許多動(dòng)物在沒有可以用語言表達(dá)的概念時(shí)，也能做出智能行為。它們只是通過經(jīng)驗(yàn)學(xué)會(huì)了如何變得聰明。智慧的源泉是學(xué)習(xí)，而非知識(shí)。

人類的復(fù)雜思維似乎往往是通過符號(hào)和文字進(jìn)行的。但是，辛頓和他的合作者詹姆斯·麥克利蘭（James L. McClelland）以及戴維·魯梅爾哈特（David Rumelhart）認(rèn)為，很多行為都發(fā)生在子概念（sub-conceptual）層面。他們寫道，“請(qǐng)留意，如果你了解到關(guān)于某個(gè)事物的新事實(shí)，你對(duì)其他類似事物的預(yù)期也往往會(huì)發(fā)生變化�！�

例如，如果你被告知黑猩猩喜歡洋蔥，你可能會(huì)猜測(cè)大猩猩也喜歡洋蔥。這表明，知識(shí)很可能“分布”在大腦中，由相關(guān)想法間共享的小模塊組成。“黑猩猩”和 “大猩猩”這兩個(gè)概念不會(huì)有兩個(gè)獨(dú)立的神經(jīng)元網(wǎng)絡(luò)，相反，表征各種具體或抽象“特征”的神經(jīng)元束——茸毛、四足的、靈長(zhǎng)的、動(dòng)物的、智力、野性等等，可能會(huì)以一種方式被激活，以表征“黑猩猩”，而以略微不同的方式被激活，表征“大猩猩”。這些特征之外，我們還可以加上“洋蔥頭”等特征。這樣構(gòu)建的大腦有可能陷入混亂和錯(cuò)誤：將各種特征以錯(cuò)誤的排列方式混合在一起，你會(huì)得到一個(gè)既不是大猩猩也不是黑猩猩的幻想生物。但是，擁有正確學(xué)習(xí)算法的大腦可能會(huì)調(diào)整神經(jīng)元之間的權(quán)重，使合理的組合優(yōu)于不合邏輯的組合。

辛頓不斷探索這類想法，先是在加利福尼亞大學(xué)圣迭戈分校做博士后（并與喬安妮結(jié)婚，辛頓是喬安妮在計(jì)算機(jī)視覺方向的導(dǎo)師），然后在劍橋大學(xué)做應(yīng)用心理學(xué)研究員，再到匹茲堡的卡內(nèi)基梅隆大學(xué)，并在1982年成為計(jì)算機(jī)科學(xué)教授。在那里，他把大部分研究預(yù)算都花在了一臺(tái)足以運(yùn)行神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)上。不久，他第二次結(jié)婚，妻子是分子生物學(xué)家羅莎琳德·扎林（Rosalind Zalin）。在卡內(nèi)基梅隆大學(xué)，辛頓取得了突破性進(jìn)展。他與計(jì)算機(jī)科學(xué)家兼神經(jīng)科學(xué)家特倫斯·塞伊諾夫斯基（Terrence Sejnowski）合作，開發(fā)出了一種名為“玻爾茲曼機(jī)”（Boltzmann Machine）的神經(jīng)網(wǎng)絡(luò)。這個(gè)系統(tǒng)的名字致敬了路德維�！げ�爾茲曼（Ludwig Boltzmann），這位19世紀(jì)奧地利物理學(xué)家用數(shù)學(xué)方法，描述了氣體在大尺度上的行為，與其組成粒子在小尺度上的行為之間的關(guān)系。辛頓和塞伊諾夫斯基將這些方程與“學(xué)習(xí)理論”相結(jié)合。

辛頓不愿向我解釋玻爾茲曼機(jī)。“我來告訴你這是一種什么感覺，”他說，“這好比你有一個(gè)小孩，你帶著他去散步。前面有座山，你得把這個(gè)小孩帶到山頂再折回來�！彼�看著我（比喻中的孩子）嘆了口氣。他的擔(dān)心是對(duì)的，我可能會(huì)被簡(jiǎn)化的解釋誤導(dǎo)，進(jìn)而誤導(dǎo)他人�！霸噲D解釋你不理解的復(fù)雜想法是沒有用的。首先，你必須了解某樣?xùn)|西是如何運(yùn)作的。否則，這對(duì)你都只是些無稽之談�！弊詈螅�他拿起幾張紙，開始繪制用箭頭連接的神經(jīng)元圖，并寫出方程式，我試著理解這些東西（在來拜訪前，我在“可汗學(xué)院”學(xué)習(xí)了線性代數(shù)課程）。

辛頓建議，有一種理解玻爾茲曼機(jī)的方法，是想象一套辨認(rèn)罪犯用的容貌拼圖片：通過這個(gè)系統(tǒng)，可以將臉部的各種特征——濃眉、藍(lán)眼睛、歪鼻子、薄嘴唇、大耳朵等等，組合在一起，生成一張類似警察使用的那種合成素描。要讓容貌拼圖片發(fā)揮作用，必須對(duì)特征本身進(jìn)行恰當(dāng)?shù)脑O(shè)計(jì)。通過改變?nèi)斯ど窠?jīng)元之間的連接權(quán)重，玻爾茲曼機(jī)不僅能學(xué)會(huì)組合特征，還能學(xué)會(huì)設(shè)計(jì)特征。玻爾茲曼機(jī)將從雜亂到像電視屏幕上雪花那樣的特征開始，然后進(jìn)行兩個(gè)階段：“清醒”和“睡眠”來完善這些特征。在“清醒”時(shí)，它會(huì)調(diào)整這些特征，使它們更符合真實(shí)的面孔。在“睡眠”時(shí)，它會(huì)幻想出一張并不存在的臉，然后修改特征，使這些特征擬合起來更差。

它在夢(mèng)里告訴自己不該學(xué)什么。這個(gè)系統(tǒng)非常優(yōu)雅：隨著時(shí)間的推移，它能逐漸遠(yuǎn)離錯(cuò)誤，走向?qū)�，不需要有人去告訴它是對(duì)還是錯(cuò)。它只需要看見實(shí)在，夢(mèng)見虛幻。

辛頓和塞伊諾夫斯基在1983年的一篇論文中描述了玻爾茲曼機(jī)。楊立昆跟我說：“我在研究生剛開始時(shí)讀到了那篇論文，我說，‘我必須找這些人談?wù)�，他們是世界上唯一懂得我們需要學(xué)習(xí)算法的人’。”80年代中期，自然語言處理和計(jì)算機(jī)視覺領(lǐng)域的先驅(qū)、現(xiàn)任魁北克人工智能研究所Mila科學(xué)主任的約書亞·本吉奧（Yoshua Bengio），訓(xùn)練了一臺(tái)玻爾茲曼機(jī)來識(shí)別口語音節(jié)，以此作為他碩士論文的一部分。“杰夫是外審人員之一，”本吉奧回憶道，“他寫道：‘這不會(huì)成功’�！比欢�，本吉奧版本的玻爾茲曼機(jī)比辛頓預(yù)期的更有效，而本吉奧花了幾年時(shí)間才找出成功的原因。這種模式將變成大家再熟悉不過的那種——在隨后的幾十年里，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)往往比預(yù)期的要好，這也許是因?yàn)樯窠?jīng)元在訓(xùn)練過程中形成了新的架構(gòu)。本吉奧回憶說：“實(shí)驗(yàn)部分的工作先于理論。我們通常是嘗試新的方法，看看神經(jīng)網(wǎng)絡(luò)自己能產(chǎn)生點(diǎn)什么�！�

辛頓說，部分由于羅莎琳德厭惡羅納德·里根（Ronald Reagan），他們搬到了多倫多大學(xué)。他們從拉丁美洲領(lǐng)養(yǎng)了一男一女兩個(gè)孩子，住在城里的一所房子里。辛頓說：“我是那種一心撲在工作上的，無私奉獻(xiàn)的教授。”

羅莎琳德曾為不孕不育而苦惱，也曾與冷酷無情的醫(yī)生有過不愉快的經(jīng)歷。也許正因如此，當(dāng)她后來被診斷出患有卵巢癌時(shí)，她選擇了順勢(shì)療法（homeopathy）*�！斑@根本說不通，”辛頓說，“你不可能越稀釋某些東西，它們反而越厲害�！彼�不明白一個(gè)分子生物學(xué)家怎么會(huì)贊同順勢(shì)療法。盡管如此，羅莎琳德還是決心自己治療癌癥，即使檢查發(fā)現(xiàn)腫瘤有柚子那么大，她也拒絕手術(shù)。后來，她雖然同意手術(shù)，但拒絕化療，轉(zhuǎn)而尋求愈加昂貴的順勢(shì)療法，先是在加拿大，后來又去瑞士。她患上了繼發(fā)性腫瘤，要求辛頓賣掉他們的房子，以支付新的順勢(shì)療法費(fèi)用。他回憶道：“我在那里跟她劃清了底線，”辛頓緊瞇雙眼，痛苦呼之欲出，“我對(duì)她說：‘不行，我們不會(huì)賣房子。因?yàn)槿绻�你死了，我就得照顧孩子們，如果我們有個(gè)房子，對(duì)他們而言會(huì)好得多�！�”

*譯者注

其理論基礎(chǔ)是“用同樣的制劑治療同樣的疾病”。

羅莎琳德回到加拿大后立即住進(jìn)了醫(yī)院。她堅(jiān)持了幾個(gè)月，但直到去世前一天都不肯讓孩子們來看她，因?yàn)樗�不想讓他們看到自己病得如此之重。在整個(gè)病程中，她一直堅(jiān)信自己很快就會(huì)好起來。在描述這一切時(shí)，辛頓仍顯得痛苦難當(dāng)：他憤怒、內(nèi)疚、受傷、困惑。羅莎琳德去世時(shí)，辛頓46歲，兒子5歲，女兒3歲。他說：“她傷害了大家，因?yàn)樗�拒絕接受自己即將死去的現(xiàn)實(shí)�！�

海浪聲填滿了午后的寧靜。強(qiáng)烈的金黃陽光透過房間的落地窗灑了進(jìn)來，細(xì)小的蛛網(wǎng)延伸到窗外，在光線的映襯下顯得格外清晰。辛頓站了一陣，收拾好心情。

他說：“我想我得去砍棵樹了�！�

我們走出前門，沿著小路來到棚屋前。辛頓從其中一個(gè)棚子里拿出一把綠色的小電鋸和一些安全護(hù)目鏡。

“羅斯瑪麗說過，周圍沒人的時(shí)候我不能砍樹，以防砍斷胳膊什么的。”他問我，“你以前開過船嗎？”

“沒有�！蔽艺f。

“那我就不會(huì)砍掉我的右臂了。”

在卡其褲外面，他綁上了一雙防護(hù)套鞋。

“我不想給你留下我知道自己在做什么的印象，”他說。“但基本原理是，你在樹上砍很多V字，然后樹就倒了�！�

辛頓穿過小路，來到他心中選定的那棵樹旁，一邊走一邊檢查灌木叢中是否有蛇。這棵樹是一棵枝繁葉茂的雪松，大概有20英尺高。辛頓抬頭看了看樹的傾斜方向，然后啟動(dòng)鋸子，開始在樹干與傾斜方向相反的一側(cè)切割。他取下鋸子，又切割了一次，割痕匯聚形成了一個(gè)V字形。然后他停了下來，轉(zhuǎn)過身對(duì)我解釋：“因?yàn)闃渖砥�離切口，所以隨著你的切入，V字形就會(huì)裂開，鋸條就不會(huì)被卡住�！�

辛頓默默地操作著電鋸，偶爾停下來擦擦眼眉。太陽毒辣，蚊子從每一個(gè)陰暗的角落蜂擁而至。我檢查了一下棚子的側(cè)面，那里的螞蟻和蜘蛛正在進(jìn)行著不為人知的、無休止的活動(dòng)。在小路的盡頭，水面波光粼粼，這里是個(gè)山清水秀的地方。不過，我想我明白辛頓為什么要鋸它了：一座可愛的圓形山丘向下延伸到一個(gè)平緩的山洞里，如果沒有這棵多余的樹，光線就可以流入山洞。這棵樹是個(gè)錯(cuò)誤的存在。

最后，他在樹的另一側(cè)開始了第二刀，向第一刀傾斜。然后，他來回移動(dòng)，加深了兩道切口，讓樹變得搖搖欲墜。突然，重力幾乎無聲無息地占據(jù)了上風(fēng)。大樹在自身重量的作用下傾倒，以驚人的柔軟姿態(tài)倒向洞底。光線射了進(jìn)來。

反向傳播

辛頓愛上了玻爾茲曼機(jī)。他希望玻爾茲曼機(jī)，或者類似的東西，以真實(shí)大腦的學(xué)習(xí)方式作為基礎(chǔ)。“這應(yīng)該成真，”他告訴我，“如果我是上帝，我會(huì)讓它成真。”然而，進(jìn)一步的實(shí)驗(yàn)發(fā)現(xiàn)，隨著玻爾茲曼機(jī)的成長(zhǎng)，它們往往會(huì)因內(nèi)置的隨機(jī)性而不堪重負(fù)�！敖芊蚝臀覍�(duì)玻爾茲曼機(jī)的看法并不一致，”楊立昆說，“杰夫認(rèn)為它是最漂亮的算法。我卻認(rèn)為它很丑陋。它是隨機(jī)（stochastic）的，也就是說，部分基于無序性（randomness）。相比之下，我認(rèn)為反向傳播算法（backpropagation）更加簡(jiǎn)潔�！�

從20世紀(jì)60年代開始，一些研究人員對(duì)反向傳播算法進(jìn)行了探索。就在辛頓與塞伊諾夫斯基合作研究玻爾茲曼機(jī)的同時(shí)，他還與魯梅爾哈特和另一位計(jì)算機(jī)科學(xué)家羅納德·威廉姆斯（Ronald Williams）合作研究反向傳播。他們懷疑這種技術(shù)在學(xué)習(xí)方面具有尚未開發(fā)的潛力，他們尤其希望將其與跨越多層運(yùn)行的神經(jīng)網(wǎng)絡(luò)結(jié)合起來。

理解反向傳播的一種方法，是想象一個(gè)卡夫卡式的司法系統(tǒng)。把神經(jīng)網(wǎng)絡(luò)的上層想象成一個(gè)陪審團(tuán)，它們永遠(yuǎn)審理著案件。在陪審團(tuán)剛做出判決時(shí)，在反向傳播的反烏托邦世界里，法官可以告訴陪審員，他們的判決是錯(cuò)誤的，他們將受到懲罰，直到他們改過自新。陪審員們發(fā)現(xiàn)，他們當(dāng)中有三人在引領(lǐng)大家走上錯(cuò)誤的道路時(shí)影響特別大。這種責(zé)任分?jǐn)偸欠聪騻鞑サ牡谝徊健?br />
下一步，這三個(gè)頭腦發(fā)熱的陪審員要確定他們自己是如何被誤導(dǎo)的。他們會(huì)考慮自己受到的影響——父母、老師、專家學(xué)者等，并找出誤導(dǎo)他們的人。反過來，這些應(yīng)受指責(zé)的影響者也必須找出他們的影響者，并在那些影響者之間分?jǐn)傌?zé)任。隨后是一輪又一輪的相互指責(zé)，每一層影響者都要求自己的影響者承擔(dān)責(zé)任，這就是一個(gè)反向的連環(huán)套。最后，一旦知道誰誤導(dǎo)了誰，誤導(dǎo)了多少，神經(jīng)網(wǎng)絡(luò)就會(huì)按比例地進(jìn)行自我調(diào)整，讓每個(gè)人少受一點(diǎn)“壞”影響，多受一點(diǎn)“好”影響。整個(gè)過程以數(shù)學(xué)上的精確度一次又一次地重復(fù)，直到所有判決（不僅僅是在這個(gè)案例中，而是在所有案例中）都盡可能地“正確”。

1986 年，辛頓、魯梅爾哈特和威廉姆斯在《自然》雜志上發(fā)表了一篇長(zhǎng)達(dá)三頁的論文，展示了這種系統(tǒng)如何運(yùn)行于神經(jīng)網(wǎng)絡(luò)中。他們指出，與玻爾茲曼機(jī)一樣，反向傳播并不是一個(gè)“大腦學(xué)習(xí)的合理模型”：與計(jì)算機(jī)不同，大腦不能倒帶以審核其過去的表現(xiàn)。但反向傳播仍能實(shí)現(xiàn)類似大腦的神經(jīng)特性。在真實(shí)的大腦中，神經(jīng)元有時(shí)會(huì)排列成旨在解決特定問題的結(jié)構(gòu)：例如，在視覺系統(tǒng)中，不同“列”的神經(jīng)元能識(shí)別我們所看到事物的邊緣。反向網(wǎng)絡(luò)中也有類似的情況：高層神經(jīng)元會(huì)對(duì)低層神經(jīng)元施加一種演化壓力。其結(jié)果是，比如負(fù)責(zé)破譯筆跡的神經(jīng)網(wǎng)絡(luò)的某些層，可能會(huì)變得專注于識(shí)別線條、曲線或邊緣。最終，整個(gè)系統(tǒng)可以發(fā)展出“適當(dāng)?shù)膬?nèi)部表征”。神經(jīng)網(wǎng)絡(luò)會(huì)了解并利用自己擁有的知識(shí)。

在20世紀(jì)50、60年代，“感知機(jī)”和其他連接主義研究成果曾反響巨大。但在隨后的幾年里，人們對(duì)連接主義的熱情逐漸退卻。反向傳播論文是興趣復(fù)蘇的功臣之一，它贏得了廣泛關(guān)注。但由于實(shí)踐和概念上的原因，構(gòu)建反向傳播網(wǎng)絡(luò)的工作進(jìn)展緩慢。從實(shí)際上講，這是由于計(jì)算機(jī)發(fā)展遲緩。“反向傳播的進(jìn)展速度基本上取決于計(jì)算機(jī)一夜之間能學(xué)會(huì)多少東西。”辛頓回憶道，“答案往往是學(xué)不了多少�！痹诟拍钌希�神經(jīng)網(wǎng)絡(luò)是神秘的，因?yàn)樗�不可能用傳統(tǒng)的方法編程，你無法編輯人工神經(jīng)元之間連接的權(quán)重。而且不論怎樣，你都很難理解權(quán)重的含義，因?yàn)樗鼈儠?huì)通過自我訓(xùn)練不斷調(diào)整和改變。

反向傳播的學(xué)習(xí)過程也存在很多易錯(cuò)點(diǎn)。例如，在“過擬合”的過程中，網(wǎng)絡(luò)會(huì)選擇記住訓(xùn)練數(shù)據(jù)，而不是學(xué)習(xí)從數(shù)據(jù)中歸納總結(jié)。避免各式各樣的陷阱往往不那么簡(jiǎn)單，因?yàn)檫@完全取決于網(wǎng)絡(luò)自身。這就像砍樹一樣：研究人員可以在這里或那里進(jìn)行切割，但隨后樹會(huì)倒向哪里完全由樹決定。研究人員可以嘗試“集成學(xué)習(xí)”（將弱網(wǎng)絡(luò)組合成強(qiáng)網(wǎng)絡(luò)）或“提前停止”（讓網(wǎng)絡(luò)學(xué)習(xí)，但不要學(xué)得過多）等技術(shù)，他們也可以利用玻爾茲曼機(jī)對(duì)系統(tǒng)進(jìn)行“預(yù)訓(xùn)練”，讓它預(yù)習(xí)一些知識(shí)，然后在此之上建立一個(gè)反向傳播網(wǎng)絡(luò)。這樣，系統(tǒng)要等到掌握了一些基本知識(shí)后才開始“監(jiān)督”訓(xùn)練。隨后，他們才讓神經(jīng)網(wǎng)絡(luò)自由學(xué)習(xí)，希望它能達(dá)到他們期望的要求。

新的神經(jīng)網(wǎng)絡(luò)“架構(gòu)”也應(yīng)運(yùn)而生。“循環(huán)”和“卷積”網(wǎng)絡(luò)讓系統(tǒng)以各方各式在自身工作的基礎(chǔ)上取得進(jìn)步。但是，研究人員仿佛發(fā)現(xiàn)了一種來自外星的技術(shù)一般，并不知道如何去使用神經(jīng)網(wǎng)絡(luò)。他們把魔方轉(zhuǎn)來轉(zhuǎn)去，試圖亂中求序�！拔乙恢眻�(jiān)信神經(jīng)網(wǎng)絡(luò)不是無稽之談，"辛頓說，“它對(duì)我來說并不是信仰，而是顯而易見的。”大腦利用神經(jīng)元進(jìn)行學(xué)習(xí)，因此，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜的學(xué)習(xí)也一定是可行的。他將以雙倍的努力工作和雙倍的時(shí)間來證明這點(diǎn)。

當(dāng)網(wǎng)絡(luò)通過反向傳播進(jìn)行訓(xùn)練時(shí)，它們需要被告知何時(shí)出錯(cuò)以及錯(cuò)了多少，這就需要大量準(zhǔn)確標(biāo)記的數(shù)據(jù)，讓網(wǎng)絡(luò)能夠知道手寫體“7”和“1”之間的區(qū)別，或金毛獵犬和紅獵犬之間的區(qū)別。但很難找到足夠大且標(biāo)記準(zhǔn)確的數(shù)據(jù)集，建立更多的數(shù)據(jù)集也很困難。楊立昆和他的合作者開發(fā)了一個(gè)巨大的手寫數(shù)字?jǐn)?shù)據(jù)庫，后來他們用這個(gè)數(shù)據(jù)庫訓(xùn)練出了能夠讀取美國(guó)郵政服務(wù)公司提供的郵政編碼樣本的神經(jīng)網(wǎng)絡(luò)。斯坦福大學(xué)計(jì)算機(jī)科學(xué)家李飛飛帶頭開發(fā)了一個(gè)名為ImageNet的龐大數(shù)據(jù)庫。創(chuàng)建該數(shù)據(jù)庫需要收集超過1400萬張圖片，并手工將其分為2萬個(gè)類別。

隨著神經(jīng)網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，辛頓想出了一種方法：將大型網(wǎng)絡(luò)中的知識(shí)轉(zhuǎn)化為小型網(wǎng)絡(luò)（小到可在手機(jī)等設(shè)備上運(yùn)行）中的知識(shí)。他在廚房解釋說：“這叫知識(shí)蒸餾�！痹趯W(xué)校時(shí)，美術(shù)老師會(huì)給我們看一些幻燈片，然后說：‘這是魯本斯，那是梵高，這是威廉·布萊克�！�但假設(shè)美術(shù)老師告訴你：‘好吧，這是提香·韋切利奧，但這是一個(gè)奇特的提香，因?yàn)樗�的某些方面很像拉斐爾，這對(duì)提香來說非同尋常�！�這樣似乎對(duì)你更有幫助。他們不僅告訴你正確答案，而且告訴你其他似是而非的答案�！痹凇罢麴s學(xué)習(xí)”中，一個(gè)神經(jīng)網(wǎng)絡(luò)為另一個(gè)神經(jīng)網(wǎng)絡(luò)提供的不僅僅是正確答案，還有一系列可能的答案及其概率。這是一種更為豐富的知識(shí)。

羅莎琳德去世幾年后，辛頓與杰奎琳·福特（Jacqueline Ford，以下稱作杰姬）重逢。杰姬是一位藝術(shù)史學(xué)家，辛頓在搬到美國(guó)去之前和她曾短暫約會(huì)過。她有教養(yǎng)、熱情、富有好奇心、漂亮。辛頓的姐姐說：“你跟她比可差遠(yuǎn)了。”盡管如此，杰姬還是放棄了在英國(guó)的工作，與辛頓一起搬到了多倫多。1997年12月6日，他們結(jié)婚了，那天是辛頓50歲生日。接下來的幾十年是他一生中最幸福的時(shí)光，他的家庭又重獲完整。他的孩子們喜歡他們的新媽媽，他和杰姬開始探索喬治亞灣的島嶼�；貞浧疬@段時(shí)光，他凝視著客廳里的獨(dú)木舟。他說：“我們?cè)跇淞掷锇l(fā)現(xiàn)了這艘獨(dú)木舟，它倒立著，上面覆蓋著帆布，已經(jīng)完全腐爛了，所有的東西都腐爛了。但杰姬還是打算救它，就像她救我和孩子們一樣。”

辛頓并不喜歡反向傳播。他告訴我：“這在智力上是多么令人不滿啊。與玻爾茲曼機(jī)不同，它是完全確定的。不幸的是，它的確更好用�！甭�慢地，隨著實(shí)際的進(jìn)展，反向傳播的威力變得不可否認(rèn)。辛頓告訴我，1970年代初，英國(guó)政府聘請(qǐng)了一位名叫詹姆斯·萊特希爾（James Lighthill）的數(shù)學(xué)家來確定人工智能研究是否有成功的可能。萊特希爾的結(jié)論是不可能�！八�是對(duì)的，”辛頓說，“前提是他做了一個(gè)當(dāng)時(shí)大家一致認(rèn)同的假設(shè)：計(jì)算機(jī)的速度也許會(huì)快一千倍，但不會(huì)快十億倍。”辛頓在腦子里算了一筆賬，假設(shè)在1985年，他開始在一臺(tái)極快的研究計(jì)算機(jī)上運(yùn)行一個(gè)程序，一直運(yùn)行到現(xiàn)在，然后現(xiàn)在他開始在目前人工智能領(lǐng)域使用的最快系統(tǒng)上運(yùn)行相同的程序，只需要不到一秒鐘的時(shí)間就能趕上前一個(gè)。

2000 年初，隨著配備著強(qiáng)大計(jì)算機(jī)的多層神經(jīng)網(wǎng)絡(luò)開始在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，辛頓、本吉奧和楊立昆開始談?wù)摗吧疃葘W(xué)習(xí)”的潛能。2012年，辛頓、亞歷克斯·克里澤夫斯基（Alex Krizhevsky）和伊爾亞·蘇茨克維（Ilya Sutskever）推出了AlexNet，這是一個(gè)8層神經(jīng)網(wǎng)絡(luò)，終于能夠識(shí)別出ImageNet中的物體，且準(zhǔn)確率達(dá)到人類水平。辛頓、克里澤夫斯基和蘇茨克維成立了一家公司，并將其賣給了谷歌。他和杰姬用這筆財(cái)富買下了喬治亞灣的一座小島。“那是我一次真正的放縱”，辛頓說。

兩年后，杰姬被診斷出患有胰腺癌。醫(yī)生估計(jì)她還能活一兩年�！八�非常勇敢，也非常理性，”辛頓說，“她并沒有極力否認(rèn)，拼命想擺脫困境。她的觀點(diǎn)是‘我可以自憐自憫，也可以說我時(shí)日無多，我應(yīng)極力享受這段時(shí)光，讓其他人一切安好’�！痹跊Q定治療方法之前，她和辛頓仔細(xì)研究了統(tǒng)計(jì)數(shù)據(jù)。通過化療，她將一兩年的時(shí)間延長(zhǎng)到了三年。在小別墅里，當(dāng)她無法再走樓梯時(shí)，辛頓用繩子編了一個(gè)小籃子，這樣她就可以把茶從二樓放到一樓，然后他可以用微波爐加熱。(他后來發(fā)現(xiàn)：“我應(yīng)該把微波爐直接搬樓上去的。”）

這天的晚些時(shí)候，我們靠在辛頓的辦公桌上，他用筆記本電腦給我看杰姬的照片。在一張他們婚禮當(dāng)天的照片中，她和辛頓帶著孩子們站在鄰居家的客廳里交換誓言。辛頓看起來神采奕奕、放松舒適。杰姬用雙手輕輕握住他的一只手。在他給我看的最后一張照片中，她在碼頭附近斑駁的水面上劃著酒紅色的獨(dú)木舟，凝視著鏡頭�！澳鞘�2017年的夏天�！毙令D說。杰姬于次年4月去世。那年6月，辛頓、本吉奧和楊立昆獲得了“圖靈獎(jiǎng)”（相當(dāng)于計(jì)算機(jī)科學(xué)領(lǐng)域的諾貝爾獎(jiǎng)）。https://www.thepaper.cn/newsDetail_forward_28969976

謝謝分享哦！

剛剛，2024年諾貝爾化學(xué)獎(jiǎng)揭曉！


北京時(shí)間10月9日下午5點(diǎn)45分許，2024年諾貝爾化學(xué)獎(jiǎng)揭曉。美國(guó)科學(xué)家David Baker獲獎(jiǎng)，以表彰其在計(jì)算蛋白質(zhì)設(shè)計(jì)方面的貢獻(xiàn)；另一半則共同授予英國(guó)科學(xué)家Demis Hassabis和John M. Jumper，以表彰其在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方面的貢獻(xiàn)。

2024年的諾貝爾獎(jiǎng)單項(xiàng)獎(jiǎng)金為1100萬瑞典克朗，與2023年持平，合人民幣744.117萬元。

他們破解了蛋白質(zhì)奇妙結(jié)構(gòu)的密碼

2024年諾貝爾化學(xué)獎(jiǎng)是關(guān)于蛋白質(zhì)的，而蛋白質(zhì)正是生命中巧妙的化學(xué)工具。David Baker成功地完成了一項(xiàng)幾乎不可能完成的壯舉——制造出了全新種類的蛋白質(zhì)。Demis Hassabis和John Jumper則開發(fā)了一個(gè)人工智能模型來解決一個(gè)50年的難題——預(yù)測(cè)蛋白質(zhì)的復(fù)雜結(jié)構(gòu)。這些發(fā)現(xiàn)蘊(yùn)藏著巨大的潛力。

生命的多樣性證明了蛋白質(zhì)作為化學(xué)工具的驚人能力。它們控制和驅(qū)動(dòng)所有的化學(xué)反應(yīng)，這些化學(xué)反應(yīng)共同構(gòu)成了生命的基礎(chǔ)。蛋白質(zhì)還可以作為激素、信號(hào)物質(zhì)、抗體以及不同組織的組成部分。

“今年被認(rèn)可的一項(xiàng)發(fā)現(xiàn)涉及驚人蛋白質(zhì)的構(gòu)建。另一個(gè)則是實(shí)現(xiàn)了一個(gè)長(zhǎng)達(dá)50年的夢(mèng)想——通過氨基酸序列預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)。這兩個(gè)發(fā)現(xiàn)開辟了巨大的可能性”，諾貝爾化學(xué)委員會(huì)主席Heiner Linke說。

蛋白質(zhì)通常由20種不同的氨基酸組成，這些氨基酸可以被描述為生命的基礎(chǔ)模塊。2003年，David Baker成功地利用這些模塊設(shè)計(jì)出了一種不同于其他蛋白質(zhì)的新蛋白質(zhì)。從那以后，他的研究小組創(chuàng)造了一種又一種富有想象力的蛋白質(zhì)，包括可用于藥物、疫苗、納米材料和微型傳感器的蛋白質(zhì)。

第二個(gè)發(fā)現(xiàn)涉及蛋白質(zhì)結(jié)構(gòu)的預(yù)測(cè)。在蛋白質(zhì)中，氨基酸以長(zhǎng)串連接在一起，折疊起來形成三維結(jié)構(gòu)，這對(duì)蛋白質(zhì)的功能起著決定性的作用。自20世紀(jì)70年代以來，研究人員一直試圖通過氨基酸序列預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)，但是極為困難。四年前，一項(xiàng)驚人的突破出現(xiàn)了。

2020年，Demis Hassabis和John Jumper開發(fā)了一個(gè)名為AlphaFold2的人工智能模型。在它的幫助下，他們已經(jīng)能夠預(yù)測(cè)研究人員已經(jīng)確定的幾乎所有2億種蛋白質(zhì)的結(jié)構(gòu)。自從他們?nèi)〉猛黄埔詠�，AlphaFold2已經(jīng)被來自190個(gè)國(guó)家的200多萬人使用。在無數(shù)的科學(xué)應(yīng)用中，研究人員現(xiàn)在可以更好地了解抗生素耐藥性，并創(chuàng)建可以分解塑料的酶的圖像。

沒有蛋白質(zhì)，生命就不會(huì)存在。而現(xiàn)在，我們可以預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)并設(shè)計(jì)我們自己的蛋白質(zhì)，這給人類帶來了巨大的好處。

David Baker，1962年出生于美國(guó)西雅圖。1989年從美國(guó)加州大學(xué)伯克利分校獲得博士學(xué)位。目前為美國(guó)華盛頓大學(xué)教授。

Demis Hassabis，1976年出生于英國(guó)倫敦。2009年從英國(guó)倫敦大學(xué)學(xué)院獲得博士學(xué)位。目前為谷歌DeepMind CEO。

John M. Jumper，1985年出生于美國(guó)阿肯色州小石城。2017年從美國(guó)芝加哥大學(xué)獲得博士學(xué)位。目前為谷歌DeepMind資深科學(xué)家。

謝謝分享！

友情支持。