李國(guó)杰:“智能計(jì)算機(jī)”的歷史、現(xiàn)在和未來(lái):超算正與智能“歷史性會(huì)合”
文章來(lái)源: | 發(fā)布時(shí)間:2019-07-05 | 【打印】 【關(guān)閉】
“計(jì)算機(jī)之父”馮·諾依曼曾經(jīng)試圖模仿神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)計(jì)算機(jī),但并未成功。1946年11月,馮·諾依曼在給“控制論之父”諾伯特·維納的信中寫(xiě)道:“我們選擇了太陽(yáng)底下最復(fù)雜的一個(gè)對(duì)象……向世人展示了一種絕對(duì)的且無(wú)望的通用性?!?/p>
事實(shí)上,從第一臺(tái)電子計(jì)算機(jī)開(kāi)始,計(jì)算機(jī)的發(fā)展就與模擬神經(jīng)網(wǎng)絡(luò)分道揚(yáng)鑣。此后數(shù)字計(jì)算的飛速發(fā)展,使得用計(jì)算機(jī)實(shí)現(xiàn)人工智能的方式與人腦的思維機(jī)制幾乎不沾邊。
20世紀(jì)80年代末至90年代初,在日本第五代計(jì)算機(jī)項(xiàng)目帶動(dòng)下,全球掀起一陣“智能計(jì)算機(jī)熱”。當(dāng)時(shí)的熱點(diǎn)是面向智能語(yǔ)言和知識(shí)處理的計(jì)算機(jī),研究重點(diǎn)是并行邏輯推理。
日本五代機(jī)走的是“定制化路線”。我國(guó)“智能計(jì)算機(jī)”研制走的則是一條比較通用的路線:從芯片、系統(tǒng)到軟件、應(yīng)用,都是“非定制化”。
1990年,國(guó)家科委(科技部的前身)批準(zhǔn)成立“國(guó)家智能計(jì)算機(jī)研究開(kāi)發(fā)中心”,不但開(kāi)展了曙光系列并行計(jì)算機(jī)的研制,還從事了人工智能的基礎(chǔ)研究和應(yīng)用研究,為今天智能超算的發(fā)展打下了基礎(chǔ)。
錢(qián)學(xué)森先生曾發(fā)表《關(guān)于“第五代計(jì)算機(jī)”的問(wèn)題》提議:“第五代計(jì)算機(jī)是什么?是第二代巨型計(jì)算機(jī)。我認(rèn)為再把這個(gè)概念叫做五代計(jì)算機(jī)或者六代計(jì)算機(jī),就不那么合適了……建議為了不要混淆起見(jiàn),就干脆叫第一代智能機(jī)。”
以此為標(biāo)志,所謂的第五代計(jì)算機(jī)就分成了兩個(gè)叉:一個(gè)是第二代巨型計(jì)算機(jī),一個(gè)是第一代智能機(jī)——這是兩個(gè)不同的概念。
事實(shí)證明,歷史的發(fā)展與錢(qián)老的預(yù)測(cè)是相符的,從20世紀(jì)80年代以后的30年,計(jì)算機(jī)的發(fā)展之路確實(shí)符合錢(qián)學(xué)森的預(yù)測(cè),超算是超算,智能是智能。
現(xiàn)在:智能與超算的歷史性會(huì)合
超級(jí)計(jì)算是“算得快”的計(jì)算機(jī)。但智能計(jì)算機(jī)和超算不一樣:智能的本意是“算得巧”,而不是“算得快”。這是兩股道上的車(chē)。
本世紀(jì)以來(lái),深度神經(jīng)網(wǎng)絡(luò)的成功和大數(shù)據(jù)的興起,使得超級(jí)計(jì)算和計(jì)算智能(深度學(xué)習(xí))走到一起,出現(xiàn)“歷史性的會(huì)合”。
過(guò)去高性能計(jì)算機(jī)主要用于科學(xué)計(jì)算,現(xiàn)在的高性能計(jì)算機(jī)已大量用于大數(shù)據(jù)和機(jī)器學(xué)習(xí)。一組數(shù)據(jù)可以說(shuō)明這一點(diǎn):2015年,中國(guó)HPC在數(shù)據(jù)分析與機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用只有27%,至2016年達(dá)到48%、2017年提升到56%。預(yù)計(jì)這個(gè)比例今后還將繼續(xù)提高。
但是也應(yīng)該看到,目前大量采用的智能計(jì)算實(shí)際上是基于GPU或GPU-Like加速器的“準(zhǔn)智能計(jì)算”。比如,圖像和語(yǔ)音的信號(hào)處理計(jì)算還是數(shù)值計(jì)算。
智能算法可以加速傳統(tǒng)的科學(xué)計(jì)算。舉例來(lái)說(shuō),今年4月,200多名科研人員從四大洲8個(gè)觀測(cè)點(diǎn)“捕獲”了黑洞的視覺(jué)證據(jù)。此項(xiàng)研究歷時(shí)10余年,加州理工學(xué)院曾經(jīng)采用Blue Waters超級(jí)計(jì)算機(jī)進(jìn)行近900個(gè)黑洞合并的模擬,花費(fèi)了2萬(wàn)小時(shí)的計(jì)算時(shí)間。后來(lái)采用新的機(jī)器學(xué)習(xí)程序和算法,從模擬中學(xué)習(xí),幫助創(chuàng)建新的模型,在毫秒內(nèi)就能給出合并結(jié)束狀態(tài)的答案,大大促進(jìn)了關(guān)于黑洞的研究。
如今,機(jī)器學(xué)習(xí)不僅是人工智能領(lǐng)域研究的重點(diǎn),也正成為整個(gè)計(jì)算機(jī)科學(xué)研究的熱點(diǎn)。
未來(lái):智能超算的十大關(guān)注方向
人類(lèi)可能會(huì)發(fā)明新的智能計(jì)算機(jī),但至少最近20年內(nèi),智能超算是要高度重視的研究方向。關(guān)于智能超算的未來(lái)研究方向,以下10個(gè)方面值得重視。
第一,未來(lái)十年是體系結(jié)構(gòu)的黃金時(shí)期。近幾十年計(jì)算機(jī)的飛速發(fā)展一半來(lái)自摩爾定律,另一半來(lái)自系統(tǒng)結(jié)構(gòu)的改進(jìn)。摩爾定律即將走到盡頭,計(jì)算機(jī)未來(lái)的改進(jìn)將主要從結(jié)構(gòu)改進(jìn)入手。圖靈獎(jiǎng)得主、計(jì)算機(jī)體系結(jié)構(gòu)宗師David Patterson與John Hennessy預(yù)言:“下一個(gè)十年將出現(xiàn)一個(gè)全新計(jì)算機(jī)架構(gòu)的‘寒武紀(jì)’大爆發(fā)?!?/p>
第二,“人腦級(jí)能效”將是未來(lái)智能計(jì)算機(jī)的核心特征。大腦以超低功耗實(shí)現(xiàn)了超級(jí)復(fù)雜的計(jì)算,從目前的發(fā)展來(lái)看,超級(jí)計(jì)算機(jī)現(xiàn)在的能效還滿(mǎn)足不了需求?!俺隳苄г鲩L(zhǎng)遠(yuǎn)遠(yuǎn)低于速度增長(zhǎng)”,是計(jì)算機(jī)發(fā)展70年未有之大變局。這給我們提出挑戰(zhàn),未來(lái)超級(jí)計(jì)算機(jī)要達(dá)到像人腦一樣的能效層次。
第三,要研究具有“低熵”特征的未來(lái)架構(gòu)。智能計(jì)算機(jī)的本事主要體現(xiàn)在對(duì)付“不確定性”,而“熵”就是對(duì)不確定性的刻畫(huà)。要通過(guò)全棧的系統(tǒng)設(shè)計(jì)應(yīng)對(duì)不確定性挑戰(zhàn),在問(wèn)題不確定、環(huán)境不確定、負(fù)載強(qiáng)度不確定的情況下,保障可預(yù)期的性能結(jié)果。
第四,要重視研究領(lǐng)域?qū)S孟到y(tǒng)結(jié)構(gòu)(DSA)以及可重塑處理器。近幾十年通用處理器一直勝過(guò)專(zhuān)用處理器,這一局面正在改變。未來(lái)大多數(shù)計(jì)算將在專(zhuān)用加速器上完成,而通用處理器只是配角。
第五,要重視智能超算的通用性。盡管專(zhuān)用化是趨勢(shì),但作為一個(gè)智能中心和超算中心,還是要本著為大眾服務(wù)的目標(biāo)盡量匹配更多用戶(hù)的需求。
第六,模擬計(jì)算值得重視。傳感器接收的都是模擬信息,人腦處理的也是模擬量,連續(xù)變量的模擬計(jì)算是非圖靈計(jì)算。模擬計(jì)算是離散數(shù)字計(jì)算的前輩,經(jīng)過(guò)60年的變遷,模擬計(jì)算可能有機(jī)會(huì)東山再起,連續(xù)變量與離散變量的混合計(jì)算將開(kāi)啟計(jì)算新天地。
第七,計(jì)算存儲(chǔ)一體化。人類(lèi)的大腦計(jì)算和存儲(chǔ)不是分開(kāi)的,不需要數(shù)據(jù)搬移,所以未來(lái)的計(jì)算機(jī)體系結(jié)構(gòu)可能要改變傳統(tǒng)的把計(jì)算和存儲(chǔ)分開(kāi)的馮·諾依曼結(jié)構(gòu)。
第八,推理驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)可能會(huì)交替發(fā)展。目前的智能應(yīng)用,主要是數(shù)據(jù)驅(qū)動(dòng)。人工神經(jīng)網(wǎng)絡(luò)屬于開(kāi)普勒研究模式,而人工智能研究中的推理驅(qū)動(dòng)則是繼承牛頓的演繹推理模式。1956年的“達(dá)特茅斯會(huì)議”預(yù)設(shè)了實(shí)現(xiàn)人工智能要走牛頓模式:先精確描述智能。但數(shù)據(jù)驅(qū)動(dòng)如何轉(zhuǎn)到推理驅(qū)動(dòng)需要認(rèn)真探索。
第九,要重視事件驅(qū)動(dòng)計(jì)算。未來(lái)人工神經(jīng)網(wǎng)絡(luò)應(yīng)考慮“時(shí)間”因素,基于事件的信息流(事件驅(qū)動(dòng)計(jì)算)可直接反映人腦工作的自然模式,這是一種新的“空間—時(shí)間模式”。
第十,要建立智能超算新的測(cè)試基準(zhǔn)。長(zhǎng)期以來(lái),評(píng)測(cè)超級(jí)計(jì)算機(jī)的性能都采用Linpack測(cè)試程序。它可以測(cè)出幾乎滿(mǎn)負(fù)荷、滿(mǎn)功耗下的計(jì)算機(jī)浮點(diǎn)計(jì)算性能,是測(cè)試超級(jí)計(jì)算機(jī)可靠性和穩(wěn)定性的理想程序。但是,由于功耗的限制,當(dāng)前發(fā)展通用超級(jí)計(jì)算機(jī)已遇到極大的困難,領(lǐng)域?qū)S贸?jí)計(jì)算機(jī)成為熱門(mén)研究方向,Linpack顯然不適合作為領(lǐng)域?qū)S糜?jì)算機(jī)的測(cè)試標(biāo)準(zhǔn)。
建立統(tǒng)一的基準(zhǔn)評(píng)價(jià)標(biāo)準(zhǔn),有助于行業(yè)內(nèi)的良性競(jìng)爭(zhēng)。希望從過(guò)去的超算到大數(shù)據(jù)和人工智能有一套新的標(biāo)準(zhǔn),有一把尺子衡量技術(shù),將影響力從學(xué)術(shù)界延伸至產(chǎn)業(yè)界。