未來監(jiān)管前沿人工智能模型的途徑有哪些？元戰(zhàn)略摘編總結(jié)前沿人工智能發(fā)展趨勢的最新研究成果，呈現(xiàn)監(jiān)管前沿人工智能模型的有效途徑，并指出訓(xùn)練模型所需的計(jì)算量很可能成為有效途徑。未來10年，只需擴(kuò)大當(dāng)今技術(shù)的規(guī)模，即可實(shí)現(xiàn)人工智能系統(tǒng)的能力躍升。

1

導(dǎo) 言

政策制定者和行業(yè)領(lǐng)導(dǎo)者更加關(guān)注對高性能通用人工智能模型（有時(shí)稱為“前沿”人工智能模型）的監(jiān)管。目前的前沿人工智能模型包括GPT-4（OpenAI）、Claude 3（Anthropic）和Gemini Ultra（谷歌）。各公司已經(jīng)在使用越來越多的數(shù)據(jù)和計(jì)算硬件來訓(xùn)練體量更大、能力更強(qiáng)的下一代模型。

用于訓(xùn)練前沿人工智能系統(tǒng)的計(jì)算量正在飛速增長。從2010年到2022年，用于訓(xùn)練最先進(jìn)機(jī)器學(xué)習(xí)模型的計(jì)算量增長了100億倍。計(jì)算量的快速增長超過了硬件更新的速度，其部分原因是訓(xùn)練支出的增加。訓(xùn)練大型模型的成本大約每10個(gè)月翻倍。目前訓(xùn)練前沿模型的全部成本，包括早期的訓(xùn)練運(yùn)行和實(shí)驗(yàn)，可能需要1億美元左右。隨著訓(xùn)練成本的持續(xù)上升，可能會(huì)達(dá)到數(shù)億美元甚至數(shù)十億美元。

圖1 目前，訓(xùn)練一個(gè)前沿人工智能模型的成本大約每10個(gè)月翻倍。假定隨著成本接近私營公司的極限（目前為數(shù)百億美元），成本增長將放緩。在這一預(yù)測中，成本翻倍周期被任意假定為每年增加1.5個(gè)月，從而減緩了成本增長速度。

在短期內(nèi)，前沿人工智能領(lǐng)域的大規(guī)模訓(xùn)練運(yùn)行可能會(huì)繼續(xù)增長。據(jù)報(bào)道，領(lǐng)先的人工智能實(shí)驗(yàn)室已經(jīng)在訓(xùn)練下一代模型，或?yàn)榇嘶I集資金。英偉達(dá)（Nvidia）正在出貨數(shù)十萬新芯片，這將使未來的訓(xùn)練運(yùn)行更加強(qiáng)大。不過，從長遠(yuǎn)來看，成本以及可能存在的硬件限制可能會(huì)制約未來計(jì)算能力的增長。當(dāng)前指數(shù)級(jí)的計(jì)算量增長速度不可能無限期地持續(xù)下去。其增長能持續(xù)多久、以何種速度增長、增長多少才會(huì)趨于平穩(wěn)，都對人工智能的未來發(fā)展有著重要影響。成本和獲取硬件的途徑是訓(xùn)練高性能人工智能系統(tǒng)的準(zhǔn)入壁壘，這對政策也有影響（如出口管制和一些監(jiān)管建議）。

2

研究問題

該研究希望回答有關(guān)成本和計(jì)算趨勢如何影響人工智能未來的幾個(gè)問題：

Q1

成本和計(jì)算量預(yù)測：如果目前的趨勢持續(xù)，訓(xùn)練前沿人工智能模型所用的計(jì)算量和訓(xùn)練成本將如何隨時(shí)間推移而增加？考慮到算法的進(jìn)步，有效計(jì)算量將如何隨時(shí)間推移而增加？

Q2

成本增長的限制：在達(dá)到私營公司的支出極限之前，計(jì)算量可以增長多少？如果成本增長速度隨著上升而放緩，這會(huì)如何影響用于訓(xùn)練前沿模型的計(jì)算量？

Q3

硬件優(yōu)化的限制：限制硬件持續(xù)優(yōu)化的限制會(huì)如何影響未來的計(jì)算增長？

Q4

擴(kuò)散：隨著時(shí)間的推移，硬件的優(yōu)化和算法效率的提高會(huì)如何影響人工智能能力應(yīng)用？

Q5

研發(fā)主體被限制獲取硬件時(shí)的成本：對于無法獲得不斷優(yōu)化的人工智能硬件的主體來說，硬件供應(yīng)方面的限制（例如出口管制）會(huì)如何影響成本和計(jì)算量的增長？

Q6

計(jì)算量監(jiān)管閾值：隨著時(shí)間的推移，硬件的優(yōu)化和算法效率的提高會(huì)如何影響將計(jì)算量作為前沿模型監(jiān)管閾值的訓(xùn)練效果？

上述問題的答案對當(dāng)今與政策相關(guān)的決策具有重要影響，例如出口管制，或其他限制獲取計(jì)算密集型人工智能模型的擬議法規(guī)的預(yù)期效果。一方面，成本上升的趨勢正在將獲取前沿人工智能模型的機(jī)會(huì)固定在少數(shù)領(lǐng)先的人工智能實(shí)驗(yàn)室中。另一方面，硬件優(yōu)化和算法效率的抵消趨勢正在降低人工智能能力門檻，從而促進(jìn)能力擴(kuò)散。一些監(jiān)管和政策干預(yù)措施的可行性或可取性有高有低，這取決于計(jì)算量和成本隨著時(shí)間的推移如何變化，以及對獲取前沿人工智能模型和能力擴(kuò)散的影響。該研究回答上述問題，旨在讓政策制定者了解未來人工智能發(fā)展的可能情形。

3

研究方法

研究以當(dāng)前趨勢為基準(zhǔn)，預(yù)測了各種情況下的成本和計(jì)算量增長。首先，預(yù)測了因支出增加和硬件優(yōu)化而導(dǎo)致的計(jì)算量增長。此外，通過預(yù)測隨著時(shí)間推移變化的有效計(jì)算量，對算法的優(yōu)化進(jìn)行了說明。此后，估算了訓(xùn)練成本預(yù)計(jì)何時(shí)達(dá)到大企業(yè)目前的極限，進(jìn)入歷來屬于政府級(jí)支出的范圍。

其他可能情形探討了硬件優(yōu)化的限制會(huì)如何影響未來計(jì)算的可用性。由于硬件優(yōu)化和算法效率的提高，以任何給定的能力水平訓(xùn)練一個(gè)模型的成本都會(huì)隨著時(shí)間的推移而降低，該研究還估算了成本將如何隨著時(shí)間的推移而降低，這將使更多的研發(fā)主體更容易獲取和應(yīng)用人工智能，從而使人工智能能力進(jìn)一步擴(kuò)散。然后，研究估算了受限于人工智能硬件持續(xù)優(yōu)化的研發(fā)主體的訓(xùn)練成本如何變化（例如美國政府對先進(jìn)人工智能芯片實(shí)施出口管制），并估算了未來硬件優(yōu)化和算法效率的提高將會(huì)如何提高計(jì)算和能力的可獲取性。最后，研究評估了上述預(yù)測的政策影響。

4

分析與結(jié)論

政策制定者應(yīng)準(zhǔn)備好迎接未來10年中人工智能系統(tǒng)能力的躍升。這無需人工智能科學(xué)領(lǐng)域取得根本性突破，只需擴(kuò)大當(dāng)今技術(shù)的規(guī)模，在更多數(shù)據(jù)和計(jì)算量的基礎(chǔ)上訓(xùn)練更大的模型即可實(shí)現(xiàn)。

未來10年，用于訓(xùn)練前沿人工智能模型的計(jì)算量可能大幅增加。到2020年代末或2030年代初，用于訓(xùn)練前沿人工智能模型的計(jì)算量可能約為訓(xùn)練GPT-4所用計(jì)算量的1000倍。考慮到算法的優(yōu)化，有效計(jì)算量可能約為訓(xùn)練GPT-4所用計(jì)算量的100萬倍。何時(shí)能達(dá)到上述閾值還存在一定不確定性，但在預(yù)期成本和硬件限制條件下，這種增長水平是可能的。且這種增長水平由具有當(dāng)今大型科技公司規(guī)模的私營企業(yè)出資即可實(shí)現(xiàn)，無需政府干預(yù)。將支出增加到超越目前私營企業(yè)的限度，或從根本上采用新的計(jì)算模式，都可能帶來更顯著的計(jì)算量增長。

圖2 即使考慮到成本和硬件限制，到2020年代末或2030年代初，用于訓(xùn)練前沿人工智能模型的計(jì)算量也可能增加到GPT-4的1000倍左右。

圖3 考慮到算法的優(yōu)化，到2020年代末或2030年代初，用于訓(xùn)練前沿人工智能模型的有效計(jì)算量可能是GPT-4的100萬倍。

如果以下任何一種情況成真，人工智能系統(tǒng)所需計(jì)算量就有可能迎來更大幅度增益：

- 由于人工智能帶來的收入增加，公司得以投入更多資金；

- 政府資助規(guī)模更大、耗資更多的訓(xùn)練運(yùn)行；

- 硬件性能在2030年代繼續(xù)提高；

- 算法效率在2030年代繼續(xù)提高。

雖然人工智能未來如何發(fā)展還存在很大的不確定性，但目前的趨勢表明，未來的人工智能系統(tǒng)將比現(xiàn)在的技術(shù)水平強(qiáng)大得多。研究中沒有預(yù)測性能是GPT-4的100萬倍的系統(tǒng)及其具體功能。然而，歷史經(jīng)驗(yàn)表明，未來的人工智能的系統(tǒng)并非僅僅具有更高的性能，而是將展現(xiàn)出全新的能力。在不久的將來，前沿人工智能系統(tǒng)的基線軌跡不會(huì)是稍強(qiáng)于當(dāng)前技術(shù)水平的系統(tǒng)，而是比現(xiàn)在強(qiáng)大得多的系統(tǒng)。

訓(xùn)練前沿人工智能模型的成本上升或?qū)?dǎo)致前沿研究領(lǐng)域出現(xiàn)寡頭壟斷，但人工智能能力很可能仍會(huì)迅速擴(kuò)散。目前，算法的進(jìn)步和硬件的改善迅速降低了訓(xùn)練成本。按照目前的趨勢，在5年內(nèi)，以任何給定的能力水平訓(xùn)練一個(gè)模型的成本大約會(huì)降低1000倍，或降至原始成本的0.1%左右，從而使訓(xùn)練成本大大降低，提高了可及性。

計(jì)算能力的獲取和算法的優(yōu)化都在推動(dòng)人工智能前沿領(lǐng)域進(jìn)步方面發(fā)揮著重要作用，并影響著人工智能能力擴(kuò)散的速度和對象。目前，由于硬件的改善和計(jì)算支出的增加，用于訓(xùn)練大型人工智能模型的計(jì)算量每7個(gè)月翻倍。對于大型語言模型來說，算法效率（即使用更少的計(jì)算量達(dá)成相同性能水平的能力）大約每8-9個(gè)月翻倍。人工智能模型性能的提升既來自計(jì)算量的增加，也來自算法的優(yōu)化。如果計(jì)算能力的增長在2030年由于成本上升和/或硬件性能提升的減少而放緩，那么前沿模型的未來發(fā)展將在很大程度上依賴于算法的優(yōu)化。目前，算法效率的快速提高使得人工智能能力迅速擴(kuò)散，因?yàn)樵谌魏谓o定的性能水平上訓(xùn)練模型所需的計(jì)算量都在迅速下降。最近，一些領(lǐng)先的人工智能實(shí)驗(yàn)室開始隱瞞其最先進(jìn)模型的相關(guān)信息。如果算法優(yōu)化的速度放緩或變得不那么普及，就會(huì)減緩人工智能前沿領(lǐng)域的發(fā)展，導(dǎo)致其能力擴(kuò)散的速度變慢。

盡管前沿人工智能領(lǐng)域的先進(jìn)系統(tǒng)最初將局限于少數(shù)開發(fā)主體，但可能會(huì)迅速擴(kuò)散。政策制定者應(yīng)從今天開始建立監(jiān)管框架，為此類系統(tǒng)做好準(zhǔn)備。正如一些人工智能實(shí)驗(yàn)室正在制定“負(fù)責(zé)任的擴(kuò)散政策”一樣，各國政府也必須制定面向未來的法規(guī)，為監(jiān)管未來的人工智能模型做好準(zhǔn)備，這些模型的計(jì)算密集度和能力都遠(yuǎn)遠(yuǎn)超過今天的模型。基于人工智能的發(fā)展速度與政策制定過程之間的脫節(jié)，同時(shí)考慮到新型人工智能系統(tǒng)執(zhí)行特定任務(wù)能力的難以預(yù)測，以及人工智能模型在缺乏監(jiān)管的當(dāng)下的擴(kuò)散速度，為此，建立一個(gè)預(yù)見性監(jiān)管框架至關(guān)重要。等到具體危害出現(xiàn)時(shí)再對前沿人工智能系統(tǒng)進(jìn)行監(jiān)管，幾乎肯定會(huì)為時(shí)已晚。設(shè)想最壞的情況，具有危害性的模型可能已經(jīng)開源發(fā)布，這將使限制其擴(kuò)散的努力實(shí)際上變得不可能。

如果目前的趨勢繼續(xù)下去，用于訓(xùn)練模型的計(jì)算量很可能成為監(jiān)管的一個(gè)富有成效的途徑。大量計(jì)算是訓(xùn)練前沿人工智能模型的入門成本。在未來10到15年內(nèi)，作為訓(xùn)練人工智能系統(tǒng)的重要投入，計(jì)算的重要性或?qū)⒊掷m(xù)增加。如果有關(guān)獲取計(jì)算能力的法規(guī)有效，可能會(huì)限制特定國家跟上前沿人工智能發(fā)展步伐的能力。然而，限制計(jì)算能力的獲取可能會(huì)減緩但不會(huì)阻止人工智能能力的擴(kuò)散，因?yàn)殡S著時(shí)間的推移，算法的優(yōu)化足以允許使用更少的計(jì)算能力訓(xùn)練出性能相當(dāng)?shù)娜斯ぶ悄芟到y(tǒng)。

如果能與針對模型本身的監(jiān)管（如對某些充分訓(xùn)練的模型實(shí)行出口管制）相結(jié)合，針對計(jì)算的監(jiān)管將會(huì)更加有效。算法的進(jìn)步對前沿模型的擴(kuò)散速度有重大影響。可以想象，針對訓(xùn)練充分的人工智能模型的行業(yè)行為，或政府法規(guī)的變化可能減緩模型的擴(kuò)散速度。例如，假設(shè)領(lǐng)先的人工智能實(shí)驗(yàn)室隱瞞有關(guān)其前沿人工智能模型的更多細(xì)節(jié)，或如果美國政府對超過一定計(jì)算閾值的訓(xùn)練模型實(shí)施出口管制。

面對巨大的不確定性，政策制定者面臨著監(jiān)管人工智能的艱難選擇。了解成本、計(jì)算量和算法效率方面的歷史趨勢，可以幫助政策制定者合理預(yù)測未來十幾年可能出現(xiàn)的各種情況，并考慮到人工智能進(jìn)一步發(fā)展的潛在限制。明智的政策制定不僅能應(yīng)對當(dāng)今人工智能系統(tǒng)的種種問題，還能應(yīng)對其未來發(fā)展的可能性。